Text Too Long 오류에 대해 문의 드립니다.

[Didim365]

안녕하세요.

기존 HCX-002 로 Chat Completion API 사용했을 땐

maxTokens를 4096으로 해도 리스폰스를 잘 받았었는데요,

 

HCX-003 출시와 동시에 테스트 해보니 (HCX-002도 동일)

4096 Tokens 를 입력 했을 땐 Text Too Long 이라는 에러 리스폰스를 받습니다.

가이드에는 4096 Tokens를 사용 가능하다고 나와 있는데

 

변경 사항이 생긴걸까요?

'messages': self.input_text,

'maxTokens': 4096,

'temperature': 0.1,

'topK': 0,

'topP': 0.8,

'repeatPenalty': 5.0,

'stopBefore': [],

'includeAiFilters': 'True'

 

 

[CLOVA Studio 운영자]

안녕하세요, @Didim365님,

HCX-002에서 정상적으로 response를 받으셨다는 내용에 대해서, 자세히 input/output을 봐야지 알 것 같으나,

HCX-002 모델과 HCX-003 모델은 동일한 context length인 4096 토큰입니다.

입력과 출력을 합쳐서 4096 토큰이기 때문에, maxTokens를 4096 토큰으로 설정 후 요청을 하시면, Text too long 응답을 받게 됩니다.

System prompt, input과 적절한 output 길이를 고려하시어, maxTokens를 줄인 후 요청을 부탁드립니다.

감사합니다. 

[Didim365]

50 minutes ago, CLOVA Studio 운영자 said:

안녕하세요, @Didim365님,

HCX-002에서 정상적으로 response를 받으셨다는 내용에 대해서, 자세히 input/output을 봐야지 알 것 같으나,

HCX-002 모델과 HCX-003 모델은 동일한 context length인 4096 토큰입니다.

입력과 출력을 합쳐서 4096 토큰이기 때문에, maxTokens를 4096 토큰으로 설정 후 요청을 하시면, Text too long 응답을 받게 됩니다.

System prompt, input과 적절한 output 길이를 고려하시어, maxTokens를 줄인 후 요청을 부탁드립니다.

감사합니다. 

 

input text 는 'hello' 입니다. 테스트를 위해 작성한거라 짧은 토큰을 발생시킵니다.

기존에 됐던게 업데이트 후 안되는거라서요...

4096 -> 2048로 수정하면 Text Too Long이 아니라 답변이 잘 옵니다.

 

[CLOVA Studio 운영자]

@Didim365님,

HCX-003 모델의 context length는 4096이기 때문에, 2048로 요청하면 정상적으로 출력 되는 것입니다.

하지만 이 경우에도 인풋에 hello가 아닌, 아주 긴 텍스트 입력이 있다면, 인풋과 아웃풋의 합이 4096에 도달할 것이기 때문에 출력이 되지 않을 것입니다.

작업 유형에 따라 모델이 출력하는 길이가 달라집니다.