파라미터 Maximum tokens에 대한 문의

[beans]

안녕하세요

Maximum tokens 관련해서 문의드리고자 글을 남깁니다.

가이드에서 해당 설명을 보면 결괏값을 생성할 때 사용할 최대 토큰 수 라고 쓰여 있는 부분에 대해서

시스템 및 사용자, 어시스턴트에 작성된 부분들과 결괏값에 대한 모든 토큰 값에 제한인 것으로 이해하는 것이 맞을까요? 

아니면 결괏값을 제외한 나머지 토큰들의 값을 계산해서 최대 토큰 4096에서 감해서 진행해야 되는 부분일까요? 

구체적인 설명을 해주시면 감사하겠습니다 🙂

 

 

[CLOVA Studio 운영자]

안녕하세요, @beans님,

시스템 프롬프트와 사용자 턴의 입력과 어시스턴트 턴의 출력을 포함하여 4096 토큰을 초과하여 요청할 수 없습니다.

즉, 첨부주신 이미지의 경우 시스템 프롬프트와 사용자 영역에 텍스트 입력이 있기 때문에,

요청할 Maximum tokens는 입력된 만큼을 감해서 진행하셔야 합니다. (예. 300~500토큰 등)

감사합니다.