Jump to content

파라미터 Maximum tokens에 대한 문의


beans

Recommended Posts

안녕하세요

Maximum tokens 관련해서 문의드리고자 글을 남깁니다.

1064058633_maximumtoken.png.ed2173249671892a9384dd1ca940b7d7.png

가이드에서 해당 설명을 보면 결괏값을 생성할 때 사용할 최대 토큰 수 라고 쓰여 있는 부분에 대해서

시스템 및 사용자, 어시스턴트에 작성된 부분들과 결괏값에 대한 모든 토큰 값에 제한인 것으로 이해하는 것이 맞을까요? 

아니면 결괏값을 제외한 나머지 토큰들의 값을 계산해서 최대 토큰 4096에서 감해서 진행해야 되는 부분일까요? 

구체적인 설명을 해주시면 감사하겠습니다 🙂

 

1615286134_.png.89568240d3d1a7fe6439d5ac7d95863d.png

1712792073_.png.04aaadf7a2c8856ee834387f81a9923b.png

 

링크 복사
다른 사이트에 공유하기

안녕하세요, @beans님,

시스템 프롬프트와 사용자 턴의 입력과 어시스턴트 턴의 출력을 포함하여 4096 토큰을 초과하여 요청할 수 없습니다.

즉, 첨부주신 이미지의 경우 시스템 프롬프트와 사용자 영역에 텍스트 입력이 있기 때문에,

요청할 Maximum tokens는 입력된 만큼을 감해서 진행하셔야 합니다. (예. 300~500토큰 등)

감사합니다.

  • Like 1
링크 복사
다른 사이트에 공유하기

게시글 및 댓글을 작성하려면 로그인 해주세요.



로그인
×
×
  • Create New...