Jump to content

Chat Completions의 토큰 한도가 궁금합니다.


Recommended Posts

1. Chat Completions의 input token의 한도는 얼마인가요? 제가 실험해봤을 때, 대략 3500토큰 근처가 한도인 것 같았는데, 혹시 이게 맞다면 앞으로 줄이거나 늘리실 계획은 있으신가요?

 

2. input을 최대 토큰 근처 값으로 준 뒤, HCX-003 모델로 질문을 했을 경우, 어느 경우는 답이 오지만 어떨때는 error 500 이 뜨는 것을 확인했습니다. 또한 답이 올때에도 시간이 매우 걸리는 것을 확인할 수 있었습니다.

이때 input값으로 의미없는 정보를 3500토큰 근처로 준 테스트였는데, 응답이 오는 시간은 input의 길이에 따라 결정되는 것이 아닌가요?

ex. 

[{'role': 'system', 'content': '가나다라마바사아자차카통계표에 따른 성별ㆍ연령별 기대여명 연수(소수점 이하는 버리며, 이하 이 조에서 “기대여명연수”라 한다) 이내에서 보험금ㆍ수익 등을 연금으로 지급하기로 보증한 기간(이하 이 조에서 “보증기간”이라 한다)이 설정된 경우로서 계약자가 해당 보증기간 이내에 사망한 경우에는 해당 보증기간의 종료시를 말한다] 보험계약 및 연금재원이 소멸할 것해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군해운대구, 연제구, 동래구, 남구, 부산진구 및 수영구, 기장군'}, {'role': 'user', 'content': '안녕하세요'}]
 

결과 1 :

event:error
data:{"status":{"code":"50000","message":"Internal Server Error"}}

 

결과 2 :

event:result
data:{"message":{"role":"assistant","content":"네, 안녕하세요. 무엇을 도와드릴까요?"},"inputLength":3530,"outputLength":13,"stopReason":"stop_before","seed":3673631354,"aiFilter":[{"groupName":"curse","name":"insult","score":"2"},{"groupName":"curse","name":"discrimination","score":"2"},{"groupName":"unsafeContents","name":"sexualHarassment","score":"2"}]}

 

링크 복사
다른 사이트에 공유하기

안녕하세요, @데이터 빅님,

1. 원활한 모델 성능을 위헤 인풋을 3500 토큰으로 제한하고 있고, 현재는 인풋의 토큰 한도를 늘릴 계획이 없습니다. 향후 인풋 토큰의 한도를 조정하게 되면 다시 안내드리겠습니다.

2. 원문자 등 특수 기호 삽입 시 문단나누기 API의 일부 로직이 간헐적으로 정상 작동하지 않는 점 확인하여 아직 개선중에 있습니다. 늦어져서 죄송하며 수정되는대로 안내드리도록 하겠습니다.

앞으로도 성능 개선을 위해 지속적으로 노력하겠습니다.

감사합니다.

  • Like 1
링크 복사
다른 사이트에 공유하기

게시글 및 댓글을 작성하려면 로그인 해주세요.



로그인
×
×
  • Create New...