Jump to content

response text 의 뒷부분이 끊깁니다. too many requests (429) ?


Didim365

Recommended Posts

안녕하세요. 두가지 문의 드립니다.

 

1. max tokens 를 높게 설정했음에도 답변이 끊겨 출력되는 문제

image.png.6b0da638b10fa5b8ffe8a20dd8d3f280.png

위와 같이 - 출장 이 부분에서 문장을 완성하지 않고 끊겨버립니다.  stream 기능은 사용하지 않고 있습니다.

image.png.c008ed1a9f05c862f75d3092dd8b2a75.png

첫번째 사진의 max tokens 는 2048, 두번째는 3500 을 사용했습니다.

 

2. too many request (429) 에러의 기준

가이드 문서에서 위 에러에 대한 설명은 찾을 수 없어 문의 드립니다 

현재 테스트앱을 발행해 이것 저것 테스트 해보고 있는데요,

4~5건의  request 를 보낼 때마다 429 에러가 반환됩니다.

테스트앱의 max request 때문인건가요? 맞다면 max 값이 몇인지 궁금합니다.

서비스 앱을 발행해서 사용하면 위 에러는 발생하지 않을까요?

 

링크 복사
다른 사이트에 공유하기

안녕하세요, @Didim365 님, 클로바 스튜디오 담당입니다.

 

1. 입력하신 프롬프트와 파라미터 등 구체적인 정보를 봐야 파악이 가능할거 같습니다.

댓글로 남겨주시거나, 공개가 어려우실 경우 아래 링크를 통해 문의 접수 부탁드립니다.

https://www.ncloud.com/support/question/service

 

2. 클로바 스튜디오는 현재 안정적인 서비스 제공을 위해 테스트 앱의 경우 1 QPS (Query Per Second) 를  기준으로 이용량을 제한하고 있습니다.

따라서 동시에 4~5건의 request 인입 시 해당 에러가 발생하도록 되어 있습니다.

서비스앱 신청 시 예상되는 이용량을 작성해주시면 해당 내용과 함께 서비스 특성, 인프라 가용 현황 등을 고려하여 협의를 거쳐 QPS를 상향할 수 있으며, 해당 수치를 초과하지 않는 요청에 대해서는 관련 에러 (429 too many request) 발생하지 않습니다.

참고로 클로바 스튜디오는 현재 베타 서비스 중으로 해당 수치는 향후에 변경될 수 있다는 점과 시스템 인프라 상황에 따라 보장되지 않을 수 있는 점도 함께 안내드립니다.

감사합니다.

링크 복사
다른 사이트에 공유하기

게시글 및 댓글을 작성하려면 로그인 해주세요.



로그인
×
×
  • Create New...