[Chat-Completions/HCX-003] �429 Too Many Requests 문제 문의 드립니다

[jayahn0104]

안녕하세요,

 

배경

현재 serviceapp을 등록해 Chat-Completions API HCX-003 모델로 서비스를 개발하고 있습니다.

테스트 중 동시다발적(10명이 동시에)으로 Chat-Completions API request를 수행할 경우 아래와 같이 "429 Too Many Requests" 에러가 발생하는 것을 관측 했습니다.

 

질문 1)

에러가 발생한 것은 TPM 기준을 초과해서 그런 것인지 문의드립니다.

 

질문 2)

곧 exclusive 로 전환할 예정인데,

전환후에도 동일한 에러가 발생할지 문의드립니다.

 

에러 현상

HTTP Request: POST https://clovastudio.stream.ntruss.com/serviceapp/v1/chat-completions/HCX-003 "HTTP/1.1 429 Too Many Requests"
[32mhttps://clovastudio.stream.ntruss.com:443 "POST /serviceapp/v1/chat-completions/HCX-003 HTTP/1.1" 429 None
[32mhttps://clovastudio.stream.ntruss.com:443 "POST /serviceapp/v1/chat-completions/HCX-003 HTTP/1.1" 200 449
HTTP Request: POST https://clovastudio.stream.ntruss.com/serviceapp/v1/chat-completions/HCX-003 "HTTP/1.1 429 Too Many Requests"

[CLOVA Studio 운영자9]

안녕하세요 @jayahn0104님, 문의주신 사항 아래와 같이 답변드립니다.

1. 네 맞습니다. 해당 에러 (429 Too Many Requests) 는 이용하시는 서비스앱 또는 테스트앱에 적용되는 rate limit을 초과할 경우 발생합니다. (서비스앱 신청 시 협의된) 처리 토큰수 및 동시 요청수 등의 기준이 있으며 말씀주신 사례의 경우 요청 간 1초 이내로 시간 간격을 둬도 정상 작동할 것으로 보입니다.

2. 전환 후에는 해당 상품 정책을 따릅니다. 관련해서 추가 문의사항이 있으실 경우 말씀주십시오.

감사합니다.