j5ng

안녕하세요. 클로바 API 문서에 따르면 모델 별로 TPM, QPM 제한이 있는 것을 확인했는데요 TPM 과 QPM을 측정하는 기준이 있는지 궁금합니다. 1. 요청에 대한 시점을 기준으로 누적을 계산하여 제한? 2. 글로벌 타임 기준 00초~60초 까지 매번 측정해서 제한? 과 같이 예상해볼 수 있을 것 같은데. 정확하게 어떤 기준으로 측정하며 제한하고 있는지 바쁘시더라도 답변 부탁드립니다! 감사합니다.

답변 감사드립니다. LLM 기반 서비스 특성상 어느 정도 감안해야하는 부분인 것 같습니다. 출력 토큰 수를 제어하는 방법도 함께 고려해보겠습니다.

안녕하세요, 저희는 현재 HCX-003 서비스 앱을 신청했고, 서비스 하고있습니다. 이전에는 문제가 없었지만, 2월 20일? 즈음 부터 평균적으로 1.5초~3초 사이에 응답을 주다가, 간헐적(5번에 1번꼴)으로 20초 이상 지연이 되는 문제가 있습니다. 현재는 Request Timeout을 3초로 설정하고, 3초안에 응답받지못하면, 재시도하는 방식으로 로직을 수정하여 해당 문제를 대처하고 있습니다만, 앞으로 문제가 지속될 가능성이 있는지 여부와 클로바 측에서 해당 문제를 대처하는 다른 방법이나 권장사항이 있는지 궁금합니다. 감사합니다.

안녕하세요 이번에 하이퍼클로바 X가 chatgpt와 같이 stream 방식을 지원하게 되어 아주 잘 사용하고 있습니다. 하지만, 현재 가이드라인 코드가 전부 stream 웅답 예시로 변경된거 같아서 stream 방식이 아닌 기존 api gateway 방식으로도 하이퍼 클로바X를 사용할 수 있는지 문의드립니다. 감사합니다.

안녕하세요 저는 Python 클라이언트를 통해 하이퍼클로바X를 아주 잘 사용하고 있습니다. 하지만, 챗봇이 이모지를 생성하는 부분에서 디코딩이 안되어 문의드립니다. 현재 출력을 \uD83D\uDE0D\uD83D\uDE18\uD83D\uDC4D\uD83D\uDC4F\uD83C\uDF89\uD83C\uDF81\uD83D\uDC95\uD83C\uDF1F ✨\uD83D\uDCAB\uD83D\uDD25\uD83C\uDF08\uD83D\uDC99\uD83D\uDC9C\uD83D\uDC9A\uD83E\uDD29\uD83D \uDE2E‍\uD83D\uDCA8\uD83D\uDCA5\uD83D\uDCA2\uD83D\uDC4A\uD83D\uDCAA 이런식으로 받고 있습니다. 전에 stream이 아니였을때는 문제가 없었는데 조금 알아보니 해당 방식은 java의 이모지 처리방식이라고 합니다. python 클라이언트에서 사용할 수 있도록 이모지 처리에 대한 가이드 요청 드립니다. 감사합니다.

안녕하세요 현재 HyperClova X 에 대한 서비스앱 신청을 진행하려고 하는데요. 신청할 작업 선택에 없어서 신청이 불가한 상태입니다.. 현재 테스트앱으로 사용중이고, 나만보기, URL이 생성된 작업물 입니다. 바쁘시더라도 확인부탁드립니다. 감사합니다.

안녕하세요. 빠른 답변 감사드립니다. 그렇다면 처음에는 권장 QPM인 200으로 시작하고 추후 트래픽에 따라서 QPM을 올려준다는 말인가요? 현재 서비스에 클로바를 적용할지 아니면 다른 LLM을 사용할지 결정을 해야 해서요. 아시겠지만 ChatGPT는 RPM(request per minute)이 기본 3500이고 요청하면 상향 가능합니다. 죄송하지만 명확한 답변 부탁드리겠습니다. 감사합니다.

추가적으로 질문하나 더 드리자면 한 계정에서 여러 서비스앱(3~5)개를 신청하여, 요청을 분산하는 방법도 가능할까요?

안녕하세요. QPM 권장이 200이면 초당 3개 쿼리밖에 지원이 안된다는 것인데요. 상용 서비스에서는 너무 적은 것 같습니다. 앞으로 사용자가 늘어나면 당연히 QPM도 증가할 텐데요. 혹시 상황에 따라 QPM 제한이 늘어날 수 있는 것인가요. 아니면 무조건 최대 QPM이 정해져 있는 것인가요. 앞으로 서비스 확장성에 있어서 아주 중요한 문제라고 생각합니다. 바쁘시겠지만 확인 부탁드리겠습니다.

Queries Per Minute 인가요?

Too many requests 에러의 경우 말씀드립니다!!

혹시 Error를 반환했을때도 토큰에 대한 요금이 청구될까요?