토큰 계산기의 테스트 앱이나 서비스 앱은 생성이 불가능한가요?

[parkjuhong]

RPM이 높은 서비스에 해당 API를 적용하려고 하니 Rate limit이 자주 발생하고 있어서 곤란한 상태입니다.

토큰 계산기에 대한 Rate limit이 더 널널한 테스트 앱이나 서비스 앱은 현재 없는 것 같습니다. 혹시 지원할 생각이 있으신지..?

Edited August 1, 2024 by parkjuhong

[CLOVA Studio 운영자9]

안녕하세요 @parkjuhong님, 

말씀주신 바와 같이 현재 토큰계산기에 대해서는 별도 테스트 앱 또는 서비스 앱 생성하지 않고도 이용하실 수 있는데요.

이용중이신 토큰계산기 정보 (LK 모델 대상인지, HCX인지, 임베딩v2인지) 와 더불어 적용 사례에 대해서 부연해주시면 지원해드리도록 하겠습니다.

감사합니다. 

 

[parkjuhong]

RAG 서비스를 만들고 있습니다. 장문의 문서의 경우 LLM 적용에서 모델 컨텍스트 윈도우 최적 사용을 위해 토큰 수 기준으로 문단 분리를 하고 있습니다. 다만, 문장 단위로 토큰 수 계산을 하니, HCX 토커나이저를 적용을 하는 과정에서 문서가 길어질 경우 토커나이저 API 에서 Rate Limit 이 발생합니다.

저희 서비스에서 타사 LLM을 사용하는 경우, 그 쪽에서 API가 아닌 토커나이저 라이브러리를 제공하고 있어 토큰 수 계산을 위한 Rate Limit 을 고려하지 않아도 되는 환경이지만, CLOVA의 경우 이를 추가로 고려해야 되는 상황입니다.

[CLOVA Studio 운영자9]

안녕하세요 @parkjuhong님, 말씀주신대로 경우에 따라 토큰계산기와 같은 API에 대해 rate limit 설정 수치가 상향 필요한 것으로 보입니다.

해당 내용 최대한 빠르게 개선하여 업데이트드릴 수 있도록 하겠습니다. 감사합니다 (_ _)