서비스앱 배포시 토큰사용량 제한

[모바일]

하이퍼클로바x 모델을 서비스앱에 배포하여 출시했을때

사용자가 하루에 사용할 수 있는 토큰량을 제한할 수 있을까요?

제한할 수 있다면 어떻게 제한할 수 있을까요?

[CLOVA Studio 운영자9]

안녕하세요 @모바일님,

문의주신 내용 @모바일님께서 운영하시는 서비스의 최종 사용자가 이용할 수 있는 토큰 수를 제한할 수 있는지로 이해하였습니다. (아니라면 말씀주세요.)

현재 스튜디오에서 직접 제공해드리는 기능은 없으나, Completions/Chat Completions API 응답의 `inputLength`, `outputLength` 필드를 통해 이용 토큰 수를 반환하고 있습니다. (API 가이드 참조)

해당 정보를 이용하여 최종 사용자별로 이용한 토큰 수를 측정 및 기록하여 일정 수준을 넘으면 일정 시간 동안 이용을 제한하는 등의 방식으로 별도 rate limiter를 구현하실 수 있을 것으로 보입니다.

참고 부탁드립니다.