간헐적 응답 지연 문제 대처방법 문의

[j5ng]

안녕하세요,
저희는 현재 HCX-003 서비스 앱을 신청했고, 서비스 하고있습니다.

이전에는 문제가 없었지만, 2월 20일? 즈음 부터
평균적으로 1.5초~3초 사이에 응답을 주다가,  간헐적(5번에 1번꼴)으로 20초 이상 지연이 되는 문제가 있습니다.

현재는 Request Timeout을 3초로 설정하고, 3초안에 응답받지못하면,
재시도하는 방식으로 로직을 수정하여 해당 문제를 대처하고 있습니다만,

앞으로 문제가 지속될 가능성이 있는지 여부와
클로바 측에서 해당 문제를 대처하는 다른 방법이나 권장사항이 있는지 궁금합니다. 
감사합니다.

[CLOVA Studio 운영자9]

안녕하세요 @j5ng님, 

우선 서비스 이용에 불편을 끼쳐드린 점 죄송합니다.

CLOVA Studio는 LLM 기반 서비스 특성상 생성되는 콘텐츠의 길이 등 특성에 따라 응답 시간이 크게 달라질 수 있습니다.

HCX-003 모델의 경우 수백토큰 이상을 생성하게 되면 말씀주신 바와 같이 20초 이상 지연이 발생할 수도 있습니다. 

maxTokens와 같은 파라미터를 이용하여 생성하는 출력 토큰 수를 제어하시면 해당 문제가 상당 부분 해소될 것으로 보이는데요.

이후에도 같은 현상이 지속되면 추가로 문의주시면 감사하겠습니다.

감사합니다. 

[j5ng]

답변 감사드립니다.

LLM 기반 서비스 특성상 어느 정도 감안해야하는 부분인 것 같습니다.

출력 토큰 수를 제어하는 방법도 함께 고려해보겠습니다.