테스트앱의 QPS 증대 요청 드립니다

[nexusai]

안녕하세요.

현재 테스트앱이 초당 1번만 호출할 수 있어서, RAG및 서비스 품질향상을 위해 체이닝하는 과정에서 병렬처리가 전혀 불가능한 상황입니다.

정상적인 기능에 의한 부하테스트를 하여야 서비스앱 신청시에도 최대한 근사치로 말씀드릴 수 있을 것 같습니다.

QPS를 크게 늘려주실 필요도 없고 초당 5건으로만으로라도 늘려주시면 개발 공수 절약에 큰 도움이 될 것 같습니다.

[CLOVA Studio 운영자9]

안녕하세요 @nexusai님,

우선 이전 남겨주신 문의는 내부적으로 논의중인 점 참고 부탁드리겠습니다.
더불어 본 문의도 같은 취지로 남겨주신 것인지 여쭙습니다. 익스플로러 상의 도구에 대해 발급받으신 테스트앱에 대한 QPS를 상향 요청주시는 것일까요?
말씀주신 체이닝 구조에 대해 약간이나마 추가로 설명해주시면 보다 정확히 안내드릴 수 있을 것 같습니다.

감사합니다.

[nexusai]

임베딩 테스트앱 API 과는 별개입니다.

플레이그라운드에서 생성한 채팅 API에 대해 요청드립니다.

 

사용자로부터 질문(req.message 라고 하겠습니다.)이 들어오면,

해당 텍스트에 대해 다각적인 분석을 위해 /HCX-002 uri에 서로 다른 프롬프트를 넣어 여러 번 호출합니다.

예를 들면 아래와 같은 내용입니다.

- 이 사람은 지금 밥을 먹고 싶니? 아래의 질문을 읽고 Yes or No로 답변해줘.\n{req.message}

- 이 사람이 원하는 음료가 있니? 아래의 질문을 읽고 ["음료명","ice/hot여부"] 형태로 답변해줘.\n{req.message}

- 이 사람과 함께 있는 사람은 누구고, 어떤 상황이니? 아래의 질문을 읽고 JSON 형태로 답변해줘.\n{req.message}

이 프롬프트를 세 번 직렬로 호출할 수도 있지만 asyncio 를 이용해 병렬로 호출하려 하고 있습니다.

각 내용에 대해 답변이 도착하면, /HCX-002 uri를 스트리밍 모드로 다음과 같이 호출합니다.

- 너는 친절한 음식점 직원이야. 이 사람은 식당 손님인데, 너에게 문의를 하고 있어. 뭐라고 대답을 할까? 이 정보들을 참고해서 대답해줘. {{위에서 만들어온 HCX응답}}\n\n[질문] {req.message}\n\n[답변]

 

현재는 여러 테스트앱을 발급받아 1초에 1건만 호출되도록 롤링하는 소스를 이용하고 있습니다.

그런데 저희 상용서비스 오픈 직전이라 변인을 최소화한 테스트를 준비중인데, 상용서비스에는 서비스앱 API가 붙어야 하니 이 롤링 관련 소스가 빠지는 등 변인이 많아져 환경셋팅에 어려움이 있습니다.

 

따라서 정리드리면..

내부적인 프로세스가 많아 자세히 말씀드리기는 어려우나

정상 테스트를 위해 필요한 최소 QPS는 현재까지는 5입니다.

[CLOVA Studio 운영자9]

안녕하세요 @nexusai님, 

먼저 자세한 설명 감사합니다.

현재 클로바 스튜디오는 안정적인 서비스 제공을 위해 테스트 앱에 대해 모든 사용자에게 동일한 QPS를 적용하고 있습니다.

때문에 개별적으로 해당 수치를 증대시켜드리기 어려운 점 양해부탁드립니다.

말씀주신 체이닝 구조의 경우 직렬로 호출하거나, 서비스 앱을 발급받아 테스트를 진행하실 것을 제안드립니다.

감사합니다.