HCX-002 응답 속도 문의

[jhp]

안녕하세요

clova studio 플레이그라운드에서 HCX-002 엔진을 통해 테스트앱을 생성했습니다
API를 통해 답변을 요청하면 응답 속도가 너무 느립니다. (기본 10초이상 걸리는듯)

정상적인건가요? 아니면 테스트앱이라 그런건지 서비스앱을 신청하면 괜찮을까요?

 

아래는 테스트한 본문 입니다

{
  "topK" : 0,
  "includeAiFilters" : true,
  "maxTokens" : 1024,
  "temperature" : 0.3,
  "stopBefore" : ["<|endoftext|>"],
  "repeatPenalty" : 5.0,
  "topP" : 0.8,
  "messages" : [ {
    "role" : "system",
    "content" : "사용자가 입력한 문장을 해석하여 답변해 주세요.\r\n답변에 추가적인 정보를 덧붙여서 자세하게 존댓말로 답변해 주세요."
  }, {
    "role" : "user",
    "content" : "1984년 지방문화활동 지원과 시설 확충을 위한 구체 방안을 담은 중앙정부의 계획은"
  } ]
}

[CLOVA Studio 운영자]

@jhp 님, 안녕하세요.

혹시 스트리밍을 이용해보셨을까요? 응답 결과를 스트림 형태로 받을 수 있습니다.

아래 가이드를 참고하시어, URL은 clovastudio.stream.ntruss.com/testapp/v1/chat-completions/HCX-002로 변경해주시고,

Header에 Accept: text/event-stream로 지정 부탁드립니다.

https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname

감사합니다.