Response Stream 의 경우 응답 컨트롤 문의

[mmmm_ssss]

안녕하세요 

Stream 기능을 이용해 챗봇을 만드는 작업을 하고있습니다.

Stream에 대한 응답을 text로 가공해야 하는데, response stream의 line들이

---

id:28bc9b89-7c57-4632-bfc8-c7a223e36da4
event:token
data:{"message":{"role":"assistant","content":" 대한"},"index":0,"inputLength":2,"outputLength":1,"stopReason":null}
id:a8b64035-47d4-4ad2-953d-8191ecfbd34a
event:token
data:{"message":{"role":"assistant","content":" 정보"},"index":0,"inputLength":2,"outputLength":1,"stopReason":null}
id:1ad0ef72-febb-4128-a5b9-97c57bc1d042
event:token
data:{"message":{"role":"assistant","content":"를"},"index":0,"inputLength":2,"outputLength":1,"stopReason":null}
id:b5f2c358-12c6-4237-ad4f-32043a534c41
event:token
data:{"message":{"role":"assistant","content":" 원"},"index":0,"inputLength":2,"outputLength":1,"stopReason":null}
id:3c4bfa90-e1fb-4370-931f-7a3c81ab0303
event:token
data:{"message":{"role":"assistant","content":"하시는지"},"index":0,"inputLength":2,"outputLength":1,"stopReason":null}

---

위와같이 실제 message 에 대한 data 와 event, id 까지 한줄씩 오게된다면 실제로 message 에 대한 컨트롤을 어떤식으로 해야할지 궁금하여 문의드립니다.

그냥 하나하나 str 의 초기 시작이 "id", "event", "data" 인지 확인하고 "data" 일때만 text로 가공하는 방식을 사용해야 하는지,

혹은 다른방식의 괜찮은 방법이 있는지 궁금합니다.

[CLOVA Studio 운영자]

안녕하세요, @mmmm_ssss님,
클로바 스튜디오의 응답 포멧은 SSE (Server Sent Event) 양식을 따르고 있습니다. 이 양식에 따라서 처리를 하는 것을 추천 드립니다.

메시지를 파싱하는 방식은 다양한 방법들이 있는데요. event type 에 따라 다른 메시지 양식을 가질 수 있어 event type 역시 함께 확인하고 활용해 주시면 좋을 것 같습니다.

data 처리 시에는 HTML Standard 스펙에 유의하시어 구현 부탁 드립니다.

감사합니다.

[positoy]

클로바에서도 단일 응답 API 제공하면 좋겠네요! (openai 에서는 제공하고 있습니다)

[CLOVA Studio 운영자9]

안녕하세요 @positoy님, 

단일 응답 API가 non-stream 조건으로 호출하는 것을 의미하시는 것이라면,

요청 헤더 입력 값 중 아래 부분을 삭제하거나 'Accept': '*/*'로 수정하시면 stream이 적용되지 않은 API 응답을 받으실 수 있는 점 참고 부탁드립니다.

  'Accept': 'text/event-stream'

 

Edited June 4, 2024 by CLOVA Studio 운영자9