Chat Completions 응답 스트림 적용 관련 문의

[cycle1223]

https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname#응답-스트림
의 가이드를 따라 테스트 앱의 Chat Completions API 요청에 응답 스트림을 적용해 보았습니다.

하지만 응답으로 토큰이 하나 씩 오지 않고, 수십개의 토큰이 한번에 뚝뚝 끊겨 옵니다. 
해당 현상이 응답의 문제인지, 아니면 수신 측에서 개선되어야 하는 부분이 있는지 가이드 부탁 드립니다.
사용된 코드 첨부합니다.

감사합니다.

import requests
import time

def query_to_hcx():
    headers = {
            'Content-Type': 'application/json; charset=utf-8',
            'Accept': 'text/event-stream',
            'X-NCP-CLOVASTUDIO-API-KEY': '---',
            'X-NCP-APIGW-API-KEY': '---',
            'X-NCP-CLOVASTUDIO-REQUEST-ID': '---'
        }

    completion_request={
        "messages": [{"role": "user","content": "김치 찌개 레시피 알려줘"}], 
        "maxTokens":500
    }

    print("start the chat-completion request")
    start = time.time() # 시작
    completion = requests.post('---HCX-002',headers=headers,json=completion_request, stream=True)
    for line in completion.iter_lines():
        if line:
            print(line.decode("utf-8"))
    print(f"{time.time()-start:.4f} sec") 


if __name__ == "__main__":
    query_to_hcx()
    

 

[CLOVA Studio 운영자]

안녕하세요, @cycle1223님, 클로바 스튜디오 담당입니다.

서비스 이용에 불편을 드려 죄송합니다.

Chat completions API를 통한 토큰 스트리밍 기능은 11월 초에 정상적으로 이용하실 수 있도록 제공 예정입니다.

감사합니다.

[cycle1223]

답변하신 내용 언제쯤 적용이 될까요?

[CLOVA Studio 운영자]

안녕하세요, @cycle1223님,

지난주 토큰 스트리밍 적용이 완료되어, 이제 정상적으로 이용이 가능하십니다.

다만 clovastudio.stream.ntruss.com 로 url 변경이 필요한데요.

아래 가이드의 예시 코드를 참고 부탁드립니다.

가이드: https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname

이용에 어려움이 있으실 경우 다시 코멘트 부탁드립니다.

감사합니다.

[nexusai]

안녕하세요.

clovastudio.apigw.ntruss.com 과 

clovastudio.stream.ntruss.com 모두 동작하고 있는데,

앞으로는 stream쪽으로 확정인가요?

[CLOVA Studio 운영자]

안녕하세요, @nexusai님,

네, 이전의 apigw url은 아마도 긴 응답에서 정상적으로 스트리밍 응답을 하지 못했을 것입니다.

새로 적용된 clovastudio.stream.ntruss.com 로 이용하시면 되겠습니다.

감사합니다.