https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname#응답-스트림
의 가이드를 따라 테스트 앱의 Chat Completions API 요청에 응답 스트림을 적용해 보았습니다.
하지만 응답으로 토큰이 하나 씩 오지 않고, 수십개의 토큰이 한번에 뚝뚝 끊겨 옵니다.
해당 현상이 응답의 문제인지, 아니면 수신 측에서 개선되어야 하는 부분이 있는지 가이드 부탁 드립니다.
사용된 코드 첨부합니다.
감사합니다.
import requests
import time
def query_to_hcx():
headers = {
'Content-Type': 'application/json; charset=utf-8',
'Accept': 'text/event-stream',
'X-NCP-CLOVASTUDIO-API-KEY': '---',
'X-NCP-APIGW-API-KEY': '---',
'X-NCP-CLOVASTUDIO-REQUEST-ID': '---'
}
completion_request={
"messages": [{"role": "user","content": "김치 찌개 레시피 알려줘"}],
"maxTokens":500
}
print("start the chat-completion request")
start = time.time() # 시작
completion = requests.post('---HCX-002',headers=headers,json=completion_request, stream=True)
for line in completion.iter_lines():
if line:
print(line.decode("utf-8"))
print(f"{time.time()-start:.4f} sec")
if __name__ == "__main__":
query_to_hcx()
