cycle1223 Posted October 23, 2023 공유하기 Posted October 23, 2023 https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname#응답-스트림 의 가이드를 따라 테스트 앱의 Chat Completions API 요청에 응답 스트림을 적용해 보았습니다. 하지만 응답으로 토큰이 하나 씩 오지 않고, 수십개의 토큰이 한번에 뚝뚝 끊겨 옵니다. 해당 현상이 응답의 문제인지, 아니면 수신 측에서 개선되어야 하는 부분이 있는지 가이드 부탁 드립니다. 사용된 코드 첨부합니다. 감사합니다. import requests import time def query_to_hcx(): headers = { 'Content-Type': 'application/json; charset=utf-8', 'Accept': 'text/event-stream', 'X-NCP-CLOVASTUDIO-API-KEY': '---', 'X-NCP-APIGW-API-KEY': '---', 'X-NCP-CLOVASTUDIO-REQUEST-ID': '---' } completion_request={ "messages": [{"role": "user","content": "김치 찌개 레시피 알려줘"}], "maxTokens":500 } print("start the chat-completion request") start = time.time() # 시작 completion = requests.post('---HCX-002',headers=headers,json=completion_request, stream=True) for line in completion.iter_lines(): if line: print(line.decode("utf-8")) print(f"{time.time()-start:.4f} sec") if __name__ == "__main__": query_to_hcx() 링크 복사 다른 사이트에 공유하기 More sharing options...
CLOVA Studio 운영자 Posted October 26, 2023 공유하기 Posted October 26, 2023 안녕하세요, @cycle1223님, 클로바 스튜디오 담당입니다. 서비스 이용에 불편을 드려 죄송합니다. Chat completions API를 통한 토큰 스트리밍 기능은 11월 초에 정상적으로 이용하실 수 있도록 제공 예정입니다. 감사합니다. 1 링크 복사 다른 사이트에 공유하기 More sharing options...
cycle1223 Posted November 10, 2023 Author 공유하기 Posted November 10, 2023 답변하신 내용 언제쯤 적용이 될까요? 링크 복사 다른 사이트에 공유하기 More sharing options...
CLOVA Studio 운영자 Posted November 10, 2023 공유하기 Posted November 10, 2023 안녕하세요, @cycle1223님, 지난주 토큰 스트리밍 적용이 완료되어, 이제 정상적으로 이용이 가능하십니다. 다만 clovastudio.stream.ntruss.com 로 url 변경이 필요한데요. 아래 가이드의 예시 코드를 참고 부탁드립니다. 가이드: https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname 이용에 어려움이 있으실 경우 다시 코멘트 부탁드립니다. 감사합니다. 1 링크 복사 다른 사이트에 공유하기 More sharing options...
nexusai Posted November 13, 2023 공유하기 Posted November 13, 2023 안녕하세요. clovastudio.apigw.ntruss.com 과 clovastudio.stream.ntruss.com 모두 동작하고 있는데, 앞으로는 stream쪽으로 확정인가요? 링크 복사 다른 사이트에 공유하기 More sharing options...
CLOVA Studio 운영자 Posted November 13, 2023 공유하기 Posted November 13, 2023 안녕하세요, @nexusai님, 네, 이전의 apigw url은 아마도 긴 응답에서 정상적으로 스트리밍 응답을 하지 못했을 것입니다. 새로 적용된 clovastudio.stream.ntruss.com 로 이용하시면 되겠습니다. 감사합니다. 링크 복사 다른 사이트에 공유하기 More sharing options...
Recommended Posts
게시글 및 댓글을 작성하려면 로그인 해주세요.
로그인