HCX-007 추론 토큰 추출 방법 w/ langchain

[choi.wb]

안녕하세요 langchain 을 통해 HCX-007 을 사용중에 있는데요~

혹시 Langchain 을 통해서도 HCX-007 추론 토큰을 확인 할 수 있을 까요?

 

공식 Clovastudio 가이드에는 requests 를 통해 지원하는 걸로는 확인했습니다.

https://api.ncloud-docs.com/docs/clovastudio-chatcompletionsv3-thinking

 

hcx_llm = ChatClovaX(

    model="HCX-007",

    temperature=llm_temperature,

    max_completion_tokens=llm_maxtokens_general,

    extra_body={

        "thinking": {"effort": "medium"},  # 'low', 'medium', 'high' 지원

    }

)

 

이런식으로 해봤는데 .invoke 나 .stream 모두 think 토큰 은 안나오고 답변만 나와서 문의 드립니다~

[CLOVA Studio 운영자9]

안녕하세요 @choi.wb님, 해당 기능 지원을 위해 langchain-naver 패키지 업데이트가 예정되어 있습니다. 업데이트 후 안내드리도록 하겠습니다.

[CLOVA Studio 운영자9]

안녕하세요 @choi.wb님, 어제 배포된 langchain-naver v0.1.1부터 추론(thinking) 모델을 정식 지원합니다. 패키지 업데이트 후 이용하실 수 있을 것으로 보입니다. 

자세한 내용은 아래 문서를 확인 부탁드립니다. 사용해보시고 궁금한 점이나 개선 의견이 있으시면 편히 말씀주세요.

감사합니다.

https://python.langchain.com/docs/integrations/chat/naver/#thinking

Edited August 7 by CLOVA Studio 운영자9