대화 데이터셋 튜닝을 통한 페르소나 튜닝 모델 및 Streamlit을 이용한 챗봇 만들기

[테헤란로 옥부장]

본 내용은 네이버클라우드에서 제공하는 네이버 Hyperclova X 를 No code 기반 플랫폼인 Clova Studio 를 통해

페르소나라는 튜닝 모델을 만들고, 플랫폼에서 제공하는 Rest API, Python 코드를 이용하여 챗봇을 만드는 과정을 소개 합니다.

 

페르소나 튜닝 모델은 AI.HUB 에서 제공하는 데이터셋의 일부를 인용하여 Clova Studio 에서 제공하는 "데이터 확장" 기능 통해 확장 시킨 후 튜닝(학습) 하였습니다.

페르소나는 아래와 같이 20대 여성으로 컨셉을 잡았습니다.

사용자와 대화하는 페르소나 챗봇 입니다.

- 나는 여자다.

- 나는 20대다.

- 나는 십자수에 관심이 많다.

- 나는 냉소적이다.

- 나는 지난달부터 운전면허 학원에 다니고 있다.

데이터셋은 아래 GitHub 에 소스코드와 함께 업로드 하였습니다.

코드는 Colab 환경에서 Python으로 짰으며 챗봇 UI를 만들기 위해 Streamlit-chat 을 이용하였습니다.

아래는 그 결과 스샷 입니다.

Colab의 소스코드에서 아래 부분을 자신에게 맞게 수정 후 실행해야 합니다.

Clova Studio 에서 튜닝 또는 플레이그라운드에서 "테스트앱" 생성 버튼을 클릭하면 CURL, Python 두가지 타입으로 코드를 얻을 수 있는데 Python 탭의 내용 중 아래 해당 하는 부분을 자신 것으로 치환해야 합니다.

다음은 수정할 부분 입니다.

위 URL 주소를 수정

{api_key}, {api_key_primary_val}','{request_id}' 키값 수정

아래는 소스코드에 대한 설명과 실행해 볼 수 있는 Colab 주소가 링크 되어있습니다.

페르소나 챗봇 만들기

실행 하실 때는 Colab 사본 만들기로 가져온 후 위와 같이 소스코드를 자신의 모델 테스트앱

코드로 치환 하여 실행하시면 됩니다.

챗봇을 띄우는 방법은 아래 절차로 실행하여 띄울 수 있습니다.

위 코드를 실행하면 Password/Endpoint IP for localtunnel is : 옆에 아이피 주소가 보이게 됩니다.

아래 코드를 실행하면 your url is : 옆에 URL 주소가 생성 됩니다. 이 URL 주소를 클릭 하여 웹브라우져에서 띄운 후 아래 부분에 위에서 얻은 아이피 주소를 넣고 클릭 하시면 최종 챗봇이 실행 됩니다.

기존 chatpgt를 이용한 예제 코드들은 인터넷에 많은데 국산 모델인 Hyperclova X 로 만든 예제가 없어 아쉬움이 많았습니다.

본 예제 코드를 통해 Hyperclova X 로 나만의 모델도 만들어 보고 챗봇도 구현해 보시기 바랍니다.

팁으로

페르소나 모델을 만드신 후 Clova Voice, Clova speech recognition 과 연동하시면 말로 대화할 수 있는 비서 봇을 만들 수 있습니다.

 

이상 즐거운 여정 되시기 바랍니다.

[MMMKKK]

좋은 예제를 알려주셔서 정말 감사합니다.

제가 좀 이해가 부족해서 추가 질문을 드리고자 합니다.

1. 공유해주시는 .csv 파일을 이용해서 튜닝하는 것은 어떻게 진행할 수 있나요? 따로 python code 에서는 보이지 않아 여쭤봅니다.

2. Clova Voice, Clova speech recognition 과 연동과정에 대해서 좀 자세히 설명 부탁드려도 될까요? 예제를 보여주시면 더욱 좋을 것 같습니다.

감사드립니다 :)

[테헤란로 옥부장]

위에 질문에 답변 드립니다.

1. .csv 파일을 이용해서 튜닝하는 방법은 CLOVA Studio 툴의 튜닝 메뉴로 들어가면 "튜닝 API" 를 이용하여 튜닝 할 수 있습니다.

아래 좀더 상세히 가이드를 기술 하였습니다.

[NCP][LLM][HyperCLOVA X] 튜닝 API로 커스텀 LLM 만들기

2. Clova Voice, Clova speech recognition 과 연동과정에 대해서는 아래와 같은 이유로 예제를 보여드리기에 개발 공수가 들어 갑니다.

Clova Voice 은 SDK 로 제공을 하고 있으며

Clova speech 는 위 1번과 같이 Rest API 를 제공하고 있기에 Postman 으로 테스트 해볼 수 있습니다만 본 CLOVA Studio와는 별개여서

별도 블로그를 통해 기술 하도록 하겠습니다.