프롬프트 엔지니어링 및 문단나누기api

[hahaha]

안녕하세요. 전문 챗봇 구축을 위해 하이퍼클로바x api를 편리하게 잘 활용하고 있습니다.

개발을 진행하며 프롬프트 엔지니어링 및 문단나누기api 관련하여 문의사항이 있습니다.

1. chatcompletion api에 시스템 프롬프트 명령문들을 주었습니다.

"-[정보]가 없으면 정보가 없습니다라고 대답해줘"

"-주어진 [정보]에서만 답변을 만들어줘", 등등

제가 따로 벡터화시킨 [정보]에 해당하는 내용이 없다면 [정보]가 없다고 대답을 유도하고 싶습니다.

하지만 전혀 관련없는 "bts는 누구야?" 라는 general한 질문을 했을때 하이퍼클로바x가 사전에 학습되어있는 내용을 대답해주고 있습니다.

철처하게 제가 학습시킨 벡터에 관련된 내용만 답변을 하게하려면 어떤 식으로 프롬프트 지시문을 내려야할까요?

프롬프트 지시문으로 안된다면 따로 rule base로 api 내부구조를 바꿔야할까요?

 

2. 현재 문단나누기api를 활용하고 있는데 문단을 chunk로 나눌때 앞문단과 뒷문단의 일정 텍스트부분을 overlap시킬 수 있는 방법이 있을까요?

 

감사합니다.

[CLOVA Studio 운영자]

안녕하세요, @hahaha님, 클로바 스튜디오 담당입니다.

 

1. 시스템 프롬프트를 기반으로, 특정 정보만을 대답하도록 간단한 작업을 만들어볼 수 있을 것 같습니다. 단, 언어 모델의 특성상 무조건 해당 정보만을 바탕으로 답한다고 보장할 수는 없습니다.

임베딩 API를 통해 정보를 벡터화 시킨 후, 별도 판별기를 개발해서 질의 관련 정보가 벡터 db에 있는지 구현하는 방법 등이 있을 것 같습니다.

 

2. 문단 나누기 API에서 문단 일부분을 overlap 시키는 기능을 직접 제공하고 있진 않습니다.

해당 기능은 문단이 나뉘어진 위치 정보를 담고 있는 문단 나누기 API 응답의 "span" 필드를 참고하시어 구현하실 수 있을 것으로 보입니다.

 

많은 이용 부탁드리며 추가 문의사항이 있다면 알려주세요.

감사합니다.