RAG(Retrieval-augmented Generation)은 무엇이며, HyperCLOVA X에서는 어떻게 활용하나요?

[William]

네이버 클라우드 입니다.

LLM을 활용하여 정해진 문서에 대하여 묻고 답변을 하는 챗봇을 만들고 싶은데, 어떻게 해야하는지 막막하시다구요?
Hallucination(그럴싸한 거짓말)이 나오면 안 되는 챗봇을 만들고 싶은데, 어떻게 해야하는 것일까요?

아마 RAG(Retieval-augmented Generation)을 들어보셨을 것 같습니다.
RAG Architecture를 활용하여, 이러한 챗봇을 만들 수 있습니다.

상세한 내용은 첨부한 가이드파일을 참고 부탁 드립니다.^^

HyperCLOVAX_RAG_검색증강생성_Workshop_231027.pdf

[hahaha]

안녕하세요. 공유해주신 RAG를 hyperclova x와 연동하여 사용하고싶은데, segmentation api, embedding api, 벡터db 데이터 입력, 등 자세한 설명이 없어서요..ㅠㅠ

embedding api는 클로바스튜디오 익스플로러 환경에 있던데, 다른 기능들의 api는 따로 요청을 해야하는 부분일까요?

감사합니다.

[William]

안녕하세요. 문의 주신 사항에 답변을 드립니다.
우선 현재 하이퍼클로바 X에서 제공하는 API들은 다음과 같습니다. 

Embedding API, Segment API, Summary API 등을 제공하고 있습니다. 상세 설명은 하기 url을 참고 부탁 드립니다.
https://guide.ncloud-docs.com/docs/clovastudio-explorer03

그 외, 벡터 DB에 대한 것은 저희가 별도로 제공하고 있지는 않으며, 추천하는 벡터 DB는 파일에 표기된 것처럼 Chrom, Pinecone, Milvus, Qdrant, Postgre SQL, Weaviate 를 권장드리고 있습니다.

사용예시는 첨부해드린 파일에서 Milvus 케이스만 전달 드리고 있습니다.

 

Edited December 7, 2023 by William

[테헤란로 옥부장]

안녕하세요, 위 RAG 구현에 대해 소스코드를 깃허브에 올려 놓았습니다.

RAG(Google OCR + Hyperclova X embedding + Pinecoin Vecter DB + Hyperclova X Chatbot) 기술을 이용한 논문검색 : https://github.com/minchulock/liner-pdf-chat-tutorial

colab 환경에서 구현하였고 사본을 만들어서 실행해 보시기 바랍니다.

여기서 PDF로 된 논문을 읽기 위해서 Google OCR (vision) 을 사용하였습니다. 이를 네이버클라우드에서 제공하는 CLOVA OCR을 사용하지 않아 아쉬움이 남습니다.

또한 여기서는 논문의 내용을 chunk 로 잘랐는데, CLOVA Studio 에서 제공하는 Segment API 를 사용하면 좀더 나은 성능을 보실 수 있습니다.

Vecter DB 는 Pinecoin 을 프리 버전으로 생성하여 사용하였습니다. cosin 으로 demantion 은 1024차원으로 설정하였습니다.

즐거운 여정 되시기 바랍니다~