TABA

안녕하세요. 문의드립니다. 문단나누기 api 를 사용하여 데이터를 chunking 후 임베딩 api를 사용하여 벡터화 처리를 하려 합니다. 임베딩 api에서 처리 가능한 최대 500 토큰을 지키기 위해서 요약 api 사용을 권장하는 것으로 알고 있는데요. 요약 api의 segMaxSize 파라미터의 경우 단위가 토큰이 아닌 글자수인 관계로 처리가 애매합니다. 익스플로러의 토큰계산기 api가 이러한 상황에서 토큰 수를 체크하기 위한 용도로 제공하는 것일까요? chunking 된 데이터를 임베딩 처리하기 위한 500 토큰 초과 여부를 확인할 수 있는 방법에 대해서 알고싶습니다. 감사합니다.

지나가다 남 일 같지 않아 간략히 남겨봅니다. 튜닝 api로 학습시킨 모델만으로는 원하는 결과를 도출하기 어려울 듯합니다. 프롬프트 체인, RAG 를 이용해서 구성하셔야 원하는 서비스를 구성하실 수 있습니다. 관련 내용은 구글링을 하시면 어렵지 않게 찾으실 수 있습니다.