ㅇㅇㅇ
-
게시글
4 -
첫 방문
-
최근 방문
ㅇㅇㅇ's Achievements
-
안녕하세요. 금일 LK-D2, HCX-003 두개로 모델들이 변경된다고 안내를 받았는데 LK-D2 는 나오는 반면 HCX-003 은 안보이네요. 별다른 공지도 딱히 없는데 아직 추가가 안된건가요? 그리고 HCX-002 모델 대비 HCX-003 모델의 변경점, 차별점에는 어떤것들이 있나요?
-
토큰 계산기(HCX) 활용을 위해 modelName을 확인하고싶습니다
-
안녕하세요. 답변 감사합니다. 확인차 여쭤보면, 요약/문단나누기는 cli-emb-dolphin와 동일한 토크나이저를 사용하는 것이 맞을까요?
-
cli-emb-dolphin 사용하고 있습니다. 텍스트를 임베딩 하려 하니 토큰 제한 (512?)으로 안되는 chunk가 많아 네이버에서 사용하시는 토크나이저 기준으로 chunking을 해야할 것 같은데요. 토큰 수 확인 방법 있는지 문의드립니다. 데이터 양이 매우 많아 스튜디오 화면 상에서 입력하는 것(계산기? 기능)은 안될 것 같습니다.