CLOVA Studio 운영자9

안녕하세요 @데이터 빅님, 우선 전달주신 예시에서 문단 나누기 API의 postProcess 모듈에 버그가 있는 것을 확인했습니다. 내부적으로 원인 등 확인하여 알려드릴 수 있도록 하겠습니다. 다만 설 연휴로 인해 해결이 늦어질 수 있는 점 미리 양해 부탁드립니다. 일단 현재 시도해볼 수 있는 방법은 alpha 값을 바꾸는 것인데요. 전달주신 예시의 경우 alpha 값을 1.0 이상으로 설정할 경우 보다 짧은 길이로 문단이 나뉘는 것을 확인했습니다. (다만 여전히 최대 길이 설정을 넘는 문단이 발생할 수 있습니다.) 문단 내 문장 구분 기능의 경우 현재 제외 설정을 할 수 없으나, 향후 개선 시 해당 기능 반영할 수 있도록 고려하겠습니다. 감사합니다.

안녕하세요 @데이터 빅님, 문단 나누기 API 명세 페이지에 오류가 있었는데요, 현재 수정되었으니 다시 확인해주시면 감사하겠습니다. 우선 문단 나누기 API를 의도하신 바와 같이 사용하기 위해서는 아래와 같이 파라미터를 설정해야 할 것으로 보입니다. "postProcess": true, "alpha": -100, "segCnt": -1, "postProcessMaxSize": 500, "postProcessMinSize": 200, 문단 나누기 API에서 문장 관련 정보 역시 확인하고자 하는 사용자 분들의 니즈를 고려하여 같은 문단 내의 문장 역시 구분하여 보실 수 있도록 했습니다. 파라미터를 재설정할 경우 말씀주신대로 한두글자가 문단으로 나뉘는 경우는 없을 것으로 보이나, 문단 내에서는 문장으로 나뉘어 있을 수는 있습니다. 같은 문단은 같은 array로 묶이기 때문에 이 점 참고하셔서 후처리를 진행하시면 되겠습니다. 감사합니다.

안녕하세요 @데이터 빅님, 말씀주신대로 현재 클로바 스튜디오에서 제공하는 임베딩 API는 입력 길이에 제한이 있습니다. (~500 토큰) 때문에 가이드에서와 같이 문단나누기 또는 요약 API를 함께 활용할 것을 권장드리고 있습니다. (참고: https://guide.ncloud-docs.com/docs/clovastudio-explorer03) 이와 함께 출력에서 `inputTokens` 필드를 통해 입력 길이(토큰 수)를 반환하고 있으니 참고해주시면 감사하겠습니다. 토큰 수는 문서 종류나 성격에 따라서 달라지므로 일관적인 가이드를 드리기 어려우나, 일반적으로 법률 문서의 경우 500 토큰은 글자수(공백 제외) 기준 7~800자 정도인 점 역시 함께 참고해주십시오. 감사합니다.

안녕하세요 @주식회사 스켈터랩스님, 현재 클로바 스튜디오에서 API 호출 시 URL은 대/소문자를 구분하고 있으며, 제공중인 모델명은 모두 대문자입니다. 혹시 HCX-002 (chat-tokenize), LK-D2 (후자의 경우 tokenize) 로 입력해서도 같은 현상이 발생하는지 확인 부탁드려도 될까요? 토큰계산기를 포함한 익스플로러 상 API 도구의 서비스 앱 발급 건과 관련해서는 해당 기능 제공을 위해 내부 논의를 진행중인 점 참고 부탁드립니다. 감사합니다.

안녕하세요 @hyunmin.kim님, 문의주신 내용 아래 타 모델과 같이 LangChain을 통해서 HyperCLOVA X 모델을 연동하여 사용할 수 있는지 확인 요청주시는 것으로 파악했습니다. (참고: https://integrations.langchain.com/chat-models 또는 https://integrations.langchain.com/llms) 현재 CLOVA Studio에서는 공식적으로 LangChain 연동을 지원하고 있지 않습니다. LangChain을 통해서 활용하시려면 CLOVA Studio에서 제공되는 API를 이용하여 Custom LLM 등의 wrapper를 통해 별도 구현하셔야 할 것으로 보입니다. 감사합니다.

안녕하세요 @도너유님, CLOVA Studio 익스플로러의 요약 API 응답 코드 관련하여 설명드리겠습니다. 41501의 경우 요약하고자 하는 텍스트 및 파라미터 설정에 따라 발생할 수 있는 오류로, 원인 파악한 상태이며 근시일 내에 수정되어 해당 오류는 나타나지 않을 예정입니다. 그 사이에는 아래 가이드를 참고하시면 정상적으로 이용가능하실 것으로 보입니다. 긴 요약 결과를 선호하실 경우: autosentenceSplitter 파라미터를 true로 설정해주세요. 짧은 요약 결과를 선호하실 경우: autosentenceSplitter 파라미터를 false, maxTokens 파라미터를 작게 (50 이하 권장) 설정해주세요. 99999의 경우 요청 시점 등 맥락을 좀 더 설명해주시면 이슈 파악에 도움이 될 것 같은데요. 요약 API 사용중 API 응답 코드로 반환된 내용일지, 어느 시점에 요청하셨는지 알려주시면 확인 후 답변드리도록 하겠습니다. 감사합니다.

안녕하세요 @ㅇㅇㅇ님, 토큰계산기(HCX) API에 입력해야하는 modelName은 플레이그라운드 상에서 확인하실 수 있는 엔진 목록에서 확인하실 수 있습니다. 현재 기준으로 HCX에 해당하는 모델은 챗 모드의 HCX-002 뿐이므로, 토큰계산기(HCX) 활용 시 해당 값을 입력하시면 됩니다. 감사합니다.

안녕하세요 @ㅇㅇㅇ님, 요약/문단나누기와 임베딩 모델(clir-emb-dolphin, clir-sts-dolphin)은 서로 다른 토크나이저를 사용합니다. 때문에 앞서 설명드린 방안을 참고해주시면 감사하겠습니다. 감사합니다.

안녕하세요 @nexusai님, 먼저 자세한 설명 감사합니다. 현재 클로바 스튜디오는 안정적인 서비스 제공을 위해 테스트 앱에 대해 모든 사용자에게 동일한 QPS를 적용하고 있습니다. 때문에 개별적으로 해당 수치를 증대시켜드리기 어려운 점 양해부탁드립니다. 말씀주신 체이닝 구조의 경우 직렬로 호출하거나, 서비스 앱을 발급받아 테스트를 진행하실 것을 제안드립니다. 감사합니다.

안녕하세요 @ㅇㅇㅇ님, 현재 임베딩 도구의 경우 해당 도구 화면에서 안내되는 바와 같이 입력 text 길이가 500 토큰으로 제한됩니다. (모델 무관) 임베딩 도구에 적용된 모델은 CLOVA Studio의 일반/챗 모드 기본 엔진과 다르며, 다른 토크나이저를 활용하고 있어 플레이그라운드나 익스플로러 상의 토큰계산기를 사용할 수 없습니다. 이에 따라 임베딩 도구에 적용된 토크나이저를 기반으로 토큰 수 계산을 하실 수 있도록 조치중입니다만, 해당 기능 제공까지 일정 기간 소요될 수 있는 점 양해 부탁드립니다, 그 전까지는 아래 가이드를 참조하여 임베딩 대상 text를 전처리하신 후 임베딩 작업을 진행할 것을 권장드립니다. 또한 임베딩 API는 응답으로 벡터값과 함께 입력 Text의 토큰수를 함께 출력하므로 (inputTokens), 전처리 시 해당 수치를 참고해주시기 바랍니다. 대상 Text를 문장 단위로 나누어 임베딩 작업을 진행합니다. 요약v2 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 요약한 후 임베딩 작업을 진행합니다. 문단 나누기 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 임베딩 작업을 진행합니다. (임베딩 Text의 특성에 따라 같은 글자수에 배정되는 토큰수가 달라질 수 있음에 유의하시길 바랍니다. 도움이 되셨길 바랍니다. 감사합니다.

안녕하세요 @nexusai님,우선 이전 남겨주신 문의는 내부적으로 논의중인 점 참고 부탁드리겠습니다.더불어 본 문의도 같은 취지로 남겨주신 것인지 여쭙습니다. 익스플로러 상의 도구에 대해 발급받으신 테스트앱에 대한 QPS를 상향 요청주시는 것일까요?말씀주신 체이닝 구조에 대해 약간이나마 추가로 설명해주시면 보다 정확히 안내드릴 수 있을 것 같습니다. 감사합니다.

안녕하세요 @nexusai님, 문의주신 바와 같이 현재 익스플로러 상의 도구는 서비스 앱 신청 대상이 아닙니다. 테스트 앱은 아시다시피 시간당 호출가능 횟수가 상대적으로 적게 제한되어 있으며 정식 엔드포인트라고 말씀드리기 어렵습니다. 익스플로러 도구의 서비스 앱 발급 건과 관련하여 기능 제공을 위해 내부 논의를 진행중이며, 조만간 다시 답변드릴 수 있도록 하겠습니다. 감사합니다.