CLOVA Studio 운영자9

네 맞습니다. LK-D2와 HCX-002, 003은 서로 다른 모델이며 작동 방식 등에서도 차이가 있습니다. 클로바 스튜디오 서비스 앱은 작업 및 모델 단위로 신청하도록 되어 있으며, 이에 따라 LK-D2 서비스 앱을 단순히 HCX-003으로 교체하여 사용하실 수는 없습니다. 말씀주신대로 HCX-003 모델을 사용하고자 하실 경우 해당 서비스 앱을 신청하여 이용해주시길 바랍니다. 감사합니다.

안녕하세요 @이야기꾼님, 서비스 이용에 불편을 끼쳐드려 죄송합니다. 응답 상태 코드 403의 발생 원인은 여러가지가 있으나, 일반적으로 사용하시는 테스트 앱/서비스 앱 별 발급된 API Key (요청 헤더의 `X-NCP-CLOVASTUDIO-API-KEY`) 가 아닌 다른 API Key 값이 입력되었을 때 발생할 수 있습니다. 과거 일부 계정에서 하나의 API Key로 서로 다른 여러 개의 테스트 앱/서비스 앱을 사용가능한 버그가 있었으나, 지속적인 서비스 개선을 통해 각 테스트 앱/서비스 앱에 대해 발급된 API Key로만 사용할 수 있게 되어 관련 영향이 발생했을 수 있습니다. (기 발급된 API Key는 변경되지 않았습니다.) 서비스 앱을 사용중이실 경우, 해당 서비스 앱의 API Key가 제대로 입력되었는지 혹은 같은 API Key로 다른 테스트 앱/서비스 앱을 호출하고 있진 않은지 확인해주시면 감사하겠습니다. 관련 조치 이후에도 동일한 문제가 반복하여 발생할 경우 알려주세요. 감사합니다.

안녕하세요 @jayahn0104님, 문의주신 사항 아래와 같이 답변드립니다. 1. 네 맞습니다. 해당 에러 (429 Too Many Requests) 는 이용하시는 서비스앱 또는 테스트앱에 적용되는 rate limit을 초과할 경우 발생합니다. (서비스앱 신청 시 협의된) 처리 토큰수 및 동시 요청수 등의 기준이 있으며 말씀주신 사례의 경우 요청 간 1초 이내로 시간 간격을 둬도 정상 작동할 것으로 보입니다. 2. 전환 후에는 해당 상품 정책을 따릅니다. 관련해서 추가 문의사항이 있으실 경우 말씀주십시오. 감사합니다.

안녕하세요 @hgkang님, 임베딩 API 테스트 앱을 생성하여 이용중이신게 맞는지 확인을 부탁드립니다. 현재 임베딩 API 요청 URL은 해당 화면에 가이드 드리고 있는대로, 아래와 같습니다. POST: /testapp/v1/api-tools/embedding/{modelName}/{appId} {appId}는 오기가 아니라 테스트 앱 생성 시 팝업 화면 (또는 앱 신청 현횡 > 해당 테스트 앱 > '자세히' 버튼) 에서 확인하실 수 있는 테스트 앱의 ID입니다. 가이드에 맞게 요청을 입력하신 후에도 문제가 지속될 경우 알려주십시오. 감사합니다.

안녕하세요 @j5ng님, 우선 서비스 이용에 불편을 끼쳐드린 점 죄송합니다. CLOVA Studio는 LLM 기반 서비스 특성상 생성되는 콘텐츠의 길이 등 특성에 따라 응답 시간이 크게 달라질 수 있습니다. HCX-003 모델의 경우 수백토큰 이상을 생성하게 되면 말씀주신 바와 같이 20초 이상 지연이 발생할 수도 있습니다. maxTokens와 같은 파라미터를 이용하여 생성하는 출력 토큰 수를 제어하시면 해당 문제가 상당 부분 해소될 것으로 보이는데요. 이후에도 같은 현상이 지속되면 추가로 문의주시면 감사하겠습니다. 감사합니다.

안녕하세요 @copyrum님, 아래 답변 참고해주시면 감사하겠습니다. 1. `요청 처리 시간 초과` 에러는 처리할 수 있는 대기 시간 초과 시 발생하며, 이는 여러 조건에 따라 변동될 수 있어 명확히 알려드리거나 임의 변경할 수 없는 점 양해 부탁드립니다. stream으로 요청하신 경우 stream 중의 응답 사이가 아닌 stream 시작 전에 해당 오류가 발생합니다. 2. 예시 코드에서 사용하는 requests 라이브러리 상의 스트림 처리를 위한 옵션으로 헤더와 해당 옵션 모두를 설정해주셔야 합니다. 3. HCX 모델로도 대화형이 아닌 일회성 문장 생성이 가능합니다. 시스템 프롬프트 영역을 이용해, 프롬프트 작업을 진행할 수 있으며, HCX 모델이 여러 방면에서 더욱 좋은 성능을 냅니다. LE-C 영어 모델은 지원 종료가 된 점 참고 부탁드립니다. (참고: 공지 링크) 4. 랭체인(LangChain)을 통한 HCX 이용 방법 관련 견본 코드는 현재 제공하고 있지 않습니다. 랭체인의 효용성은 어떤 서비스를 구현하고자 하는지, 서비스 구현에 필요한 여러 제반 요소를 어떻게 구축하여 활용하고자 하는지 등에 따라 크게 달라질 수 있어 일률적으로 판단하여 답변드리기 어려운 점 양해 부탁드립니다. 감사합니다.

안녕하세요 @copyrum님, 문의주신 사항에 대해 아래와 같이 답변드립니다. 1. 익스플로러에서 제공중인 두 종류의 임베딩 모델은 모두 HCX-003과 별개의 독립적인 모델입니다. 요금은 동일합니다. 2. 별도 임베딩 모델 및 인코딩/디코딩 결과를 저장할 벡터 DB를 확보하신 것으로 이해했습니다. 별도로 구현한 내용을 연계하여 HCX 모델의 프롬프트에 입력하는 등의 형태로 활용하실 수 있을 것으로 보입니다. 3. 토큰 계산기는 별도의 요금을 부과하지 않습니다. 토큰 계산기는 클로바 스튜디오 내 각기 다른 모델의 토크나이저를 기반으로 만들어졌으므로 질문주신 사례에서 동일한 결과를 보장하기 어렵습니다. HCX는 HCX 모델, 일반 토큰 계산기는 LK-B, LK-D2 등의 모델에 적용된 토크나이저를 통해 토큰 수를 계산하여 출력합니다. 4. HCX 모델 이용 시 입력 토큰 수가 입력 가능 최대 토큰 수를 넘을 경우 에러가 발생합니다. 출력을 함께 고려하여 세션을 유지하고자 할 경우 익스플로러의 '슬라이딩 윈도우' 도구를 이용하실 수 있습니다. 해당 API에 대한 가이드 문서를 참고해주세요. (https://guide.ncloud-docs.com/docs/clovastudio-explorer03) 감사합니다.

안녕하세요 @데이터 빅님, 우선 전달주신 예시에서 문단 나누기 API의 postProcess 모듈에 버그가 있는 것을 확인했습니다. 내부적으로 원인 등 확인하여 알려드릴 수 있도록 하겠습니다. 다만 설 연휴로 인해 해결이 늦어질 수 있는 점 미리 양해 부탁드립니다. 일단 현재 시도해볼 수 있는 방법은 alpha 값을 바꾸는 것인데요. 전달주신 예시의 경우 alpha 값을 1.0 이상으로 설정할 경우 보다 짧은 길이로 문단이 나뉘는 것을 확인했습니다. (다만 여전히 최대 길이 설정을 넘는 문단이 발생할 수 있습니다.) 문단 내 문장 구분 기능의 경우 현재 제외 설정을 할 수 없으나, 향후 개선 시 해당 기능 반영할 수 있도록 고려하겠습니다. 감사합니다.

안녕하세요 @데이터 빅님, 문단 나누기 API 명세 페이지에 오류가 있었는데요, 현재 수정되었으니 다시 확인해주시면 감사하겠습니다. 우선 문단 나누기 API를 의도하신 바와 같이 사용하기 위해서는 아래와 같이 파라미터를 설정해야 할 것으로 보입니다. "postProcess": true, "alpha": -100, "segCnt": -1, "postProcessMaxSize": 500, "postProcessMinSize": 200, 문단 나누기 API에서 문장 관련 정보 역시 확인하고자 하는 사용자 분들의 니즈를 고려하여 같은 문단 내의 문장 역시 구분하여 보실 수 있도록 했습니다. 파라미터를 재설정할 경우 말씀주신대로 한두글자가 문단으로 나뉘는 경우는 없을 것으로 보이나, 문단 내에서는 문장으로 나뉘어 있을 수는 있습니다. 같은 문단은 같은 array로 묶이기 때문에 이 점 참고하셔서 후처리를 진행하시면 되겠습니다. 감사합니다.

안녕하세요 @데이터 빅님, 말씀주신대로 현재 클로바 스튜디오에서 제공하는 임베딩 API는 입력 길이에 제한이 있습니다. (~500 토큰) 때문에 가이드에서와 같이 문단나누기 또는 요약 API를 함께 활용할 것을 권장드리고 있습니다. (참고: https://guide.ncloud-docs.com/docs/clovastudio-explorer03) 이와 함께 출력에서 `inputTokens` 필드를 통해 입력 길이(토큰 수)를 반환하고 있으니 참고해주시면 감사하겠습니다. 토큰 수는 문서 종류나 성격에 따라서 달라지므로 일관적인 가이드를 드리기 어려우나, 일반적으로 법률 문서의 경우 500 토큰은 글자수(공백 제외) 기준 7~800자 정도인 점 역시 함께 참고해주십시오. 감사합니다.

안녕하세요 @주식회사 스켈터랩스님, 현재 클로바 스튜디오에서 API 호출 시 URL은 대/소문자를 구분하고 있으며, 제공중인 모델명은 모두 대문자입니다. 혹시 HCX-002 (chat-tokenize), LK-D2 (후자의 경우 tokenize) 로 입력해서도 같은 현상이 발생하는지 확인 부탁드려도 될까요? 토큰계산기를 포함한 익스플로러 상 API 도구의 서비스 앱 발급 건과 관련해서는 해당 기능 제공을 위해 내부 논의를 진행중인 점 참고 부탁드립니다. 감사합니다.

안녕하세요 @hyunmin.kim님, 문의주신 내용 아래 타 모델과 같이 LangChain을 통해서 HyperCLOVA X 모델을 연동하여 사용할 수 있는지 확인 요청주시는 것으로 파악했습니다. (참고: https://integrations.langchain.com/chat-models 또는 https://integrations.langchain.com/llms) 현재 CLOVA Studio에서는 공식적으로 LangChain 연동을 지원하고 있지 않습니다. LangChain을 통해서 활용하시려면 CLOVA Studio에서 제공되는 API를 이용하여 Custom LLM 등의 wrapper를 통해 별도 구현하셔야 할 것으로 보입니다. 감사합니다.

안녕하세요 @도너유님, CLOVA Studio 익스플로러의 요약 API 응답 코드 관련하여 설명드리겠습니다. 41501의 경우 요약하고자 하는 텍스트 및 파라미터 설정에 따라 발생할 수 있는 오류로, 원인 파악한 상태이며 근시일 내에 수정되어 해당 오류는 나타나지 않을 예정입니다. 그 사이에는 아래 가이드를 참고하시면 정상적으로 이용가능하실 것으로 보입니다. 긴 요약 결과를 선호하실 경우: autosentenceSplitter 파라미터를 true로 설정해주세요. 짧은 요약 결과를 선호하실 경우: autosentenceSplitter 파라미터를 false, maxTokens 파라미터를 작게 (50 이하 권장) 설정해주세요. 99999의 경우 요청 시점 등 맥락을 좀 더 설명해주시면 이슈 파악에 도움이 될 것 같은데요. 요약 API 사용중 API 응답 코드로 반환된 내용일지, 어느 시점에 요청하셨는지 알려주시면 확인 후 답변드리도록 하겠습니다. 감사합니다.

안녕하세요 @ㅇㅇㅇ님, 토큰계산기(HCX) API에 입력해야하는 modelName은 플레이그라운드 상에서 확인하실 수 있는 엔진 목록에서 확인하실 수 있습니다. 현재 기준으로 HCX에 해당하는 모델은 챗 모드의 HCX-002 뿐이므로, 토큰계산기(HCX) 활용 시 해당 값을 입력하시면 됩니다. 감사합니다.

안녕하세요 @ㅇㅇㅇ님, 요약/문단나누기와 임베딩 모델(clir-emb-dolphin, clir-sts-dolphin)은 서로 다른 토크나이저를 사용합니다. 때문에 앞서 설명드린 방안을 참고해주시면 감사하겠습니다. 감사합니다.

안녕하세요 @nexusai님, 먼저 자세한 설명 감사합니다. 현재 클로바 스튜디오는 안정적인 서비스 제공을 위해 테스트 앱에 대해 모든 사용자에게 동일한 QPS를 적용하고 있습니다. 때문에 개별적으로 해당 수치를 증대시켜드리기 어려운 점 양해부탁드립니다. 말씀주신 체이닝 구조의 경우 직렬로 호출하거나, 서비스 앱을 발급받아 테스트를 진행하실 것을 제안드립니다. 감사합니다.

안녕하세요 @ㅇㅇㅇ님, 현재 임베딩 도구의 경우 해당 도구 화면에서 안내되는 바와 같이 입력 text 길이가 500 토큰으로 제한됩니다. (모델 무관) 임베딩 도구에 적용된 모델은 CLOVA Studio의 일반/챗 모드 기본 엔진과 다르며, 다른 토크나이저를 활용하고 있어 플레이그라운드나 익스플로러 상의 토큰계산기를 사용할 수 없습니다. 이에 따라 임베딩 도구에 적용된 토크나이저를 기반으로 토큰 수 계산을 하실 수 있도록 조치중입니다만, 해당 기능 제공까지 일정 기간 소요될 수 있는 점 양해 부탁드립니다, 그 전까지는 아래 가이드를 참조하여 임베딩 대상 text를 전처리하신 후 임베딩 작업을 진행할 것을 권장드립니다. 또한 임베딩 API는 응답으로 벡터값과 함께 입력 Text의 토큰수를 함께 출력하므로 (inputTokens), 전처리 시 해당 수치를 참고해주시기 바랍니다. 대상 Text를 문장 단위로 나누어 임베딩 작업을 진행합니다. 요약v2 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 요약한 후 임베딩 작업을 진행합니다. 문단 나누기 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 임베딩 작업을 진행합니다. (임베딩 Text의 특성에 따라 같은 글자수에 배정되는 토큰수가 달라질 수 있음에 유의하시길 바랍니다. 도움이 되셨길 바랍니다. 감사합니다.

안녕하세요 @nexusai님,우선 이전 남겨주신 문의는 내부적으로 논의중인 점 참고 부탁드리겠습니다.더불어 본 문의도 같은 취지로 남겨주신 것인지 여쭙습니다. 익스플로러 상의 도구에 대해 발급받으신 테스트앱에 대한 QPS를 상향 요청주시는 것일까요?말씀주신 체이닝 구조에 대해 약간이나마 추가로 설명해주시면 보다 정확히 안내드릴 수 있을 것 같습니다. 감사합니다.

안녕하세요 @nexusai님, 문의주신 바와 같이 현재 익스플로러 상의 도구는 서비스 앱 신청 대상이 아닙니다. 테스트 앱은 아시다시피 시간당 호출가능 횟수가 상대적으로 적게 제한되어 있으며 정식 엔드포인트라고 말씀드리기 어렵습니다. 익스플로러 도구의 서비스 앱 발급 건과 관련하여 기능 제공을 위해 내부 논의를 진행중이며, 조만간 다시 답변드릴 수 있도록 하겠습니다. 감사합니다.