CLOVA Studio 운영자9

안녕하세요 @사리미로님, 이해하신 바와 같이 전자를 의미합니다. 감사합니다.

안녕하세요 @사리미로님, 클로바 스튜디오 사용 가이드 상의 [CLOVA Studio 이용량 제어 정책]에 따라 최대 이용량은 사용자의 계정을 기준으로 적용되며, 모델 및 도구와 이용 목적(서비스 앱 또는 테스트 앱)에 따라 달라집니다. 따라서 동일한 메인 계정에서 같은 모델에 대해 서비스 앱을 여러 개 발급받더라도 최대 이용량은 바뀌지 않으며, 같은 모델에 대한 테스트 앱 또는 다른 모델에 대한 서비스 앱 이용 시에는 해당하는 최대 이용량만큼 추가로 이용하실 수 있습니다. 최대 이용량 상향 관련 요청의 경우 서비스 [문의하기]를 통해 상세 정보와 함께 연락주시면 감사하겠습니다. 감사합니다.

안녕하세요 @polarisoffice님, 우선 말씀주시는 API Key가 API Gateway Key를 의미하시는 것일까요? API Key의 경우 테스트 앱/서비스 앱마다 다른 값으로 발급되며, 서비스 앱의 경우 등록 시점에 정해져서 해당 값으로만 이용가능합니다. API Gateway Key의 경우 테스트 앱/서비스 앱과 무관하게 계정에 할당 및 발급되는 값이기 때문에 모든 테스트 앱/서비스 앱에서 동일하게 적용되며, 말씀주신 것과 같이 재발급 시엔 계정에 대한 API Gateway Key가 변경되기 때문에 해당 시점에 테스트 앱/서비스 앱을 이용중이신 경우 영향을 받을 수 있습니다. 때문에 API Gateway Key 재발급 작업은 서비스 영향도를 미리 고려하여 신중하게 진행해 주시기 바랍니다. 관련하여 필요하신 경우 API Key 또는 API Gateway Key 재발급이 필요한 상황에 대해서 부연해주시면 관련 기능 개선할 수 있도록 검토해보겠습니다. 감사합니다.

안녕하세요 @모바일님, 해당 부분은 서비스를 어떻게 구현하시는지에 따라 다를 것으로 보입니다. 서비스 앱으로 이용하시는 API 요청 시 사용자 대화 내역을 누적하여 입력되도록 설정하신다면 입력 토큰 수는 그에 맞춰 증가할 것입니다. 다만 이 때 모델별로 처리 가능한 토큰 수가 정해져 있기 때문에 대화 내역 전부를 입력하지 못하는 상황이 발생할 수 있는데요. 이 경우 아래 최근 [활용법] 게시판에 업로드된 콘텐츠를 참고하시면 될 것으로 보입니다. 감사합니다.

안녕하세요 @모바일님, HCX 모델 일별 사용량은 NCP 콘솔을 통해 확인하실 수 있습니다. (https://console.ncloud.com/clova-studio/product) 현재 테스트앱-서비스앱 사용량을 구분해서 확인하는 기능은 지원하지 않고 있는데요, 내부적으로 검토하여 향후 개선 가능한지 살펴보도록 하겠습니다. 자체적으로 로그를 적재하고 계신다면 테스트앱과 서비스앱의 API URL이 다르므로 해당 구분자를 통해 확인하실 수 있을 것으로 보입니다. 도움이 되셨길 바랍니다. 감사합니다.

안녕하세요 @모바일님, 문의주신 내용 @모바일님께서 운영하시는 서비스의 최종 사용자가 이용할 수 있는 토큰 수를 제한할 수 있는지로 이해하였습니다. (아니라면 말씀주세요.) 현재 스튜디오에서 직접 제공해드리는 기능은 없으나, Completions/Chat Completions API 응답의 `inputLength`, `outputLength` 필드를 통해 이용 토큰 수를 반환하고 있습니다. (API 가이드 참조) 해당 정보를 이용하여 최종 사용자별로 이용한 토큰 수를 측정 및 기록하여 일정 수준을 넘으면 일정 시간 동안 이용을 제한하는 등의 방식으로 별도 rate limiter를 구현하실 수 있을 것으로 보입니다. 참고 부탁드립니다.

안녕하세요 @사리미로님, 관련 요청은 고객문의 창구를 통해 전달주시면 감사하겠습니다. 참고로 실제 이용량이 일정 수준을 넘지 않는 경우 이용량이 증가할 때까지 검토 대상에 포함되지 않을 수 있습니다. 또한, 동일 서비스에 대해 복수 계정을 생성하여 이용하는 것은 서비스 앱 승인이 불가한 등 서비스 정책에 어긋나는 방식인 점 역시 참고 부탁드립니다. 감사합니다.

안녕하세요 @positoy님, 단일 응답 API가 non-stream 조건으로 호출하는 것을 의미하시는 것이라면, 요청 헤더 입력 값 중 아래 부분을 삭제하거나 'Accept': '*/*'로 수정하시면 stream이 적용되지 않은 API 응답을 받으실 수 있는 점 참고 부탁드립니다. 'Accept': 'text/event-stream'

안녕하세요 @ak68님, 임베딩 API를 테스트 앱으로 이용하고 계신 경우 클로바 스튜디오 이용량 제어 정책에 따라 분당 요청수에 제한이 있습니다. 향후 임베딩 API를 서비스에 적용할 계획이 있으신 경우 서비스 앱 신청을 통해 이용량을 늘릴 수 있는 점 참고 부탁드립니다. 감사합니다.

안녕하세요 @hong님, 우선 에러 코드와 관련한 정보는 아래 API 가이드를 통해서 확인하실 수 있는데요. 해당 에러는 최대 이용량을 초과한 요청에 대해 발생하는 코드입니다. https://api.ncloud-docs.com/docs/ai-naver-clovastudio-summary 말씀주신 사항은 최근 익스플로러 도구에도 확대 적용된 이용량 제어 정책에 따라 발생하는 것으로 보이는데요. 관련하여 아래 가이드 문서를 참고해주시면 감사하겠습니다. https://guide.ncloud-docs.com/docs/clovastudio-ratelimiting 짐작컨대 임베딩 모델을 테스트 앱으로 이용중이신 것으로 보이고, 이 부분 서비스 앱 신청을 통해 최대 이용량을 늘려서 사용하실 수 있는 점 참고 부탁드립니다. 감사합니다.

안녕하세요 @TABA님, 현재 임베딩 모델의 토큰계산기를 별도로 제공하고 있지 않으며, 요약 및 문단나누기 API의 경우 글자수를 단위로 처리되고 있어 약간의 전처리/후처리 작업이 필요한 상황입니다. 따라서 아래 사항을 참고하셔서 임베딩 API를 활용해주시면 감사하겠습니다. 대상 Text의 길이가 임베딩 API의 최대 처리 가능 길이(500 토큰)를 초과할 경우 임베딩 작업이 불가하며, 에러 코드(40003)를 반환합니다. 이러한 상황을 방지하기 위해 임베딩 대상 Text를 나누거나 요약하는 등의 길이 조절을 위한 전처리 과정이 필요할 수 있으며, 아래와 같은 방법을 도입할 수 있습니다. 대상 Text를 문장 단위로 나누어 임베딩 작업을 진행합니다. 요약 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 요약한 후 임베딩 작업을 진행합니다. 문단 나누기 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 임베딩 작업을 진행합니다. 임베딩 작업을 위한 대상 Text를 전처리 할 때 아래와 같은 사항을 고려해 주십시오. 익스플로러의 도구들은 해당 작업에 최적화된 모델에 기반하여 작동하며, 서로 다른 토큰화 기법이 적용되고 있습니다. 따라서 동일한 Text에 대해 도구에 따라 토큰화 결과가 달라질 수 있으며, 같은 Text에 배정되는 토큰수 역시 다를 수 있습니다. 현재 임베딩 API는 응답으로 벡터값과 함께 입력 Text의 토큰수를 함께 출력하므로 (inputTokens), 전처리 시 해당 수치를 참고해주시기 바랍니다. 임베딩 Text의 특성에 따라 같은 글자수에 배정되는 토큰수가 달라질 수 있으며 아래의 특성을 감안하여 설정할 것을 권고합니다. (토큰당 글자수가 적을수록 임베딩 대상 Text의 길이를 짧게 조절해야 합니다.) 전문 용어 등이 다수 포함된 특정 분야/영역의 Text는 토큰당 글자수가 상대적으로 적은 경향이 있습니다. Text 내 숫자, 구두점, 불규칙적인 띄어쓰기 등이 많을수록 토큰당 글자수가 적어지는 경향이 있습니다. 한글과 영문이 혼합된 Text의 경우, 영문의 비중에 따라 토큰당 글자수가 많아지는 경향이 있습니다. 임베딩 API와 관련하여 해당 작업이 번거롭다는 점을 감안하여 보다 유연하고 최적화된 임베딩 토큰 처리를 위한 기능을 준비하고 있습니다. 계속하여 편리하고 효율적인 서비스를 제공해 드릴 수 있도록 노력하겠습니다. 감사합니다.

안녕하세요 @j5ng님, 말씀주신 것중에 1번에 해당하며, 요청 시점을 기준으로 1분 내 누적 요청 수 및 처리 토큰 수를 계산하는 방식으로 이용량을 제어하게 됩니다. 감사합니다.

안녕하세요 @데이터 빅님, 클로바 스튜디오를 이용해주셔서 감사합니다. 아래 문의주신 내용 답변드리니 확인 부탁드리며, 추가로 궁금하신 점이 있거나 개선이 필요한 사항이 있다면 편히 말씀주세요. 감사합니다. 요약 API 파라미터 관련: `segCount`, `segMinSize`, `segMixSize` 는 길이가 긴 문서를 보다 효과적으로 요악하기 위해 입력된 문서를 먼저 문단으로 나누어 처리하는 과정에 적용되는 파라미터입니다. 다시 말해 해당 파라미터는 최종 요약 결과를 명시적으로 제어하기 위한 값이 아니며, LLM 특성상 출력 결과를 완벽하게 제어하기 어려운 상황에서 중간 과정에 제약 조건을 설정함으로서 보다 원하는 형상의 결과를 얻도록 보조하는 역할을 합니다. segMaxSize는 '문단 분리 시 한 문단에 포함될 최대 문자열의 글자 수'를 의미하며, segCount를 1로 설정하여 이미 문단을 나누지 않는 것으로 설정되었으므로 작동하지 않을 것으로 보입니다. 결과적으로 입력된 문서 전체를 1개 문단으로 처리하여 요약했으므로 상대적으로 짧은 1개 문장을 출력합니다. segCount 는 '요약할 문장 목록을 분리할 문단 수'를 의미하며, 이를 3으로 설정하셨으므로 입력된 문서를 3개 문단으로 나누어 각각 요약한 결과를 받게 됩니다. 이 때도 입력한 문서가 이미 60자를 넘어 어떤 문단이든 설정하신 segMaxSize를 초과하게 되므로 해당 파라미터는 작동하지 않습니다. 나뉜 문단에 담긴 내용에 따라 여러 개의 문장으로 요약될 수 있는 점도 함께 참고해주십시오. 두가지 경우에 대해 차이를 논하기에 앞서 요약 API가 문단을 나눌 때 autoSentenceSplitter 파라미터에 따라 문장을 인식하는 방식이 달라지는 점에 유의해주십시오. 이를 `true`로 설정 시 모델이 그 외 파라미터 설정에 따라 전체 입력을 자체적으로 문장 및 문단으로 나누어 요약을 진행하며, `false`로 설정 시 입력된 형태 그대로 요약을 진행합니다. 따라서 autoSentenceSplitter 파라미터가 true인 경우 차이가 없으며, false인 경우 차이가 발생합니다.

안녕하세요 @kimbob79님, 이해하고 계신 바와 같이 429 Too Many Requests 에러는 기존 서비스앱 승인 시 협의된 요청량을 초과한 요청이 이뤄졌을 때 발생하는 에러입니다. 우선 해당 에러를 줄이시려면 요청 사이에 1초 이내의 시간 지연(time sleep)을 두는 것도 방법인 점 참고 부탁립니다. 관련 문의는 아래 링크를 통해 발생 상황 등에 대해 추가로 전달해주시면 보다 자세히 답변드리도록 하겠습니다. https://www.ncloud.com/support/question/service (CLOVA Studio 서비스 선택) 감사합니다.

안녕하세요 @menin님, 비동기 지원이 여러 의미를 가질 수 있겠으나 문의주신 내용 토대로 답변을 드리자면 테스트 앱 및 서비스 앱 1개를 사용하시더라도 서버를 비동기로 구성하실 경우 독립적인 호출이 가능합니다. 호출 순서대로 응답을 받는 것은 재현이 되지 않는 것으로 보이며, 이 부분은 사용하시는 언어나 프레임워크에 따라 비동기 구현이 되어있지 않을 수 있어 추가로 확인해주시면 감사하겠습니다. 감사합니다.

네 맞습니다. LK-D2와 HCX-002, 003은 서로 다른 모델이며 작동 방식 등에서도 차이가 있습니다. 클로바 스튜디오 서비스 앱은 작업 및 모델 단위로 신청하도록 되어 있으며, 이에 따라 LK-D2 서비스 앱을 단순히 HCX-003으로 교체하여 사용하실 수는 없습니다. 말씀주신대로 HCX-003 모델을 사용하고자 하실 경우 해당 서비스 앱을 신청하여 이용해주시길 바랍니다. 감사합니다.

안녕하세요 @이야기꾼님, 서비스 이용에 불편을 끼쳐드려 죄송합니다. 응답 상태 코드 403의 발생 원인은 여러가지가 있으나, 일반적으로 사용하시는 테스트 앱/서비스 앱 별 발급된 API Key (요청 헤더의 `X-NCP-CLOVASTUDIO-API-KEY`) 가 아닌 다른 API Key 값이 입력되었을 때 발생할 수 있습니다. 과거 일부 계정에서 하나의 API Key로 서로 다른 여러 개의 테스트 앱/서비스 앱을 사용가능한 버그가 있었으나, 지속적인 서비스 개선을 통해 각 테스트 앱/서비스 앱에 대해 발급된 API Key로만 사용할 수 있게 되어 관련 영향이 발생했을 수 있습니다. (기 발급된 API Key는 변경되지 않았습니다.) 서비스 앱을 사용중이실 경우, 해당 서비스 앱의 API Key가 제대로 입력되었는지 혹은 같은 API Key로 다른 테스트 앱/서비스 앱을 호출하고 있진 않은지 확인해주시면 감사하겠습니다. 관련 조치 이후에도 동일한 문제가 반복하여 발생할 경우 알려주세요. 감사합니다.

안녕하세요 @jayahn0104님, 문의주신 사항 아래와 같이 답변드립니다. 1. 네 맞습니다. 해당 에러 (429 Too Many Requests) 는 이용하시는 서비스앱 또는 테스트앱에 적용되는 rate limit을 초과할 경우 발생합니다. (서비스앱 신청 시 협의된) 처리 토큰수 및 동시 요청수 등의 기준이 있으며 말씀주신 사례의 경우 요청 간 1초 이내로 시간 간격을 둬도 정상 작동할 것으로 보입니다. 2. 전환 후에는 해당 상품 정책을 따릅니다. 관련해서 추가 문의사항이 있으실 경우 말씀주십시오. 감사합니다.

안녕하세요 @hgkang님, 임베딩 API 테스트 앱을 생성하여 이용중이신게 맞는지 확인을 부탁드립니다. 현재 임베딩 API 요청 URL은 해당 화면에 가이드 드리고 있는대로, 아래와 같습니다. POST: /testapp/v1/api-tools/embedding/{modelName}/{appId} {appId}는 오기가 아니라 테스트 앱 생성 시 팝업 화면 (또는 앱 신청 현횡 > 해당 테스트 앱 > '자세히' 버튼) 에서 확인하실 수 있는 테스트 앱의 ID입니다. 가이드에 맞게 요청을 입력하신 후에도 문제가 지속될 경우 알려주십시오. 감사합니다.

안녕하세요 @j5ng님, 우선 서비스 이용에 불편을 끼쳐드린 점 죄송합니다. CLOVA Studio는 LLM 기반 서비스 특성상 생성되는 콘텐츠의 길이 등 특성에 따라 응답 시간이 크게 달라질 수 있습니다. HCX-003 모델의 경우 수백토큰 이상을 생성하게 되면 말씀주신 바와 같이 20초 이상 지연이 발생할 수도 있습니다. maxTokens와 같은 파라미터를 이용하여 생성하는 출력 토큰 수를 제어하시면 해당 문제가 상당 부분 해소될 것으로 보이는데요. 이후에도 같은 현상이 지속되면 추가로 문의주시면 감사하겠습니다. 감사합니다.

안녕하세요 @copyrum님, 아래 답변 참고해주시면 감사하겠습니다. 1. `요청 처리 시간 초과` 에러는 처리할 수 있는 대기 시간 초과 시 발생하며, 이는 여러 조건에 따라 변동될 수 있어 명확히 알려드리거나 임의 변경할 수 없는 점 양해 부탁드립니다. stream으로 요청하신 경우 stream 중의 응답 사이가 아닌 stream 시작 전에 해당 오류가 발생합니다. 2. 예시 코드에서 사용하는 requests 라이브러리 상의 스트림 처리를 위한 옵션으로 헤더와 해당 옵션 모두를 설정해주셔야 합니다. 3. HCX 모델로도 대화형이 아닌 일회성 문장 생성이 가능합니다. 시스템 프롬프트 영역을 이용해, 프롬프트 작업을 진행할 수 있으며, HCX 모델이 여러 방면에서 더욱 좋은 성능을 냅니다. LE-C 영어 모델은 지원 종료가 된 점 참고 부탁드립니다. (참고: 공지 링크) 4. 랭체인(LangChain)을 통한 HCX 이용 방법 관련 견본 코드는 현재 제공하고 있지 않습니다. 랭체인의 효용성은 어떤 서비스를 구현하고자 하는지, 서비스 구현에 필요한 여러 제반 요소를 어떻게 구축하여 활용하고자 하는지 등에 따라 크게 달라질 수 있어 일률적으로 판단하여 답변드리기 어려운 점 양해 부탁드립니다. 감사합니다.

안녕하세요 @copyrum님, 문의주신 사항에 대해 아래와 같이 답변드립니다. 1. 익스플로러에서 제공중인 두 종류의 임베딩 모델은 모두 HCX-003과 별개의 독립적인 모델입니다. 요금은 동일합니다. 2. 별도 임베딩 모델 및 인코딩/디코딩 결과를 저장할 벡터 DB를 확보하신 것으로 이해했습니다. 별도로 구현한 내용을 연계하여 HCX 모델의 프롬프트에 입력하는 등의 형태로 활용하실 수 있을 것으로 보입니다. 3. 토큰 계산기는 별도의 요금을 부과하지 않습니다. 토큰 계산기는 클로바 스튜디오 내 각기 다른 모델의 토크나이저를 기반으로 만들어졌으므로 질문주신 사례에서 동일한 결과를 보장하기 어렵습니다. HCX는 HCX 모델, 일반 토큰 계산기는 LK-B, LK-D2 등의 모델에 적용된 토크나이저를 통해 토큰 수를 계산하여 출력합니다. 4. HCX 모델 이용 시 입력 토큰 수가 입력 가능 최대 토큰 수를 넘을 경우 에러가 발생합니다. 출력을 함께 고려하여 세션을 유지하고자 할 경우 익스플로러의 '슬라이딩 윈도우' 도구를 이용하실 수 있습니다. 해당 API에 대한 가이드 문서를 참고해주세요. (https://guide.ncloud-docs.com/docs/clovastudio-explorer03) 감사합니다.

안녕하세요 @데이터 빅님, 우선 전달주신 예시에서 문단 나누기 API의 postProcess 모듈에 버그가 있는 것을 확인했습니다. 내부적으로 원인 등 확인하여 알려드릴 수 있도록 하겠습니다. 다만 설 연휴로 인해 해결이 늦어질 수 있는 점 미리 양해 부탁드립니다. 일단 현재 시도해볼 수 있는 방법은 alpha 값을 바꾸는 것인데요. 전달주신 예시의 경우 alpha 값을 1.0 이상으로 설정할 경우 보다 짧은 길이로 문단이 나뉘는 것을 확인했습니다. (다만 여전히 최대 길이 설정을 넘는 문단이 발생할 수 있습니다.) 문단 내 문장 구분 기능의 경우 현재 제외 설정을 할 수 없으나, 향후 개선 시 해당 기능 반영할 수 있도록 고려하겠습니다. 감사합니다.

안녕하세요 @데이터 빅님, 문단 나누기 API 명세 페이지에 오류가 있었는데요, 현재 수정되었으니 다시 확인해주시면 감사하겠습니다. 우선 문단 나누기 API를 의도하신 바와 같이 사용하기 위해서는 아래와 같이 파라미터를 설정해야 할 것으로 보입니다. "postProcess": true, "alpha": -100, "segCnt": -1, "postProcessMaxSize": 500, "postProcessMinSize": 200, 문단 나누기 API에서 문장 관련 정보 역시 확인하고자 하는 사용자 분들의 니즈를 고려하여 같은 문단 내의 문장 역시 구분하여 보실 수 있도록 했습니다. 파라미터를 재설정할 경우 말씀주신대로 한두글자가 문단으로 나뉘는 경우는 없을 것으로 보이나, 문단 내에서는 문장으로 나뉘어 있을 수는 있습니다. 같은 문단은 같은 array로 묶이기 때문에 이 점 참고하셔서 후처리를 진행하시면 되겠습니다. 감사합니다.

안녕하세요 @데이터 빅님, 말씀주신대로 현재 클로바 스튜디오에서 제공하는 임베딩 API는 입력 길이에 제한이 있습니다. (~500 토큰) 때문에 가이드에서와 같이 문단나누기 또는 요약 API를 함께 활용할 것을 권장드리고 있습니다. (참고: https://guide.ncloud-docs.com/docs/clovastudio-explorer03) 이와 함께 출력에서 `inputTokens` 필드를 통해 입력 길이(토큰 수)를 반환하고 있으니 참고해주시면 감사하겠습니다. 토큰 수는 문서 종류나 성격에 따라서 달라지므로 일관적인 가이드를 드리기 어려우나, 일반적으로 법률 문서의 경우 500 토큰은 글자수(공백 제외) 기준 7~800자 정도인 점 역시 함께 참고해주십시오. 감사합니다.