CLOVA Studio 운영자9

안녕하세요 @Jay Ahn님, 문의주셨던 CLOVA Studio-LangChain(랭체인) 연동 지원 건과 관련하여, 최신 버전의 langchain-community (>= 0.3.4) 파이썬 패키지를 설치하시면 CLOVA Studio를 랭체인에 연동하여 이용하실 수 있는 점 안내드립니다. 아래 관련 가이드 문서 및 쿡북, 랭체인 문서 참고 부탁드립니다. CLOVA Studio에 계속해서 많은 관심 부탁드리며, 이용중에 궁금하신 점이나 개선 의견이 있으시면 언제든지 편히 말씀주십시오. 감사합니다! [참고] NCP 사용 가이드: https://guide.ncloud-docs.com/docs/clovastudio-dev-langchain 랭체인 활용 RAG 구현 쿡북: https://www.ncloud-forums.com/topic/422 LangChain 관련 문서: https://python.langchain.com/docs/integrations/providers/naver

안녕하세요 @ksk02686님, 익스플로러 상의 임베딩, 요약 API 등 역시 이용량 제어 정책을 적용받고 있습니다. (가이드 문서 링크) 따라서 테스트 앱으로 이용중이신 경우 이용량에 제약이 있으실 수 있으나, 서비스 앱 등록하시어 쓰실 경우 시간이 다소 단축될 수 있지 않을까 싶은데요. 혹시 확인해주실 수 있을까요? 익스플로러의 경우 서비스 앱 등록이 빠르게 이루어지기 때문에 바로 이용하실 수 있을 것 같습니다.

안녕하세요 @kow님, 임베딩, 임베딩v2 API를 테스트앱으로 이용중이신 것으로 이해했습니다. 관련하여 응답 상태 코드, 에러 코드 및 메시지를 확인 부탁드리며 429/42902/Too many requests로 확인될 경우 아래 이용량 제어 정책 가이드 문서를 참고하시어 요청 속도를 조절하시거나 서비스 앱 신청을 해주시면 될 것으로 보입니다. https://guide.ncloud-docs.com/docs/clovastudio-ratelimiting 응답 상태 코드, 에러 코드 및 메시지가 위와 다른 내용인 경우 해당 내용 토대로 추가 문의주시기 바랍니다. 감사합니다.

안녕하세요 @kikidevil님, 현재 전달주신 내용만으로는 이슈 재현이 안되어 혹시 아래 사항 확인하여 정보 공유해주실 수 있을지 여쭙습니다. 전달주신 Input Message가 실제 입력 문장인지, 아니면 축약된 형태인지요? 더불어 요약 API 이용 시 입력한 파라미터 정보는 어떻게 될까요? 에러 코드 및 메시지 역시 클로바 스튜디오에서 정의하고 있는 것이 아니라서 혹시 해당 결과가 재현이 되는 경우 request id 및 요청/응답 일시 등의 추가적인 정보를 전달주시면 확인해보도록 하겠습니다. 감사합니다.

안녕하세요 @parkjuhong님, 말씀주신대로 경우에 따라 토큰계산기와 같은 API에 대해 rate limit 설정 수치가 상향 필요한 것으로 보입니다. 해당 내용 최대한 빠르게 개선하여 업데이트드릴 수 있도록 하겠습니다. 감사합니다 (_ _)

안녕하세요 @parkjuhong님, 말씀주신 바와 같이 현재 토큰계산기에 대해서는 별도 테스트 앱 또는 서비스 앱 생성하지 않고도 이용하실 수 있는데요. 이용중이신 토큰계산기 정보 (LK 모델 대상인지, HCX인지, 임베딩v2인지) 와 더불어 적용 사례에 대해서 부연해주시면 지원해드리도록 하겠습니다. 감사합니다.

안녕하세요 @memoria님, 우선 저희가 내부적으로 flask를 통해 Unity에서 활용하기 위해 확보한 레퍼런스 코드는 없는 상황입니다. 불가능할 것으로 보이진 않으나, RAG 구현을 위해서는 게시글에서 언급하듯 CLOVA Studio 상의 API 뿐만 아니라 Milvus 등의 벡터DB도 통합이 필요하기 때문에 해당 부분 구현 및 연동 가능 여부에 대해서도 검토를 하셔야 할 것으로 보입니다. 앞으로 CLOVA Studio를 보다 손쉽게 활용하실 수 있도록 요청이 많은 활용 사례에 대해 쿡북 및 튜토리얼의 형태로 제공하도록 하겠습니다. 감사합니다.

@wji6205님, _send_request 함수의 'conn.request(' 로 시작하는 부분의 API URL도 생성하신 테스트앱 (또는 서비스앱, 이 경우 앞의 'testapp' 을 'serviceapp'으로 변경해야 합니다) App ID로 추가하여 호출하셨을까요? api key, gw key, req id 말고 위 사항도 확인을 부탁드립니다.

안녕하세요 @wji6205님, 문단나누기 API에는 변경사항이 없는데요. 40000 에러는 입력값과 관련한 오류로 보여 혹시 인용해주신 코드 스니펫 상의 '-'로 표기된 부분들을 이용중이신 App ID, API Key, API Gateway Key 등으로 알맞게 수정하여 요청을 하신 것인지 확인 부탁드립니다. (request id의 경우 optional한 값으로 입력되지 않아도 무방합니다.) 위 사항이 제대로 입력될 경우 문제가 재현되지 않는데 혹시 시도해보시고 여전히 문제가 있는 경우 말씀주세요. 감사합니다.

안녕하세요 @badrequest님, 우선 현재 선택된 작업 (`embedding`)은 HCX-DASH-001 모델로 신청하신 테스트 앱에 해당하는 작업이 아니라 임베딩(v2) API로 생성하신 테스트앱으로 보입니다. 임베딩(v2) API로 서비스 앱 신청 시 별도 모델 엔진을 선택할 필요가 없어 해당 영역이 활성화되지 않습니다. HCX-DASH-001 모델로 생성하신 테스트 앱이 보이지 않는 경우, 해당 작업을 공유하였는지 확인 부탁드립니다. 플레이그라운드 상에서 '공유' 버튼을 눌러야 서비스 앱 신청이 가능합니다. 관련 가이드 문서 참고 부탁드립니다. https://guide.ncloud-docs.com/docs/clovastudio-playground01 추가로 현재 저희가 제공하고 있는 HCX 모델의 최대 토큰은 4096이며 (건당 처리 가능 최대 토큰 수를 의미), 이는 모델의 특성이므로 서비스 앱으로 이용하더라도 늘어나지 않습니다. `Too many requests` 에러에 대해서는 [CLOVA Studio 이용량 제어 정책] 가이드 문서를 참고해주시기 바랍니다. 서비스 앱 이용 시 최대 이용량이 상향됨에 따라 해당 범위 내로 이용 시 발생하지 않을 것으로 보입니다. 감사합니다.

안녕하세요 @사리미로님, 이해하신 바와 같이 전자를 의미합니다. 감사합니다.

안녕하세요 @사리미로님, 클로바 스튜디오 사용 가이드 상의 [CLOVA Studio 이용량 제어 정책]에 따라 최대 이용량은 사용자의 계정을 기준으로 적용되며, 모델 및 도구와 이용 목적(서비스 앱 또는 테스트 앱)에 따라 달라집니다. 따라서 동일한 메인 계정에서 같은 모델에 대해 서비스 앱을 여러 개 발급받더라도 최대 이용량은 바뀌지 않으며, 같은 모델에 대한 테스트 앱 또는 다른 모델에 대한 서비스 앱 이용 시에는 해당하는 최대 이용량만큼 추가로 이용하실 수 있습니다. 최대 이용량 상향 관련 요청의 경우 서비스 [문의하기]를 통해 상세 정보와 함께 연락주시면 감사하겠습니다. 감사합니다.

안녕하세요 @polarisoffice님, 우선 말씀주시는 API Key가 API Gateway Key를 의미하시는 것일까요? API Key의 경우 테스트 앱/서비스 앱마다 다른 값으로 발급되며, 서비스 앱의 경우 등록 시점에 정해져서 해당 값으로만 이용가능합니다. API Gateway Key의 경우 테스트 앱/서비스 앱과 무관하게 계정에 할당 및 발급되는 값이기 때문에 모든 테스트 앱/서비스 앱에서 동일하게 적용되며, 말씀주신 것과 같이 재발급 시엔 계정에 대한 API Gateway Key가 변경되기 때문에 해당 시점에 테스트 앱/서비스 앱을 이용중이신 경우 영향을 받을 수 있습니다. 때문에 API Gateway Key 재발급 작업은 서비스 영향도를 미리 고려하여 신중하게 진행해 주시기 바랍니다. 관련하여 필요하신 경우 API Key 또는 API Gateway Key 재발급이 필요한 상황에 대해서 부연해주시면 관련 기능 개선할 수 있도록 검토해보겠습니다. 감사합니다.

안녕하세요 @모바일님, 해당 부분은 서비스를 어떻게 구현하시는지에 따라 다를 것으로 보입니다. 서비스 앱으로 이용하시는 API 요청 시 사용자 대화 내역을 누적하여 입력되도록 설정하신다면 입력 토큰 수는 그에 맞춰 증가할 것입니다. 다만 이 때 모델별로 처리 가능한 토큰 수가 정해져 있기 때문에 대화 내역 전부를 입력하지 못하는 상황이 발생할 수 있는데요. 이 경우 아래 최근 [활용법] 게시판에 업로드된 콘텐츠를 참고하시면 될 것으로 보입니다. 감사합니다.

안녕하세요 @모바일님, HCX 모델 일별 사용량은 NCP 콘솔을 통해 확인하실 수 있습니다. (https://console.ncloud.com/clova-studio/product) 현재 테스트앱-서비스앱 사용량을 구분해서 확인하는 기능은 지원하지 않고 있는데요, 내부적으로 검토하여 향후 개선 가능한지 살펴보도록 하겠습니다. 자체적으로 로그를 적재하고 계신다면 테스트앱과 서비스앱의 API URL이 다르므로 해당 구분자를 통해 확인하실 수 있을 것으로 보입니다. 도움이 되셨길 바랍니다. 감사합니다.

안녕하세요 @모바일님, 문의주신 내용 @모바일님께서 운영하시는 서비스의 최종 사용자가 이용할 수 있는 토큰 수를 제한할 수 있는지로 이해하였습니다. (아니라면 말씀주세요.) 현재 스튜디오에서 직접 제공해드리는 기능은 없으나, Completions/Chat Completions API 응답의 `inputLength`, `outputLength` 필드를 통해 이용 토큰 수를 반환하고 있습니다. (API 가이드 참조) 해당 정보를 이용하여 최종 사용자별로 이용한 토큰 수를 측정 및 기록하여 일정 수준을 넘으면 일정 시간 동안 이용을 제한하는 등의 방식으로 별도 rate limiter를 구현하실 수 있을 것으로 보입니다. 참고 부탁드립니다.

안녕하세요 @사리미로님, 관련 요청은 고객문의 창구를 통해 전달주시면 감사하겠습니다. 참고로 실제 이용량이 일정 수준을 넘지 않는 경우 이용량이 증가할 때까지 검토 대상에 포함되지 않을 수 있습니다. 또한, 동일 서비스에 대해 복수 계정을 생성하여 이용하는 것은 서비스 앱 승인이 불가한 등 서비스 정책에 어긋나는 방식인 점 역시 참고 부탁드립니다. 감사합니다.

안녕하세요 @positoy님, 단일 응답 API가 non-stream 조건으로 호출하는 것을 의미하시는 것이라면, 요청 헤더 입력 값 중 아래 부분을 삭제하거나 'Accept': '*/*'로 수정하시면 stream이 적용되지 않은 API 응답을 받으실 수 있는 점 참고 부탁드립니다. 'Accept': 'text/event-stream'

안녕하세요 @ak68님, 임베딩 API를 테스트 앱으로 이용하고 계신 경우 클로바 스튜디오 이용량 제어 정책에 따라 분당 요청수에 제한이 있습니다. 향후 임베딩 API를 서비스에 적용할 계획이 있으신 경우 서비스 앱 신청을 통해 이용량을 늘릴 수 있는 점 참고 부탁드립니다. 감사합니다.

안녕하세요 @hong님, 우선 에러 코드와 관련한 정보는 아래 API 가이드를 통해서 확인하실 수 있는데요. 해당 에러는 최대 이용량을 초과한 요청에 대해 발생하는 코드입니다. https://api.ncloud-docs.com/docs/ai-naver-clovastudio-summary 말씀주신 사항은 최근 익스플로러 도구에도 확대 적용된 이용량 제어 정책에 따라 발생하는 것으로 보이는데요. 관련하여 아래 가이드 문서를 참고해주시면 감사하겠습니다. https://guide.ncloud-docs.com/docs/clovastudio-ratelimiting 짐작컨대 임베딩 모델을 테스트 앱으로 이용중이신 것으로 보이고, 이 부분 서비스 앱 신청을 통해 최대 이용량을 늘려서 사용하실 수 있는 점 참고 부탁드립니다. 감사합니다.

안녕하세요 @TABA님, 현재 임베딩 모델의 토큰계산기를 별도로 제공하고 있지 않으며, 요약 및 문단나누기 API의 경우 글자수를 단위로 처리되고 있어 약간의 전처리/후처리 작업이 필요한 상황입니다. 따라서 아래 사항을 참고하셔서 임베딩 API를 활용해주시면 감사하겠습니다. 대상 Text의 길이가 임베딩 API의 최대 처리 가능 길이(500 토큰)를 초과할 경우 임베딩 작업이 불가하며, 에러 코드(40003)를 반환합니다. 이러한 상황을 방지하기 위해 임베딩 대상 Text를 나누거나 요약하는 등의 길이 조절을 위한 전처리 과정이 필요할 수 있으며, 아래와 같은 방법을 도입할 수 있습니다. 대상 Text를 문장 단위로 나누어 임베딩 작업을 진행합니다. 요약 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 요약한 후 임베딩 작업을 진행합니다. 문단 나누기 API를 활용하여 대상 Text를 특정 길이의 문단으로 나누어 임베딩 작업을 진행합니다. 임베딩 작업을 위한 대상 Text를 전처리 할 때 아래와 같은 사항을 고려해 주십시오. 익스플로러의 도구들은 해당 작업에 최적화된 모델에 기반하여 작동하며, 서로 다른 토큰화 기법이 적용되고 있습니다. 따라서 동일한 Text에 대해 도구에 따라 토큰화 결과가 달라질 수 있으며, 같은 Text에 배정되는 토큰수 역시 다를 수 있습니다. 현재 임베딩 API는 응답으로 벡터값과 함께 입력 Text의 토큰수를 함께 출력하므로 (inputTokens), 전처리 시 해당 수치를 참고해주시기 바랍니다. 임베딩 Text의 특성에 따라 같은 글자수에 배정되는 토큰수가 달라질 수 있으며 아래의 특성을 감안하여 설정할 것을 권고합니다. (토큰당 글자수가 적을수록 임베딩 대상 Text의 길이를 짧게 조절해야 합니다.) 전문 용어 등이 다수 포함된 특정 분야/영역의 Text는 토큰당 글자수가 상대적으로 적은 경향이 있습니다. Text 내 숫자, 구두점, 불규칙적인 띄어쓰기 등이 많을수록 토큰당 글자수가 적어지는 경향이 있습니다. 한글과 영문이 혼합된 Text의 경우, 영문의 비중에 따라 토큰당 글자수가 많아지는 경향이 있습니다. 임베딩 API와 관련하여 해당 작업이 번거롭다는 점을 감안하여 보다 유연하고 최적화된 임베딩 토큰 처리를 위한 기능을 준비하고 있습니다. 계속하여 편리하고 효율적인 서비스를 제공해 드릴 수 있도록 노력하겠습니다. 감사합니다.

안녕하세요 @j5ng님, 말씀주신 것중에 1번에 해당하며, 요청 시점을 기준으로 1분 내 누적 요청 수 및 처리 토큰 수를 계산하는 방식으로 이용량을 제어하게 됩니다. 감사합니다.

안녕하세요 @데이터 빅님, 클로바 스튜디오를 이용해주셔서 감사합니다. 아래 문의주신 내용 답변드리니 확인 부탁드리며, 추가로 궁금하신 점이 있거나 개선이 필요한 사항이 있다면 편히 말씀주세요. 감사합니다. 요약 API 파라미터 관련: `segCount`, `segMinSize`, `segMixSize` 는 길이가 긴 문서를 보다 효과적으로 요악하기 위해 입력된 문서를 먼저 문단으로 나누어 처리하는 과정에 적용되는 파라미터입니다. 다시 말해 해당 파라미터는 최종 요약 결과를 명시적으로 제어하기 위한 값이 아니며, LLM 특성상 출력 결과를 완벽하게 제어하기 어려운 상황에서 중간 과정에 제약 조건을 설정함으로서 보다 원하는 형상의 결과를 얻도록 보조하는 역할을 합니다. segMaxSize는 '문단 분리 시 한 문단에 포함될 최대 문자열의 글자 수'를 의미하며, segCount를 1로 설정하여 이미 문단을 나누지 않는 것으로 설정되었으므로 작동하지 않을 것으로 보입니다. 결과적으로 입력된 문서 전체를 1개 문단으로 처리하여 요약했으므로 상대적으로 짧은 1개 문장을 출력합니다. segCount 는 '요약할 문장 목록을 분리할 문단 수'를 의미하며, 이를 3으로 설정하셨으므로 입력된 문서를 3개 문단으로 나누어 각각 요약한 결과를 받게 됩니다. 이 때도 입력한 문서가 이미 60자를 넘어 어떤 문단이든 설정하신 segMaxSize를 초과하게 되므로 해당 파라미터는 작동하지 않습니다. 나뉜 문단에 담긴 내용에 따라 여러 개의 문장으로 요약될 수 있는 점도 함께 참고해주십시오. 두가지 경우에 대해 차이를 논하기에 앞서 요약 API가 문단을 나눌 때 autoSentenceSplitter 파라미터에 따라 문장을 인식하는 방식이 달라지는 점에 유의해주십시오. 이를 `true`로 설정 시 모델이 그 외 파라미터 설정에 따라 전체 입력을 자체적으로 문장 및 문단으로 나누어 요약을 진행하며, `false`로 설정 시 입력된 형태 그대로 요약을 진행합니다. 따라서 autoSentenceSplitter 파라미터가 true인 경우 차이가 없으며, false인 경우 차이가 발생합니다.

안녕하세요 @kimbob79님, 이해하고 계신 바와 같이 429 Too Many Requests 에러는 기존 서비스앱 승인 시 협의된 요청량을 초과한 요청이 이뤄졌을 때 발생하는 에러입니다. 우선 해당 에러를 줄이시려면 요청 사이에 1초 이내의 시간 지연(time sleep)을 두는 것도 방법인 점 참고 부탁립니다. 관련 문의는 아래 링크를 통해 발생 상황 등에 대해 추가로 전달해주시면 보다 자세히 답변드리도록 하겠습니다. https://www.ncloud.com/support/question/service (CLOVA Studio 서비스 선택) 감사합니다.

안녕하세요 @menin님, 비동기 지원이 여러 의미를 가질 수 있겠으나 문의주신 내용 토대로 답변을 드리자면 테스트 앱 및 서비스 앱 1개를 사용하시더라도 서버를 비동기로 구성하실 경우 독립적인 호출이 가능합니다. 호출 순서대로 응답을 받는 것은 재현이 되지 않는 것으로 보이며, 이 부분은 사용하시는 언어나 프레임워크에 따라 비동기 구현이 되어있지 않을 수 있어 추가로 확인해주시면 감사하겠습니다. 감사합니다.