CLOVA Studio 운영자

안녕하세요, @dokdok.co님, 클로바 스튜디오 담당입니다. 40100 에러는 API Key나 Gateway key가 잘못 입력 되었을 때 발생합니다. 신청된 서비스 앱의 API Key로 입력 되었는지 재확인 부탁드립니다. 지속적으로 문제가 발생할 경우, 아래 링크를 통하여 계정 정보와 함께 접수해주시면 자세히 확인해보도록 하겠습니다. https://www.ncloud.com/support/question/service 감사합니다.

안녕하세요, @ultramarin님, 클로바 스튜디오 담당입니다. 서비스 정책상 학습 데이터에 대한 정보 공개가 어렵습니다. 많은 양해 부탁드립니다. 감사합니다.

안녕하세요, @최창윤님, 클로바 스튜디오 담당입니다. 1. 플레이그라운드에서 작업을 저장하신 후 테스트 앱 발급을 통해 Chat Completions API 등을 이용하실 수 있습니다. API 가이드: https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname 사용 가이드: https://guide.ncloud-docs.com/docs/clovastudio-info#테스트앱 스킬 트레이너의 경우 HyperCLOVA X가 적절한 서비스 API를 호출할 수 있도록 학습시키는 기능입니다. 2. 스킬 내 모든 필드가 입력되고, API Spec 검증하기까지 완료되어야만 저장 버튼이 활성화됩니다. 이러한 조건이 모두 충족되었는지 한번 더 확인 부탁드립니다. 특히 Schema version 필드가 누락된 경우가 많아서, 해당 필드 입력(v1) 확인 부탁드립니다. 감사합니다.

안녕하세요, @CKD님,클로바 스튜디오 담당입니다. 40100 에러는 API Key나 Gateway key가 잘못 입력 되었을 때 발생합니다. 직접 생성된 테스트 앱의 API Key로 입력 되었는지 재확인 부탁드립니다. 지속적으로 문제가 발생할 경우, 아래 링크를 통하여 계정 정보와 함께 접수해주시면 자세히 확인해보도록 하겠습니다. https://www.ncloud.com/support/question/service

안녕하세요, @nexusai 님, 말씀주신 오류 발생 시간대 및 전후 시간대 응답을 확인하였으나, 모두 정상 응답으로 보이고 있어서, request ID나 오류가 발생했던 요청 예시를 공유해주실 수 있으실까요? 코멘트로 남기기 어렵다면, 아래 링크를 통해 문의 접수해주셔도 됩니다. https://www.ncloud.com/support/question/service 감사합니다.

안녕하세요, @ada.choi님, 클로바 스튜디오에서 제공하는 HyperCLOVA X 모델의 요금표는 아래 링크의 요금 탭에서 확인하실 수 있습니다. https://www.ncloud.com/product/aiService/clovaStudio CLOVA X의 서비스 응답을 웹으로 불러오거나 API 형태로 지원하고 있지 않으며, 클로바 스튜디오 플랫폼을 통해 이용 진행해주셔야 합니다. 감사합니다.

안녕하세요. @beans님, 1. 네, 맞습니다. Emb-dolphin 모델은 범용적으로 필요한 여러 분야의 도메인 지식을 처리 가능하도록 학습되었습니다. 2. sts는 Semantic Textual Similarity의 약자입니다. 문장간 유사도를 중점으로 진행하는 모델입니다.

네, @hong 님, 현재 History를 관리하는 기능은 제공하지 않고 있습니다. 더 궁금하신 점이나 도움이 필요한 사항이 있으시면 언제든지 말씀해주세요. 감사합니다.

안녕하세요, @hong님, 40003 (Text too long) 에러가 발생한 것이 맞을까요? HCX 모델의 경우 인풋과 아웃풋을 포함해 4096 토큰을 넘길 수 없습니다. 플레이그라운드 상단의 '계산' 버튼을 누르면 입력된 텍스트의 토큰을 계산 할 수 있으며, 파라미터에서 Maximum tokens를 높게 설정하셨다면 낮추어 주세요. 그 밖에 다른 문의 사항이 있다면 알려주십시오. 감사합니다.

안녕하세요, @곳간로지스님, 답변이 늦어져 죄송합니다. System prompt 열을 활용하여 튜닝을 할 수 있도록, 관련 기능을 검토중에 있습니다. 추후 해당 기능을 이용해서 튜닝을 진행하면 의도하신대로 구현이 가능할 것 같습니다. 현재는 샘플 데이터셋을 제공하지 않는 점 참고 부탁드립니다. 감사합니다.

안녕하세요, @dokdok.co님, Header에 입력하신 Key 중 하나가 잘못 입력되어 있는 것으로 확인됩니다. X-NCP-CLOVASTUDIO-API-KEY 로 변경하셔야 합니다. 헤더 영역 가이드: https://api.ncloud-docs.com/docs/clovastudio-sendchatcompletionsbymodelname 감사합니다.

안녕하세요, @leeys님, 이용하시려는 서비스 앱의 목적이 동일하다면, 추가적인 서비스 앱 신청 없이 기존 발급된 API KEY를 그대로 이용하셔도 괜찮습니다. 감사합니다.

안녕하세요, @beans님, 시스템 프롬프트와 사용자 턴의 입력과 어시스턴트 턴의 출력을 포함하여 4096 토큰을 초과하여 요청할 수 없습니다. 즉, 첨부주신 이미지의 경우 시스템 프롬프트와 사용자 영역에 텍스트 입력이 있기 때문에, 요청할 Maximum tokens는 입력된 만큼을 감해서 진행하셔야 합니다. (예. 300~500토큰 등) 감사합니다.

안녕하세요, @jayahn0104님, 스트리밍 중에는 정상적인 토큰 전달 과정 중에도 오류가 발생할 수 있기 때문에, HTTP 상태 코드는 200으로 처리됩니다. 이러한 상황과 서비스에 미치는 영향을 고려하여, 현재 상태를 유지하고 있는 점 양해 부탁드립니다. 서비스 개선을 위해 지속적으로 노력하겠습니다. 감사합니다.

@곳간로지스님, 수정 배포 되었습니다. 다시 확인 및 진행 부탁드립니다. 감사합니다.

안녕하세요, @곳간로지스님, 이용에 불편을 드려 죄송합니다. 현재 원인 파악이 되어 수정 진행중에 있습니다. 빠르게 조치 하겠으며, 수정이 완료되면 다시 안내해 드리겠습니다. 감사합니다.

안녕하세요, @systemc님, 고객센터를 통해 답변된 바와 같이, Chatbot에서 제공되는 액션 메소드 기능은 응답 포맷이 정해져 있기 때문에, (가이드: https://guide.ncloud-docs.com/docs/chatbot-chatbot-3-10) CLOVA Studio API를 액션 메소드로 이용하긴 어려울것으로 보이며 챗봇에서 응답 메시지로 실패 메시지 등을 반환하는 경우, CLOVA Studio API를 호출하여 받은 output을 이용하시면 될것으로 보입니다. 감사합니다.

안녕하세요, @kobaco 님, 터미널 인코딩 설정이 필요해보입니다. 자바 코드의 경우 try 아래의 setEntity를 수정 부탁드립니다. httpPost.setEntity(new StringEntity(requestBody)); // 변경전 httpPost.setEntity(new StringEntity(requestBody, "UTF-8")); // 변경후 감사합니다.

안녕하세요, @MinKyu.JO님, 클로바 스튜디오를 이용해주셔서 감사드립니다. 서비스 정책상 URL은 악용사례방지를 위해 일부 마스킹을 진행하고 있습니다. 사용성 개선을 위해 지속 개선 검토하겠습니다 감사합니다.

안녕하세요, @jayahn0104님, 제보 감사드립니다. 현재 스트리밍 요청에 대해서는 HTTP 상태코드를 200으로 처리하고 있습니다. 개선이 가능할지 내부적으로 검토를 진행해보겠습니다. 감사합니다.

안녕하세요, @Didim365 님, 클로바 스튜디오 담당입니다. 1. 입력하신 프롬프트와 파라미터 등 구체적인 정보를 봐야 파악이 가능할거 같습니다. 댓글로 남겨주시거나, 공개가 어려우실 경우 아래 링크를 통해 문의 접수 부탁드립니다. https://www.ncloud.com/support/question/service 2. 클로바 스튜디오는 현재 안정적인 서비스 제공을 위해 테스트 앱의 경우 1 QPS (Query Per Second) 를 기준으로 이용량을 제한하고 있습니다. 따라서 동시에 4~5건의 request 인입 시 해당 에러가 발생하도록 되어 있습니다. 서비스앱 신청 시 예상되는 이용량을 작성해주시면 해당 내용과 함께 서비스 특성, 인프라 가용 현황 등을 고려하여 협의를 거쳐 QPS를 상향할 수 있으며, 해당 수치를 초과하지 않는 요청에 대해서는 관련 에러 (429 too many request) 발생하지 않습니다. 참고로 클로바 스튜디오는 현재 베타 서비스 중으로 해당 수치는 향후에 변경될 수 있다는 점과 시스템 인프라 상황에 따라 보장되지 않을 수 있는 점도 함께 안내드립니다. 감사합니다.

안녕하세요, @데이터 빅님, 1. 원활한 모델 성능을 위헤 인풋을 3500 토큰으로 제한하고 있고, 현재는 인풋의 토큰 한도를 늘릴 계획이 없습니다. 향후 인풋 토큰의 한도를 조정하게 되면 다시 안내드리겠습니다. 2. 원문자 등 특수 기호 삽입 시 문단나누기 API의 일부 로직이 간헐적으로 정상 작동하지 않는 점 확인하여 아직 개선중에 있습니다. 늦어져서 죄송하며 수정되는대로 안내드리도록 하겠습니다. 앞으로도 성능 개선을 위해 지속적으로 노력하겠습니다. 감사합니다.

한국의 문화적 특성을 반영해 고안된 벤치마크, KMMLU 네이버 클라우드와 EleutherAI 그리고 손규진 님(EleutherAI, OneLine AI)을 비롯한 HAERAE 팀이 협력하여 만든 KMMLU가 정식으로 공개 되었습니다. 이번 포스팅에서는 KMMLU에 대한 논문(KMMLU: Measuring Massive Multitask Language Understanding in Korean) 소개와 실험 결과를 소개하겠습니다. Guijin Son, Hanwool Lee, Sungdong Kim, Seungone Kim, Niklas Muennighoff, Taekyoon Choi, Cheonbok Park, Kang Min Yoo, and Stella Biderman. "KMMLU: Measuring Massive Multitask Language Understanding in Korean." 2024, https://arxiv.org/abs/2402.11548. 이번 실험 결과에서는 HyperCLOVA X는 한국 특화 지식과 관련하여 GPT-3.5 Turbo와 Gemini-pro를 압도하였습니다. 그만큼 한국어 LLM 시장에서 HyperCLOVA X가 선두 주자라는 사실이 증명되었고, 한국어 영역의 지식과 CoT에서는 GPT-4보다 나은 성능을 보입니다. 기존 MMLU 방식의 평가 그동안 MMLU 데이터를 기반으로 한 많은 AI 모델이 평가되었습니다. 하지만 아래 그림에서 볼 수 있듯이, MMLU는 영어문화권 사용자를 위해 설계되었고, 따라서 이 벤치마크를 한국어로 활용하기 위해서는 기계를 통한 단순 번역을 거치곤 했습니다. 그러나 MMLU를 한국어로 단순히 번역해 활용하는 것엔 몇가지 문제점이 있습니다. ▲위의 예시처럼 기계를 통한 단순 번역은 오타나 문법적 실수를 발생시킬 뿐만 아니라 부자연스러운 표현으로 인해 데이터 세트의 질을 심각하게 떨어트릴 수 있죠. 또 MMLU가 영어문화권 사용자를 위해 설계되었다는 점을 고려했을 때, 영어의 속어(slang)나 문화적 친숙성 관련 편향도 데이터셋의 한계로 꾸준히 지적되어 왔습니다. 이처럼 시험지가 영어로 되어있다는 이유만으로 한국어 언어 모델이 낮은 점수를 받게 된다면, 언어모델(LLM)의 역량을 제대로 파악하는 데 문제가 되겠죠. 바로 이 문제를 해결하기 위해 한국의 문화적 특성을 반영해 고안된 벤치마크, KMMLU를 소개합니다! 인문학부터, 과학, 기술, 공학 그리고 수학까지 KMMLU는 인문학부터 STEM 분야까지 총 45개 주제를 포괄하는 35,030개의 전문가 수준 다지선형 선택 문제로 구성된 새로운 한국어 벤치마크입니다. 기존 영어 벤치마크를 한국어로 번역한 이전 벤치마크와 달리, KMMLU는 한국어 고시 등 원본 한국어 시험에서 수집하여 한국어의 언어적, 문화적 특징을 반영하고 있습니다. ▲ 우리나라 대도시지역의 주요 문제부터, 한국 간호사의 윤리 강령등 도메인 내에서도 한국적 특성을 반영한 문항이 다수 보입니다. KMMLU 실험 결과 KMMLU 평가를 통해 평균 성능을 살펴보면 대체로 LLM은 마케팅, 컴퓨터 과학, 정보 기술, 통신 및 무선 기술 분야에서 우수한 성능을 보였습니다. 반대로 한국사, 수학, 특허, 세무, 형법 등 특정 문화적 또는 지역적 지식이 있어야 하는 분야에서는 일반적으로 낮은 점수를 보였습니다. 예를 들어, LLM은 한국사에서 가장 낮은 성능을 보이며, 수학, 특허, 세무, 형법 순으로 성능이 낮았죠. 특히 특허, 세무, 형법과 같은 분야는 한국 법률 제도 및 해당 법률 해석에 대한 이해를 요구하기 때문인지 특히 낮은 점수를 드러냈습니다. HyperCLOVA X의 시험 결과는? 한국과 관련된 다양한 분야의 지식이 요구되는 영역에서 특히 우수한 성능을 보였습니다. 구체적으로는 한국의 법률, 지리, 문화의 영역에서 타 모델들 대비 가장 우수한 점수를 기록했습니다. 특히 GPT-3.5 Turbo와 Gemini-Pro를 무려 10점이 넘는 차이를 보였습니다. HYPERCLOVA X는 GPT-4에 비해 한국 관련 질문에 대한 답변에서 더 우수한 성능을 보였습니다. ▼ HyperCLOVA X 팀의 노하우를 담아 직접 제작한 CoT(Chain of Thought) 프롬프트로 HyperCLOVA X, GPT-3.5-Turbo, GPT-4, Gemini-Pro의 KMMLU 수행 능력을 평가했습니다. CoT 프롬프트 적용시 KMMLU의 영역별 점수를 평균낸 총점에 대해 GPT-4 Turbo를 포함한 비교 모델군중 HyperCLOVA X가 가장 높은 값을 기록했습니다. HyperCLOVA X는 STEM(자연계열 및 공학계열), Applied Science(응용 과학), HUMSS(사회과학), 기타 항목으로 구성된 KMMLU의 전 영역에서 Direct 프롬프트보다 CoT 프롬프트에서 더 높은 수행 능력을 보여줌에 따라, 추론 능력이 우수함을 엿볼 수 있습니다. AI 주권을 위한 한국어 LLM의 중요성 본 논문에서는 한국어로 사전 학습된 언어 모델이 얼마나 중요한지 잘 나타내고 있습니다. 앞으로도 한국어 LLM을 개선하기 위한 지속적인 노력이 필요하며, KMMLU가 이러한 발전 과정을 추적하는 데 적합한 유용한 도구로 쓰이길 기대해봅니다. 다양한 언어 모델(LLM)이 탄생하는 이런 격변의 시기에 우리는 더욱 더 AI 주권을 지키기 위해 노력해야 합니다. 소버린 AI를 위한 네이버 클라우드의 노력을 지켜봐주세요! 논문: https://arxiv.org/abs/2402.11548 데이터셋: https://huggingface.co/datasets/HAERAE-HUB/KMMLU

@menin님, 후자입니다. 설정값을 100으로 해서 매번 100이 책정되는 것은 아니고, 실제로 응답 결과로 받은 Output의 토큰 수를 바탕으로 계산됩니다. 감사합니다.

안녕하세요, @menin님, 클로바 스튜디오 담당입니다. 1. 현재 상단에 보이는 숫자는, 입력된 토큰 수와 설정된 Maximum tokens를 합친 '요청할 토큰수'에 대한 수치입니다. 2. 네, 해당 금액은 토큰에 대한 가격인데요. 인풋과 아웃풋을 합쳐서 과금을 하게 됩니다. 3. 서비스 앱의 경우 현재로선 말씀주신 RPM, RPD와 같이 이용량 제한이 일괄 적용되고 있지 않는 점 참고 부탁드립니다. 서비스 앱 '신청하기'를 통해 예상되는 이용량을 작성해주시면 해당 내용과 함께 서비스 특성, 인프라 가용 현황 등을 고려하여 협의를 거쳐 결정하게 됩니다. 감사합니다.