CLOVA Studio 운영자

안녕하세요, @beans님, 시스템 프롬프트와 사용자 턴의 입력과 어시스턴트 턴의 출력을 포함하여 4096 토큰을 초과하여 요청할 수 없습니다. 즉, 첨부주신 이미지의 경우 시스템 프롬프트와 사용자 영역에 텍스트 입력이 있기 때문에, 요청할 Maximum tokens는 입력된 만큼을 감해서 진행하셔야 합니다. (예. 300~500토큰 등) 감사합니다.

안녕하세요, @jayahn0104님, 스트리밍 중에는 정상적인 토큰 전달 과정 중에도 오류가 발생할 수 있기 때문에, HTTP 상태 코드는 200으로 처리됩니다. 이러한 상황과 서비스에 미치는 영향을 고려하여, 현재 상태를 유지하고 있는 점 양해 부탁드립니다. 서비스 개선을 위해 지속적으로 노력하겠습니다. 감사합니다.

@곳간로지스님, 수정 배포 되었습니다. 다시 확인 및 진행 부탁드립니다. 감사합니다.

안녕하세요, @곳간로지스님, 이용에 불편을 드려 죄송합니다. 현재 원인 파악이 되어 수정 진행중에 있습니다. 빠르게 조치 하겠으며, 수정이 완료되면 다시 안내해 드리겠습니다. 감사합니다.

안녕하세요, @systemc님, 고객센터를 통해 답변된 바와 같이, Chatbot에서 제공되는 액션 메소드 기능은 응답 포맷이 정해져 있기 때문에, (가이드: https://guide.ncloud-docs.com/docs/chatbot-chatbot-3-10) CLOVA Studio API를 액션 메소드로 이용하긴 어려울것으로 보이며 챗봇에서 응답 메시지로 실패 메시지 등을 반환하는 경우, CLOVA Studio API를 호출하여 받은 output을 이용하시면 될것으로 보입니다. 감사합니다.

안녕하세요, @kobaco 님, 터미널 인코딩 설정이 필요해보입니다. 자바 코드의 경우 try 아래의 setEntity를 수정 부탁드립니다. httpPost.setEntity(new StringEntity(requestBody)); // 변경전 httpPost.setEntity(new StringEntity(requestBody, "UTF-8")); // 변경후 감사합니다.

안녕하세요, @MinKyu.JO님, 클로바 스튜디오를 이용해주셔서 감사드립니다. 서비스 정책상 URL은 악용사례방지를 위해 일부 마스킹을 진행하고 있습니다. 사용성 개선을 위해 지속 개선 검토하겠습니다 감사합니다.

안녕하세요, @jayahn0104님, 제보 감사드립니다. 현재 스트리밍 요청에 대해서는 HTTP 상태코드를 200으로 처리하고 있습니다. 개선이 가능할지 내부적으로 검토를 진행해보겠습니다. 감사합니다.

안녕하세요, @Didim365 님, 클로바 스튜디오 담당입니다. 1. 입력하신 프롬프트와 파라미터 등 구체적인 정보를 봐야 파악이 가능할거 같습니다. 댓글로 남겨주시거나, 공개가 어려우실 경우 아래 링크를 통해 문의 접수 부탁드립니다. https://www.ncloud.com/support/question/service 2. 클로바 스튜디오는 현재 안정적인 서비스 제공을 위해 테스트 앱의 경우 1 QPS (Query Per Second) 를 기준으로 이용량을 제한하고 있습니다. 따라서 동시에 4~5건의 request 인입 시 해당 에러가 발생하도록 되어 있습니다. 서비스앱 신청 시 예상되는 이용량을 작성해주시면 해당 내용과 함께 서비스 특성, 인프라 가용 현황 등을 고려하여 협의를 거쳐 QPS를 상향할 수 있으며, 해당 수치를 초과하지 않는 요청에 대해서는 관련 에러 (429 too many request) 발생하지 않습니다. 참고로 클로바 스튜디오는 현재 베타 서비스 중으로 해당 수치는 향후에 변경될 수 있다는 점과 시스템 인프라 상황에 따라 보장되지 않을 수 있는 점도 함께 안내드립니다. 감사합니다.

안녕하세요, @데이터 빅님, 1. 원활한 모델 성능을 위헤 인풋을 3500 토큰으로 제한하고 있고, 현재는 인풋의 토큰 한도를 늘릴 계획이 없습니다. 향후 인풋 토큰의 한도를 조정하게 되면 다시 안내드리겠습니다. 2. 원문자 등 특수 기호 삽입 시 문단나누기 API의 일부 로직이 간헐적으로 정상 작동하지 않는 점 확인하여 아직 개선중에 있습니다. 늦어져서 죄송하며 수정되는대로 안내드리도록 하겠습니다. 앞으로도 성능 개선을 위해 지속적으로 노력하겠습니다. 감사합니다.

한국의 문화적 특성을 반영해 고안된 벤치마크, KMMLU 네이버 클라우드와 EleutherAI 그리고 손규진 님(EleutherAI, OneLine AI)을 비롯한 HAERAE 팀이 협력하여 만든 KMMLU가 정식으로 공개 되었습니다. 이번 포스팅에서는 KMMLU에 대한 논문(KMMLU: Measuring Massive Multitask Language Understanding in Korean) 소개와 실험 결과를 소개하겠습니다. Guijin Son, Hanwool Lee, Sungdong Kim, Seungone Kim, Niklas Muennighoff, Taekyoon Choi, Cheonbok Park, Kang Min Yoo, and Stella Biderman. "KMMLU: Measuring Massive Multitask Language Understanding in Korean." 2024, https://arxiv.org/abs/2402.11548. 이번 실험 결과에서는 HyperCLOVA X는 한국 특화 지식과 관련하여 GPT-3.5 Turbo와 Gemini-pro를 압도하였습니다. 그만큼 한국어 LLM 시장에서 HyperCLOVA X가 선두 주자라는 사실이 증명되었고, 한국어 영역의 지식과 CoT에서는 GPT-4보다 나은 성능을 보입니다. 기존 MMLU 방식의 평가 그동안 MMLU 데이터를 기반으로 한 많은 AI 모델이 평가되었습니다. 하지만 아래 그림에서 볼 수 있듯이, MMLU는 영어문화권 사용자를 위해 설계되었고, 따라서 이 벤치마크를 한국어로 활용하기 위해서는 기계를 통한 단순 번역을 거치곤 했습니다. 그러나 MMLU를 한국어로 단순히 번역해 활용하는 것엔 몇가지 문제점이 있습니다. ▲위의 예시처럼 기계를 통한 단순 번역은 오타나 문법적 실수를 발생시킬 뿐만 아니라 부자연스러운 표현으로 인해 데이터 세트의 질을 심각하게 떨어트릴 수 있죠. 또 MMLU가 영어문화권 사용자를 위해 설계되었다는 점을 고려했을 때, 영어의 속어(slang)나 문화적 친숙성 관련 편향도 데이터셋의 한계로 꾸준히 지적되어 왔습니다. 이처럼 시험지가 영어로 되어있다는 이유만으로 한국어 언어 모델이 낮은 점수를 받게 된다면, 언어모델(LLM)의 역량을 제대로 파악하는 데 문제가 되겠죠. 바로 이 문제를 해결하기 위해 한국의 문화적 특성을 반영해 고안된 벤치마크, KMMLU를 소개합니다! 인문학부터, 과학, 기술, 공학 그리고 수학까지 KMMLU는 인문학부터 STEM 분야까지 총 45개 주제를 포괄하는 35,030개의 전문가 수준 다지선형 선택 문제로 구성된 새로운 한국어 벤치마크입니다. 기존 영어 벤치마크를 한국어로 번역한 이전 벤치마크와 달리, KMMLU는 한국어 고시 등 원본 한국어 시험에서 수집하여 한국어의 언어적, 문화적 특징을 반영하고 있습니다. ▲ 우리나라 대도시지역의 주요 문제부터, 한국 간호사의 윤리 강령등 도메인 내에서도 한국적 특성을 반영한 문항이 다수 보입니다. KMMLU 실험 결과 KMMLU 평가를 통해 평균 성능을 살펴보면 대체로 LLM은 마케팅, 컴퓨터 과학, 정보 기술, 통신 및 무선 기술 분야에서 우수한 성능을 보였습니다. 반대로 한국사, 수학, 특허, 세무, 형법 등 특정 문화적 또는 지역적 지식이 있어야 하는 분야에서는 일반적으로 낮은 점수를 보였습니다. 예를 들어, LLM은 한국사에서 가장 낮은 성능을 보이며, 수학, 특허, 세무, 형법 순으로 성능이 낮았죠. 특히 특허, 세무, 형법과 같은 분야는 한국 법률 제도 및 해당 법률 해석에 대한 이해를 요구하기 때문인지 특히 낮은 점수를 드러냈습니다. HyperCLOVA X의 시험 결과는? 한국과 관련된 다양한 분야의 지식이 요구되는 영역에서 특히 우수한 성능을 보였습니다. 구체적으로는 한국의 법률, 지리, 문화의 영역에서 타 모델들 대비 가장 우수한 점수를 기록했습니다. 특히 GPT-3.5 Turbo와 Gemini-Pro를 무려 10점이 넘는 차이를 보였습니다. HYPERCLOVA X는 GPT-4에 비해 한국 관련 질문에 대한 답변에서 더 우수한 성능을 보였습니다. ▼ HyperCLOVA X 팀의 노하우를 담아 직접 제작한 CoT(Chain of Thought) 프롬프트로 HyperCLOVA X, GPT-3.5-Turbo, GPT-4, Gemini-Pro의 KMMLU 수행 능력을 평가했습니다. CoT 프롬프트 적용시 KMMLU의 영역별 점수를 평균낸 총점에 대해 GPT-4 Turbo를 포함한 비교 모델군중 HyperCLOVA X가 가장 높은 값을 기록했습니다. HyperCLOVA X는 STEM(자연계열 및 공학계열), Applied Science(응용 과학), HUMSS(사회과학), 기타 항목으로 구성된 KMMLU의 전 영역에서 Direct 프롬프트보다 CoT 프롬프트에서 더 높은 수행 능력을 보여줌에 따라, 추론 능력이 우수함을 엿볼 수 있습니다. AI 주권을 위한 한국어 LLM의 중요성 본 논문에서는 한국어로 사전 학습된 언어 모델이 얼마나 중요한지 잘 나타내고 있습니다. 앞으로도 한국어 LLM을 개선하기 위한 지속적인 노력이 필요하며, KMMLU가 이러한 발전 과정을 추적하는 데 적합한 유용한 도구로 쓰이길 기대해봅니다. 다양한 언어 모델(LLM)이 탄생하는 이런 격변의 시기에 우리는 더욱 더 AI 주권을 지키기 위해 노력해야 합니다. 소버린 AI를 위한 네이버 클라우드의 노력을 지켜봐주세요! 논문: https://arxiv.org/abs/2402.11548 데이터셋: https://huggingface.co/datasets/HAERAE-HUB/KMMLU

@menin님, 후자입니다. 설정값을 100으로 해서 매번 100이 책정되는 것은 아니고, 실제로 응답 결과로 받은 Output의 토큰 수를 바탕으로 계산됩니다. 감사합니다.

안녕하세요, @menin님, 클로바 스튜디오 담당입니다. 1. 현재 상단에 보이는 숫자는, 입력된 토큰 수와 설정된 Maximum tokens를 합친 '요청할 토큰수'에 대한 수치입니다. 2. 네, 해당 금액은 토큰에 대한 가격인데요. 인풋과 아웃풋을 합쳐서 과금을 하게 됩니다. 3. 서비스 앱의 경우 현재로선 말씀주신 RPM, RPD와 같이 이용량 제한이 일괄 적용되고 있지 않는 점 참고 부탁드립니다. 서비스 앱 '신청하기'를 통해 예상되는 이용량을 작성해주시면 해당 내용과 함께 서비스 특성, 인프라 가용 현황 등을 고려하여 협의를 거쳐 결정하게 됩니다. 감사합니다.

안녕하세요, @menin님, 클로바 스튜디오 담당입니다. 1. 현재 상단에 보이는 숫자는, 입력된 토큰 수와 설정된 Maximum tokens를 합친 '요청할 토큰수'에 대한 수치입니다. 2. 네, 해당 금액은 토큰에 대한 가격인데요. 인풋과 아웃풋을 합쳐서 과금을 하게 됩니다. 3. 서비스 앱의 경우 현재로선 말씀주신 RPM, RPD와 같이 이용량 제한이 일괄 적용되고 있지 않는 점 참고 부탁드립니다. 서비스 앱 '신청하기'를 통해 예상되는 이용량을 작성해주시면 해당 내용과 함께 서비스 특성, 인프라 가용 현황 등을 고려하여 협의를 거쳐 결정하게 됩니다. 감사합니다.

안녕하세요, @TWC_AI 님, 주어진 텍스트만을 참고하여 답변하는 것을 원하시는 경우, Repetition penalty를 1.2 정도로 낮추는 것을 권장드립니다. 해당 파라미터는 같은 토큰이 반복되는 것을 제어하는 설정 값으로, 5.0으로 설정되어 있다면, 주어진 텍스트 외의 답변을 할 가능성이 높아집니다. ▼ Repetion penalty를 1.2로 낮추어서 나온 결과입니다. ▼ 지시문을 더욱 잘 수행하는 HCX 모델을 이용해보시는 것도 추천드립니다 🙂 감사합니다.

안녕하세요, @데이터 빅 님, 특정 금액 구간을 참고하여, 답변하는 것을 생각중이신 것으로 이해했습니다. 아래와 같이, 시스템 프롬프트 보강 및 적절한 예제를 넣어보는 형태로 작업 제안드립니다. 7000만원의 구간이 어디인지 사전 정보를 넣어서, 개선이 되는 것을 확인했습니다. 또한 최대한 주어진 정보를 토대로 답변을 해야하는 것으로 보여, Repetition penalty를 1.2로 낮추고, temperature도 낮추는 것이 좋을 것 같습니다. 지속적으로 모델을 개선하고자 노력하고 있습니다. 앞으로도 많은 관심과 이용 부탁드립니다. 감사합니다.

안녕하세요, @beans 님, 현재 Maximum tokens의 숫자를 지웠을때 해당 문제가 발생하는 것을 확인하여 수정 예정입니다. 이용에 불편을 드려 죄송합니다.

안녕하세요, @powerwarez55님, 아래 링크를 통해 문의 접수 부탁드립니다. https://www.ncloud.com/support/question/service 감사합니다.

2023년 12월, 클로바 스튜디오를 활용하여 AI 서비스를 만드는 다양한 그룹 프로젝트와 해커톤이 열렸습니다. 네이버 커넥트재단 부스트캠프 웹·모바일 8기 그룹 프로젝트 IT 프로젝트 플랫폼 비사이드의 열흘 간의 온라인 해커톤 포텐데이 에너지 넘치는 개발자, 기획, 디자이너 분들이 합심해서 하이퍼클로바X 기반 AI 서비스를 만드는 프로젝트였는데요. 네이버의 초대규모 AI 언어모델인 하이퍼클로바X가 탑재된 클로바 스튜디오를 이용해 다양한 서비스가 만들어졌습니다. (좌: 부스트캠프 웹모바일 과정 네트워킹 데이 발표 / 우 : 포텐데이 with 클로바 스튜디오 해커톤 오프라인 모임) 다양한 참가자 반응으로 가득했던 그룹 프로젝트를 통해 어떤 산출물들이 나왔을까요? 클로바 스튜디오로 만든 AI 서비스, 프로젝트 우수작을 소개합니다. ※ 대부분 정식 서비스화 이전 단계로, 일부 서비스는 접속 시점에 따라 불안정 할 수 있습니다. 티키타카 성공적인 면접 준비를 위한 AI 시뮬레이션 면접 코칭 서비스입니다. 지원 기업의 직무 기술서(JD)와 이력서만 있으면 나에게 딱 맞는 예상 질문을 받고, 답변에 대한 면접관의 속마음도 미리 알아볼 수 있습니다. 👉 티키타카와 함께 면접 준비하기 : https://www.tikitaka.chat/ Git Challenge Git 관련 이슈 사항을 실제 상황처럼 경험하고 해결 방법을 학습할 수 있는 서비스입니다. 👉 Git Challenge 시작하기 : https://git-challenge.com/ 🔎 깃헙 : 바로가기 💚 클로바 스튜디오 사용 후기 : 바로가기 블룸 (Bloom) 어려운 결혼식 축사 작성을 도와주는 AI 축사 생성 서비스입니다. 클로바 스튜디오의 문장 생성 기능을 활용하여 신랑/신부와의 관계, 추억, 길이 등 9개 문항만 입력만 하면 조건에 맞는 축사를 생성해 줍니다. 👉 AI 축사 생성 실력 보기 : https://bloom-wedding.netlify.app/ 🎥 시연 영상 : 바로가기 크리스마스 카드 만들기 매번 비슷한 크리스마스 카드 문구는 지겹고, 어떻게 써야 될지 어렵다면. 클로바 스튜디오 문장 생성 기능을 활용하여 신선한 크리스마스 카드를 만들어 줍니다. 👉 크리스마스 카드 만들기 : https://x-mas-card-generator.vercel.app/ otte (오떼?) 밝은 날에는 활기찬 콘텐츠, 어두운 날엔 위로의 힐링 콘텐츠. 나의 무드에 맞는 OTT 콘텐츠를 맞춤형으로 추천해 주는 서비스. 👉 맞춤형 OTT 콘텐츠 추천 받기 : https://www.otte-ai.com/onboarding 🎥 시연 영상 : 바로가기 마법의 소라고둥 매력적인 애니메이션과 함께 즐기는 실시간 AI 화상 타로 상담 서비스입니다. 👉 AI에게 타로 보기 : https://web09-magicconch.pages.dev/ 🔎 깃헙 : 바로가기 OpenList, 오리 AI가 추천해 주는 체크리스트를 뽑아 친구들과 함께 편집할 수 있는 서비스입니다. 👉 AI와 함께 체크리스트 만들기 : https://openlist.kro.kr/ 🔎 깃헙 : 바로가기 AlgoITNI 동료들과 함께 실시간으로 알고리즘을 학습할 수 있는 플랫폼입니다. 클로바 스튜디오의 대화(챗봇) 기능을 활용하여 알고리즘 관련 질문에 빠른 답변을 받을 수 있습니다. 👉 동료/친구들과 알고리즘 학습하기 : https://algoitni.site/ 🔎 깃헙 : 바로가기 💚 클로바스튜디오 사용 후기 : 바로가기 GBS 스트리머는 OBS로 실시간 방송을 송출하고, 시청자는 방송을 보며 사람들과 실시간 소통하는 인터넷 방송 플랫폼입니다. 클로바 스튜디오의 문장 변환 기능을 활용하여 채팅에 올라오는 비속어를 순화하였습니다. 👉 실시간 방송 시작하기 : https://gbs-live.site/ 🔎 깃헙 : 바로가기 그 외 더욱 많은 사례가 궁금하다면? 아래 링크를 지금 바로 클릭해 보세요! 👉 포텐데이 with 클로바 스튜디오 완성작 전체 보기 (33개) 비슷한 그룹 프로젝트를 진행해 보고 싶다면 아래 메일 주소로 문의 부탁 드립니다. 네이버클라우드 예비 개발자 지원 프로그램 Green Developers 운영팀에서 확인 후 연락 드리겠습니다. 👉 greendevelopers@navercorp.com

안녕하세요, @오디에스오님, 클로바 스튜디오 담당입니다. 저장된 프롬프트는 내 작업에서 확인하실 수 있으며, 호출 이력은 직접 관리가 필요합니다. 호출 이력은, 서비스 오류, 운영 관리를 위한 목적으로 활용되며, 별도로 전달드리지 않는 점 참고 부탁드립니다. 감사합니다.

@Didim365님, HCX-003 모델의 context length는 4096이기 때문에, 2048로 요청하면 정상적으로 출력 되는 것입니다. 하지만 이 경우에도 인풋에 hello가 아닌, 아주 긴 텍스트 입력이 있다면, 인풋과 아웃풋의 합이 4096에 도달할 것이기 때문에 출력이 되지 않을 것입니다. 작업 유형에 따라 모델이 출력하는 길이가 달라집니다.

안녕하세요, @Didim365님, HCX-002에서 정상적으로 response를 받으셨다는 내용에 대해서, 자세히 input/output을 봐야지 알 것 같으나, HCX-002 모델과 HCX-003 모델은 동일한 context length인 4096 토큰입니다. 입력과 출력을 합쳐서 4096 토큰이기 때문에, maxTokens를 4096 토큰으로 설정 후 요청을 하시면, Text too long 응답을 받게 됩니다. System prompt, input과 적절한 output 길이를 고려하시어, maxTokens를 줄인 후 요청을 부탁드립니다. 감사합니다.

안녕하세요, @menin님, 헤더 영역에 Accept: text/event-stream 를 넣으셨다면, 스트리밍 방식으로 출력합니다. 해당 내용을 제거 후 요청하시면 됩니다. 하지만 정상적인 스트리밍을 위해서는 clovastudio.stream.ntruss.com URL을 이용 부탁드립니다. 감사합니다.

안녕하세요, @ㅇㅇㅇ님, 어제 저녁 배포가 완료되어, 이제 HCX-003 모델을 정상적으로 이용하실 수 있습니다. HCX-003 모델은 이전 모델에 비해 시스템 프롬프트 지시를 더욱 잘 따르고 문장을 생성하는 능력이 향상되었습니다. 많은 이용 부탁드립니다. 감사합니다.