CLOVA Studio 운영자

안녕하세요, @HTGD님, 클로바 스튜디오 담당입니다. 데이터셋과 관련한 오류로 보입니다. 자세한 원인 파악을 위해 해당 작업을 진행하신 아이디와 함께 아래 링크를 통해 문의 접수 부탁드립니다. https://www.ncloud.com/support/question/service 감사합니다.

안녕하세요, @김재복님, 클로바 스튜디오 담당입니다. 클로바 스튜디오를 이용해주셔서 감사드립니다. 요청하신 HTTP status code 를 살펴본 결과, JSON 형태로 보내지 않으신 것 같습니다. Header 에 Content-Type 을 application/json 으로 지정하시고, 스펙에 안내되어 있는 형태로 Request 부탁 드리겠습니다. 확인부탁드리며 추가적인 문의가 있으실 경우 코멘트 부탁드립니다. 감사합니다.

안녕하세요, @beans 님, 현재 튜닝 작업에 대해서는 삭제 기능을 제공하지 않고 있는데요. 내부적으로 검토해보겠습니다. 좋은 의견 주셔서 감사합니다.

안녕하세요, @NERD 님, 클로바 스튜디오 담당입니다. 1. 현재 튜닝된 모델에 추가 학습하는 기능은 지원하지 않고 있습니다. 추가 학습이 필요한 경우 재학습을 부탁드립니다. 2. 보유하고 계신 데이터를 가지고 학습을 통해 만든 모델은, 해당 데이터에 최적화된 고유한 ID의 모델입니다. 저희가 튜닝 과정에서 제공하는 베이스 모델의 데이터 자체가 변경되는 경우는 없으며, 변경이 되는 경우 다른 이름의 모델로 새로 추가가 될 예정입니다. 또한 다른 외부의 다른 데이터가 튜닝하신 모델 작업에 간섭하지 않습니다. 감사합니다.

안녕하세요 @테라리움님, 정확히는 작업하신 프롬프트를 봐야겠으나, 첨부해주신 이미지를 살펴보니 stopBefore가 ""로 비어있어서 생성이 되지 않은 듯 합니다. 프롬프트에서 ### 등으로 예제 구분을 하셨다면, stopBefore에도 ### 입력 후 다시 시도를 부탁드립니다. 감사합니다.

안녕하세요, @국어영역님, 클로바 스튜디오 담당입니다. 튜닝 관련 가이드 페이지를 안내 드립니다. 내용 참고하셔서 원하시는 목적에 맞게 데이터셋 구성하시고 튜닝을 시도해보시기 바랍니다. https://guide.ncloud-docs.com/docs/clovastudio-tuning01 감사합니다.

안녕하세요! 오랜만에 올리는 포스팅이네요. ChatGPT가 전 세계에 돌풍을 일으키고 있는 요즘입니다. 저는 오늘 여러분께, 새로운 프롬프트 스킬을 소개하려고 합니다. 그동안 대규모 언어모델(LLM)은 산술 문제나 상식을 추론하는 능력이 떨어진다고 알려져 왔는데요. 작년 경 'Chain-of-Thought Prompting Elicits Reasoning in Large Language Models'라는 논문을 게재했는데, 이것이 언어모델의 성능을 크게 향상했다고 합니다. (논문 링크) 바로 Chain-of-Thought(CoT)인데요. 문제의 인과 관계에 대해서 차근차근 풀어서 전개하다 보면, 정답에 더 잘 도달할 수 있다는 개념입니다 ‘문제-답’ 대신에 ‘문제-풀이-답’ 형태로 프롬프트를 구성하는 것이죠. 그럼 지금부터 여러분께 CoT 프롬프트 스킬을 소개해 드리겠습니다. 예를 들면, 이런 방식이에요. ▼ 문제의 답을 단답형으로 구성한 기존의 프롬프트는 좌측처럼 오답을 내었습니다. 하지만 우측처럼 문제를 풀이하는 과정을 예제로 넣었더니, 정답으로 귀결되었습니다. 아마도 LLM의 특징을 잘 이해한 스킬이 아닐까요? LLM은 시퀀스 기반으로 빈칸 채우듯이 문장을 생성하는 특징이 있다보니, 이러한 특징을 살려서 중간 과정을 단계별로 풀이했을 때, 그 성능이 좋아진 것이 아니었을까 생각이 듭니다. ▼ 논문에 소개된 다양한 예제입니다. 산수(arithmetic)뿐만 아니라, 일반 상식(common sense), 기호 추론(symbolic reasoning)으로도 테스트 했다고 합니다. ▼ 아래와 같이 성능이 크게 향상되었다고 해요. 이 스킬을 하이퍼클로바 언어 모델에 적용해도 효과적일까요? 결론부터 말씀드리면, “효과가 있다!” 입니다. 몇 가지 실험을 해보았습니다. (Temperature: 0.15~3.0) ▼ 단답 형태의 예제로 구성한 프롬프트는 오답을 내었습니다. ▲ 반면, 풀이 과정을 문장으로 풀어서 예제를 구성했더니, 정답이 나왔습니다. ▼ 더 난이도 있는 문제들로 테스트 했습니다. 기존 프롬프트는 오답이었는데, CoT 프롬프트는 정답이 출력되었습니다. ▼ 날짜를 가지고 추론하는 문제에서도 효과를 보았습니다. 이러한 경험들은 ChatGPT에서도 이어집니다. ▼ ChatGPT에서도 산수 문제를 단계별로 풀이하면서 정답을 내고 있습니다. 그리고 ‘step-by-step’으로 답을 하라고 명령하는 것도 효과적이에요. Chain-of-Thought prompting을 통해 예전에는 많이 부족하던 LLM의 계산 능력을 끌어올릴 수 있었습니다. 하지만 여전히 오답을 내는 경우도 있기 때문에, 수학은 언어 모델이 풀어야 할 영역 중 하나입니다. 그래도 이러한 시도들이 모여서 언젠가 '수학'도 잘하는 AI가 될 수 있겠죠? 다양한 예제가 있는 'Large Language Models are Zero-Shot Reasoners' (링크) 논문 링크를 추가로 소개 드리며, 오늘 글은 여기서 마치겠습니다!

안녕하세요, @wyatt님, 클로바 스튜디오 담당입니다. 좋은 의견 감사합니다. 내부 담당자에게도 전달드려 긍정적으로 검토해보겠습니다. 감사합니다.