nexusai

안녕하세요. 넥서스AI입니다. StreamingResponse의 마지막 청크로부터 in/out token과output text를 잘 사용중입니다. 그런데 간헐적으로 마지막 청크가 오지 않는 현상이 있습니다. 지금까지 추적된 해당 에러의 요청시간은 2024-03-22 14:59:46.070(Streaming 시작 추정 시각)~ 2024-03-22 14:59:51.514(Streaming 종료 추정 시각) 사이입니다. (한국시간 기준) API key등 세부 내용이 필요하실 경우 jungsea@nexusai.kr 로 연락 부탁드립니다.

HCX-003 엔진도 기존에 HCX-002를 제공하셨듯이 테스트앱, 서비스앱별 엔드포인트 생성하는 방식으로 제공될 예정이실까요? API 데이터 I/O 변경예정 내역도 모델 신규오픈 전 사전 공유 가능하실지 문의 드립니다.

임베딩 테스트앱 API 과는 별개입니다. 플레이그라운드에서 생성한 채팅 API에 대해 요청드립니다. 사용자로부터 질문(req.message 라고 하겠습니다.)이 들어오면, 해당 텍스트에 대해 다각적인 분석을 위해 /HCX-002 uri에 서로 다른 프롬프트를 넣어 여러 번 호출합니다. 예를 들면 아래와 같은 내용입니다. - 이 사람은 지금 밥을 먹고 싶니? 아래의 질문을 읽고 Yes or No로 답변해줘.\n{req.message} - 이 사람이 원하는 음료가 있니? 아래의 질문을 읽고 ["음료명","ice/hot여부"] 형태로 답변해줘.\n{req.message} - 이 사람과 함께 있는 사람은 누구고, 어떤 상황이니? 아래의 질문을 읽고 JSON 형태로 답변해줘.\n{req.message} 이 프롬프트를 세 번 직렬로 호출할 수도 있지만 asyncio 를 이용해 병렬로 호출하려 하고 있습니다. 각 내용에 대해 답변이 도착하면, /HCX-002 uri를 스트리밍 모드로 다음과 같이 호출합니다. - 너는 친절한 음식점 직원이야. 이 사람은 식당 손님인데, 너에게 문의를 하고 있어. 뭐라고 대답을 할까? 이 정보들을 참고해서 대답해줘. {{위에서 만들어온 HCX응답}}\n\n[질문] {req.message}\n\n[답변] 현재는 여러 테스트앱을 발급받아 1초에 1건만 호출되도록 롤링하는 소스를 이용하고 있습니다. 그런데 저희 상용서비스 오픈 직전이라 변인을 최소화한 테스트를 준비중인데, 상용서비스에는 서비스앱 API가 붙어야 하니 이 롤링 관련 소스가 빠지는 등 변인이 많아져 환경셋팅에 어려움이 있습니다. 따라서 정리드리면.. 내부적인 프로세스가 많아 자세히 말씀드리기는 어려우나 정상 테스트를 위해 필요한 최소 QPS는 현재까지는 5입니다.

안녕하세요. 현재 테스트앱이 초당 1번만 호출할 수 있어서, RAG및 서비스 품질향상을 위해 체이닝하는 과정에서 병렬처리가 전혀 불가능한 상황입니다. 정상적인 기능에 의한 부하테스트를 하여야 서비스앱 신청시에도 최대한 근사치로 말씀드릴 수 있을 것 같습니다. QPS를 크게 늘려주실 필요도 없고 초당 5건으로만으로라도 늘려주시면 개발 공수 절약에 큰 도움이 될 것 같습니다.

프롬프트 보완하여 해당 현상 이제 재현되지 않는걸로 확인했습니다. 도움 주셔서 감사합니다.

temperature 0.5를 주었을 때 위와같이 "맥락상 완전한 딴소리" 가 출력되었습니다. 이상답변이라는 표현은 과한 것 같고.. temperature가 예민하다... 정도로 이해하면 될까요?

안녕하세요. """음주운전을 했는데 제 처벌이 어떻게 될까요""" 라는 질문을 주입한 Prompt로 테스트를 진행하다가 전혀 다른 맥락의 질문이 출력되어 문의드립니다. (Prompt engineering 내용에는 문제가 없습니다.) 현재는 재현되지 않고, 이전에도 이런 적이 없었는데, 2023년 11월 23일 17시 경 테스트 한 내용 중에는 이 질문의 답변으로 다음과 같은 내용이 왔었습니다. 원인이 무엇일까요? 앞으로도 재현가능성이 있을까요? [답변 1] : 1. 점유이탈물횡령죄 성립 여부 먼저, 타인이 분실한 물건을 주인에게 돌려주지 않고 임의로 처분하면 점유이탈물횡령죄가 성립됩니다. 이 경우 1년 이하의 징역 또는 300만원 이하의 벌금 혹은 과료가 부과될 수 있습니다. 2. 공동정범 성립 여부 또한, 두 명 이상이 범죄를 공모하여 실행하였을 경우 공동정범이 성립되며, 이로 인해 가중 처벌 받을 수 있습니다. 따라서 현재로서는 위의 죄명으로 처벌받게 될 가능성이 높습니다. 3. 사기죄 성립 여부 만약 지인이 실제로 합의금을 받아놓고 이를 피해자에게 전달하지 않았다면 형법 제347조에 따라 사기죄가 성립될 수 있습니다. 또한, 기망행위로서 재산상의 이익을 취득했다면 10년 이하의 징역 또는 2천만원 이하의 벌금이 부과될 수 있습니다. 4. 대처 방안 현재 상황에서는 먼저 수사기관에 출두하여 자신의 혐의를 인정하고 반성하는 태도를 보이는 것이 좋습니다. 또한, 피해자와의 합의를 시도하며 적절한 금액을 제시하는 것이 중요합니다. 만약 혼자서 대응하기 어렵다면 변호사의 도움을 받는 것도 좋은 방법입니다. 5. 추가 문의사항 더 자세한 자문이 필요하다면 언제든지 문의해주세요. 최대한 도움을 드리겠습니다. [답변 2] : 먼저, 타인의 물건을 습득한 후 주인에게 돌려주지 않고 매각하려고 한 행위는 점유이탈물횡령죄에 해당할 수 있습니다. 점유이탈물횡령죄는 1년 이하의 징역 또는 300만원 이하의 벌금에 처해질 수 있으며, 범죄행위로서 전과기록이 남을 수 있습니다. 또한, 위증죄는 법정에서 증인이 허위 진술을 하는 경우에 성립하는 범죄이며, 5년 이하의 징역 또는 1천만원 이하의 벌금에 처해질 수 있습니다. 따라서, 사실확인서를 작성할 때에는 사실 그대로 작성하여야 하며, 거짓으로 작성하여서는 안됩니다. 만약 지인이 실제로 합의금을 전달하지 않았다면, 이는 사기죄에 해당할 수 있습니다. 사기죄는 사람을 기망하여 재물을 교부받거나 재산상의 이익을 취득하는 경우에 성립하는 범죄이며, 10년 이하의 징역 또는 2천만원 이하의 벌금에 처해질 수 있습니다. 따라서, 지인이 합의금을 전달하지 않았다면 이를 경찰에 신고하시고, 수사를 통해 진실을 밝혀내는 것이 중요합니다. 또한, 만약 지인이 위증죄나 사기죄 등의 범죄를 저질렀다면, 이에 대한 책임을 지게 될 수 있습니다. 마지막으로, 본인이 사건 관계자가 아니더라도 고소장 제출 시 필요한 정보를 알고 있다면 얼마든지 민원 접수실 방문 혹은 인터넷 사이트를 통해 문의하실 수 있습니다. 더 자세한 조언이 필요하시다면 직접 변호사와 상담하시는 것을 추천드립니다.

만일 그렇다면 1초에 1번만 호출할 수 있나요?

안녕하세요. 서비스 앱 신청 대상은 플레이그라운드, 튜닝, 스킬트레이너만 해당된다는 공지를 확인하였고(https://clovastudio.ncloud.com/service-application/form), 따라서 https://clovastudio.ncloud.com/explorer/tools 여기에 있는 도구들은 서비스 앱 신청 대상이 아닌 것을 확인했습니다. 그렇다면 여기에서 발행하는 '테스트앱' 은 사실상 서비스앱과 같은 정식 엔드포인트인가요? '테스트앱 발급' 기능으로 생성한 엔드포인트를 상용 서비스에 사용해도 되나요? 현재 우선적으로 검토해야 하는 API는 다음의 두 가지입니다. https://clovastudio.ncloud.com/explorer/tools/embedding https://clovastudio.ncloud.com/explorer/tools/chat-tokenizer

https://www.ncloud.com/support/question/service 여기에도 문의 남겼습니다.

네, 늘 동일한 에러가 발생합니다. 원하는 시간대에 언제나 재현할 수 있습니다. 일단 방금 또 남겨드렸습니다. (2023-11-21 14:51:13 KST)

안녕하세요. 일반적인 에러면 토큰 형태로, event:error 로 오는데, QPM보다 많이 요청해서 오는 에러는 {"status":{"code":"50000","message":"일시적으로 서비스 이용이 원활하지 않습니다. 잠시 후 다시 시도해주세요."}} 로 옵니다. 서비스앱에서도 이런 식으로 에러 형태가 두 가지 다 올 예정일까요? 아니면 둘 중 하나로 통합되나요?

QPM을 60건으로 답변주셨던 것으로 알고 있는데, 10건만에 이런 에러가 발생하고 있어서 의아합니다. 초당 1번으로 답변 주셨군요. 감사합니다.

테스트앱을 생성하고 서버를 만들어 부하테스트를 진행중입니다. 동시에 10건을 던지면 10건 중 9건에서 {"status":{"code":"50000","message":"일시적으로 서비스 이용이 원활하지 않습니다. 잠시 후 다시 시도해주세요."}} 가 리턴됩니다. 테스트앱만의 문제이고 실 서비스앱을 생성후 진행하면 해당 에러는 발생을 안하는게 맞을까요?

제 경험상 이 에러는 하이퍼클로바 챗모델에 너무 많은 글자가 들어가서 나는 에러입니다. 페이지 기본값이 궁금하네요 기본값이 10보다 작은 상황이라고 가정하면, pagesize=10 은 동작을 안하고 pageSize=10 만 동작한 게 아닐까요? pageSize=10 을 추가하면서 데이터량이 많아져서 토큰 넘치는 게 아닐까요? 만약 그렇다면 10말고 작은 값을 주면 같은 오류가 안날 것 같습니다