jaeylim Posted November 14, 2023 공유하기 Posted November 14, 2023 Step 2-2 의 `액션입력` 에서 API 파라미터에 `pageSize=10` 추가하면 아래와 같은 오류가 발생합니다. `pagesize=10` 라고 추가하면 오류가 발생하지 않습니다. ``` 400 message.Input validation error. `inputs` tokens + `max_new_tokens` must be <= 4096. Given. 15316 `inputs` tokens and 512 `max_new_tokens` url.https.//hyperclova-api.inference.clops.naverncp.com/v1/sync-predict/madrid/v1/completions ``` 링크 복사 다른 사이트에 공유하기 More sharing options...
nexusai Posted November 14, 2023 공유하기 Posted November 14, 2023 제 경험상 이 에러는 하이퍼클로바 챗모델에 너무 많은 글자가 들어가서 나는 에러입니다. 페이지 기본값이 궁금하네요 기본값이 10보다 작은 상황이라고 가정하면, pagesize=10 은 동작을 안하고 pageSize=10 만 동작한 게 아닐까요? pageSize=10 을 추가하면서 데이터량이 많아져서 토큰 넘치는 게 아닐까요? 만약 그렇다면 10말고 작은 값을 주면 같은 오류가 안날 것 같습니다 링크 복사 다른 사이트에 공유하기 More sharing options...
CLOVA Studio 운영자6 Posted November 15, 2023 공유하기 Posted November 15, 2023 안녕하세요, @jaeylim님. 공유주신 화면을 보니, 토큰 수 초과 에러가 발생한 것으로 보입니다. 앞서 @nexusai님께서 말씀주신 것과 같이, API spec에서 정의된 파라미터가 pagesize가 아닌 pageSize였다면 (1) 액션입력에 pagesize으로 했을 때 호출이 올바르게 작동되지 않았던 것이고 (2) pageSize로 했을 때는 호출이 올바르게 작동되었으나 응답이 너무 길어서 토큰 수 초과 에러가 발생한 것 같습니다. 참고로 시나리오 토큰 수는 총 4096으로 제한되어 있습니다. 따라서 우선 pageSize를 줄여서 테스트 해보시는 것을 제안드립니다. 추가적인 문의가 있으시다면 언제든지 남겨주세요. 감사합니다. 링크 복사 다른 사이트에 공유하기 More sharing options...
Recommended Posts
게시글 및 댓글을 작성하려면 로그인 해주세요.
로그인