Jump to content

시나리오 스킬데이터 저장 오류


jaeylim

Recommended Posts

Step 2-2 의 `액션입력` 에서 API 파라미터에 `pageSize=10` 추가하면 아래와 같은 오류가 발생합니다.

`pagesize=10` 라고 추가하면 오류가 발생하지 않습니다.

```

400 message.Input validation error. `inputs` tokens + `max_new_tokens` must be <= 4096. Given. 15316 `inputs` tokens and 512 `max_new_tokens` url.https.//hyperclova-api.inference.clops.naverncp.com/v1/sync-predict/madrid/v1/completions

```

image.png

링크 복사
다른 사이트에 공유하기

제 경험상 이 에러는 하이퍼클로바 챗모델에 너무 많은 글자가 들어가서 나는 에러입니다.

페이지 기본값이 궁금하네요

기본값이 10보다 작은 상황이라고 가정하면, pagesize=10 은 동작을 안하고 pageSize=10 만 동작한 게 아닐까요?

pageSize=10 을 추가하면서 데이터량이 많아져서 토큰 넘치는 게 아닐까요?

만약 그렇다면 10말고 작은 값을 주면 같은 오류가 안날 것 같습니다

링크 복사
다른 사이트에 공유하기

안녕하세요, @jaeylim님.

공유주신 화면을 보니, 토큰 수 초과 에러가 발생한 것으로 보입니다.

앞서 @nexusai님께서 말씀주신 것과 같이, API spec에서 정의된 파라미터가 pagesize가 아닌 pageSize였다면 (1) 액션입력에 pagesize으로 했을 때 호출이 올바르게 작동되지 않았던 것이고 (2) pageSize로 했을 때는 호출이 올바르게 작동되었으나 응답이 너무 길어서 토큰 수 초과 에러가 발생한 것 같습니다. 

참고로 시나리오 토큰 수는 총 4096으로 제한되어 있습니다. 따라서 우선 pageSize를 줄여서 테스트 해보시는 것을 제안드립니다. 

추가적인 문의가 있으시다면 언제든지 남겨주세요.

감사합니다.

 

링크 복사
다른 사이트에 공유하기

게시글 및 댓글을 작성하려면 로그인 해주세요.



로그인
×
×
  • Create New...