토큰
Token
다른 표기: 토크나이저
모델이 글을 다루는 최소 조각. 낱말보다 작을 수도, 클 수도 있습니다.
영어는 대체로 한 낱말이 한두 토큰이고, 한국어는 조사와 어미 때문에 더 잘게 쪼개지는 편입니다. 같은 뜻을 적어도 언어에 따라 토큰 수가 달라집니다.
요금과 한도가 토큰 단위로 매겨집니다. 길이를 줄이는 일이 곧 비용을 줄이는 일이 되는 이유입니다.
모델이 긴 글을 한 번에 다룰 수 있는 한도를 문맥 창이라고 하고, 이것도 토큰 수로 셉니다.
- 문맥 창한 번에 볼 수 있는 토큰 수입니다.
- 한국어같은 내용이라도 영어보다 토큰이 더 들 수 있습니다.