AI 토큰은 언어 모델이 글을 읽고 답을 만들 때 다루는 작은 단위다. 단어 하나가 토큰 하나가 되기도 하고, 긴 단어는 여러 조각으로 나뉠 수 있다. 마침표와 공백도 글을 나누는 방식에 영향을 준다. ai 토큰 뜻을 알아두면 같은 문장도 모델에 따라 토큰 수가 달라지는 이유를 이해할 수 있다. 질문을 보낼 때와 답변을 받을 때 각각 무엇을 세는지 간단한 예로 살펴보자.

ai 토큰 뜻, 문장은 어떻게 나뉠까?
AI는 입력된 글을 토크나이저라는 도구로 나눈다. 토크나이저는 모델이 사용하는 규칙에 따라 글을 나누고, 각 조각을 숫자 ID로 바꾼다. 단어 전체, 단어 일부, 기호가 토큰이 될 수 있다. 공백이 앞에 붙은 조각을 하나의 토큰으로 처리하는 경우도 있다.
예를 들어 OpenAI의 공개 예제에서는 같은 식 '2 + 2 = 4'가 r50k_base 방식으로는 5토큰, cl100k_base 방식으로는 7토큰이다. 첫 방식에서는 공백과 뒤의 숫자가 한 조각이 될 수 있고, 둘째 방식에서는 일부 공백이 따로 분리된다. 화면에 보이는 글자는 그대로여도 어떤 규칙을 쓰느냐에 따라 세는 결과가 달라진다.
한글도 글자 수와 토큰 수가 서로 다를 수 있다. 같은 문장이라도 띄어쓰기를 바꾸거나 기호를 붙이면 토큰이 나뉘는 위치가 달라질 수 있다. 정확한 개수가 궁금하다면 사용할 모델에 맞는 토크나이저에 문장을 넣어 확인한다.

입력 토큰과 출력 토큰은 무엇이 다를까?
모델에 보내는 내용은 입력 토큰, 모델이 생성하는 내용은 출력 토큰으로 센다. 예를 들어 '이 글을 한 문장으로 요약해 줘'라고 요청하면서 원문을 붙였다면 지시문과 원문이 입력에 들어간다. 모델이 만들어 낸 한 문장 요약은 출력에 해당한다.
| 구분 | 뜻 | 문서 요약 요청의 예 |
| 입력 토큰 | 모델에 제공하는 내용의 단위 | 요약해 달라는 지시와 원문 |
| 출력 토큰 | 모델이 생성하는 내용의 단위 | 모델이 작성한 요약문 |
ai 토큰 뜻을 실제 사용량에 적용할 때는 요청에 어떤 내용이 들어가는지 함께 살핀다. 서비스가 이전 대화 내용을 새 요청에 포함하면 그 내용도 입력에 잡힐 수 있다. 모델에 따라 화면에 표시되지 않는 내부 추론에 사용한 토큰도 출력 사용량에 포함될 수 있다.

토큰이 한도와 비용에 쓰이는 이유
모델이 한 요청에서 다룰 수 있는 길이와 생성할 수 있는 답변의 길이를 보통 토큰으로 표시한다. 한 번에 사용할 수 있는 범위를 컨텍스트 창이라고 부르며, 많은 모델에서 입력 내용과 답변에 필요한 공간을 함께 고려한다. 긴 문서를 넣을 때는 원문의 길이뿐 아니라 원하는 답변이 들어갈 여유도 살펴야 한다.
토큰으로 과금하는 API에서는 입력과 출력에 서로 다른 단가가 붙을 수 있다. API는 프로그램이 AI 모델에 요청을 보내고 답을 받는 통로다. 같은 원문을 넣더라도 한 문장만 받는 요청과 긴 해설을 받는 요청은 출력 사용량이 달라질 수 있다. 실제 요금을 계산할 때는 선택한 모델의 단가와 사용량을 함께 확인한다.
토큰 계산 도구와 입력·출력 사용량의 예시는 공식 도움말에서 확인할 수 있다. OpenAI 토큰 도움말 바로가기

마치면서
ai 토큰 뜻은 모델이 글을 처리할 때 사용하는 조각이라고 기억하면 된다. 질문과 첨부한 원문은 입력에, 모델이 만들어 내는 답변은 출력에 해당한다. 같은 글도 모델의 토큰 분리 규칙에 따라 개수가 달라질 수 있으니, 긴 글을 보내거나 API 비용을 가늠할 때는 사용할 모델 기준으로 토큰을 확인한다.
[안내드립니다] 토큰 분리 방식, 사용량 집계 및 과금 기준은 모델과 서비스에 따라 달라질 수 있습니다. 실제 사용량은 해당 서비스의 문서와 사용량 화면을 확인하시기 바랍니다.
'IT 인터넷' 카테고리의 다른 글
| cloudflare 뜻(웹사이트 연결, CDN과 DNS, 접속 확인) (0) | 2026.11.18 |
|---|---|
| max ai 해지 방법(영어 학습 계약, 브라우저 구독, 위약금) (0) | 2026.11.17 |
| 초격차 뜻, 얼마나 큰 차이를 말할까?(격차, 기술 경쟁력, 초격차 전략) (0) | 2026.11.17 |
| 백업 옵트 아웃이란? (자동 백업, 기존 복사본, 데이터 복원) (0) | 2026.11.17 |
| 서버 뜻, 웹페이지는 어떻게 열릴까?(클라이언트, 요청과 응답, 서버 종류) (0) | 2026.11.16 |