トークンとは？文字数制限と料金の関係をわかりやすく解説

結論

トークンとは、AIがテキストを処理するときの最小単位のことです。英語の単語をいくつかに分割した断片で、日本語では1文字が1〜2トークン程度になります。生成AIを使うとき、コンテキストウィンドウの上限も、APIの料金も、すべてトークン数を基準に計算されます。

業務で生成AIを使うビジネスパーソンが「トークン」を知っておくべき理由は、文字数制限の感覚とズレがあるからです。「1,000字の文章を渡したら上限を超えた」という状況は、トークンの仕組みを知らないと起きやすい問題です。

---

トークンとは何か

テキストを人間が読むとき、私たちは文字や単語を意味のまとまりとして処理します。AIはそれとは少し違う単位でテキストを分解します。その単位がトークンです。

トークンは言語モデルが学習するときの基本要素でもあります。英語では「playing」を「play」と「ing」に分けるように、単語をさらに細かい断片に切り分けることがあります。日本語の場合、漢字1文字が1トークン、ひらがな・カタカナは複数文字をまとめて1トークンにすることもあれば、1文字ずつ分けることもあります。

どのように分割されるかはモデルごとに異なります。このテキスト分割の方式はトークナイザーと呼ばれ、同じ文章でもモデルによってトークン数が変わります。OpenAIはトークン数を確かめるためのツールをウェブ上で公開しています。正確な数字を知りたいときはそちらで確認してほしいです。

日本語のトークン数の目安

テキストの種類	目安
英語の単語1つ	1〜2トークン
日本語の漢字1文字	1〜2トークン
日本語の100文字	約150〜250トークン
A4用紙1枚分の日本語文書（約800字）	約1,200〜2,000トークン

日本語は英語より文字あたりのトークン数が多くなりやすい傾向があります。英語で100トークンで済む内容が、日本語では150〜200トークンになることも珍しくありません。料金やコンテキスト上限を考えるとき、日本語は英語より消費が大きいと覚えておくと判断がしやすいです。

---

コンテキストウィンドウとトークンの関係

生成AIには、一度に扱えるテキストの上限があります。この上限がコンテキストウィンドウで、単位はトークン数で表されます。

たとえば「128,000トークンのコンテキストウィンドウ」というモデルは、一度の会話や処理に最大128,000トークン分のテキストを扱えます。日本語換算で50,000〜80,000字程度が目安です。長編の資料や長い会話履歴もこの中に収まります。

コンテキストウィンドウの上限を超えるとどうなるかは、ツールや設定によって異なります。多いのは次の2パターンです。

古い会話が切り捨てられる：チャット形式のツールで長い会話を続けると、最初のほうのやり取りが窓から溢れ出し、AIが参照できなくなります。長い会話でAIが「最初に説明した前提を忘れている」ように見えるのは、これが原因です。

エラーになる：APIを直接使うシステムでは、上限を超えるとエラーが返ることがあります。長い文書を一括で処理するシステムを作るときは、ファイルをチャンクに分割する設計が必要になります。

コンテキストウィンドウの詳しい扱い方はコンテキストウィンドウとは？長文を扱うコツで解説しています。

---

料金とトークンの関係

APIを使って生成AIを呼び出す場合、料金はトークン数で計算されます。入力と出力のそれぞれに単価が設定されており、使ったトークン分だけ課金されます。

一般的な料金体系のイメージは次のとおりです。

項目	説明
入力トークン単価	AIに渡したテキストのトークン数 × 単価
出力トークン単価	AIが返したテキストのトークン数 × 単価（多くの場合、入力より高め）
キャッシュ機能	同じプロンプトを繰り返すときに割引が適用されるモデルもある

具体的な単価はモデルや時期によって大きく変わります。高性能なモデルほど単価が上がり、小型のモデルほど安価な傾向があります。最新の料金は各社の公式で確認してほしいです。

ChatGPTなどのチャットサービスの月額プランは、料金がトークン単位ではなく月額定額です。ただしこの場合でも、1回の入力や1日の利用量に上限がある場合があります。

APIと月額プランの違い

方式	課金の仕組み	向いている用途
APIのトークン課金	使った分だけ後払い	開発・システム組み込み
月額定額プラン	月額固定	個人の日常利用・小規模チーム

料金の全体像は生成AIの料金の基礎 無料と有料プランの違いでまとめています。

---

日常業務でのトークンの影響

コードを書かず、チャット形式で使うだけの人でも、トークンを意識すると次の場面で役立ちます。

長い資料の扱い

100ページのPDFをそのままAIに渡すのは難しいことがあります。コンテキストウィンドウに収まらないか、収まっても処理が重くなることがあるためです。実際の業務では、必要な章だけを切り出して渡す、要約してから渡すといった工夫が効果的です。

会議の文字起こしは1時間分で15,000〜30,000字になることがあります。日本語で25,000トークン前後です。多くの最新モデルは問題なく処理できますが、古いモデルや小型モデルを使う場合は注意が必要です。

長い会話でのズレ

チャット形式で何度もやり取りを続けると、最初に設定した前提がコンテキストウィンドウから外れる場合があります。「最初に言ったことを無視された」という経験をした人は、これが起きていた可能性があります。

対策は、重要な前提を会話の途中で再確認することです。「この会話の前提として、ターゲットは20代の社会人です」と途中で挿入するだけで、AIが前提を取り直せます。

プロンプトの長さと精度のバランス

情報を細かく伝えるほど精度が上がりますが、プロンプトが長くなるとトークン消費が増えます。API課金の場合はコストにも影響します。

バランスの取り方として、「必要な情報を箇条書きで渡す」「不要な前置きをなくす」「資料全体でなく関係する部分だけを貼る」の3つが実践しやすいです。

プロンプトの書き方についてはプロンプトの書き方で具体例とともに解説しています。

---

トークン数を確認する方法

実際に何トークン使っているかを確かめたい場合、いくつかの方法があります。

OpenAIのTokenizer：OpenAIが公開しているウェブツールにテキストを貼り付けると、トークン数がすぐ分かります。GPT系モデルを使うときの目安として便利です。

APIのレスポンス：APIを使っている場合、レスポンスの中に入力・出力それぞれのトークン数が含まれます。この数値を記録すると、コスト管理に使えます。

チャットツールの表示機能：一部のツールは、会話のトークン使用量を画面上で確認できる機能を持っています。使っているツールの設定画面を探してみてください。

---

トークンに関してよくある誤解

「文字数とトークン数は同じ」：これは誤りです。日本語は1文字が1〜2トークンになることが多く、同じ内容でも言語によってトークン数が変わります。英語の資料と日本語の資料では、同じ内容量でも消費トークン数が異なります。

「コンテキストが大きいほど常に良い」：コンテキストウィンドウが大きいモデルは長い文書を扱えますが、処理時間が長くなったり、単価が高かったりします。用途に合ったサイズを選ぶほうが費用対効果が出ます。

「長く書けば答えが良くなる」：プロンプトを長くすることと、精度が上がることは必ずしも一致しません。必要な情報を簡潔に渡すほうが、余計な情報に引っ張られず的確な答えが返ることがあります。

---

業務で押さえる3つのポイント

トークンについて業務で必要な知識を3点にまとめます。

1. 日本語は英語より多くのトークンを使う：同じ情報量でも、日本語は英語の1.5〜2倍のトークンを消費しやすいです。APIコストを見積もるときや、コンテキスト上限を判断するときにこの差を意識してください。

2. 長い会話では前提が消えることがある：長い会話の途中で、最初に設定した条件が参照できなくなる場合があります。重要な前提は、適宜改めて伝え直すと品質が安定します。

3. API利用時はトークン数でコスト管理をする：開発や大量処理でAPIを使う場合は、入力と出力それぞれのトークン数をモニタリングすることでコストを把握できます。同じ処理を繰り返す場合はキャッシュ機能の活用も有効です。

---

まとめ

トークンとはAIがテキストを処理する最小単位で、日本語1文字あたり1〜2トークン程度です。コンテキストウィンドウの上限もAPI料金も、この単位で計算されます。

チャット形式で使う場合でも、長い会話で前提が失われるのはトークン上限が原因です。資料を渡すときにサイズを絞る、プロンプトを簡潔にする、という工夫でトークン消費を抑えつつ精度を上げることができます。APIを使う場合は、入力・出力それぞれのトークン単価と使用量を把握して、コストと精度のバランスを取ることが重要です。