#トークン

3件の記事

プロンプト技術

AIが一度に読める情報量には上限がある。長い文書を処理させるときに情報が薄まる問題を、要点の冒頭提示・チャンク分割・重要情報の繰り返し参照・要約してから渡す4つの手法で解決する。

生成AIの基礎

AIにおけるトークンとは、テキストを処理する最小単位です。日本語1文字は約1〜2トークン相当。コンテキスト上限・API料金の計算基準になるため、業務で生成AIを使うなら必ず押さえておきたい概念です。

生成AIの基礎

コンテキストウィンドウとは、AIが一度に参照できるテキストの上限です。サイズはトークン数で表され、上限を超えると情報が失われます。業務で長い資料や会話を扱うための実践的な対処法を解説します。