トークン（Token）とは、AIが文章を処理しやすくするために、単語や文字を小さな単位に分けたものです。

たとえば、人間は「今日はいい天気ですね！」と普通に読めますが、AIはそのままでは理解できません。そこで、文章を「トークン」という単位に分けて処理します。

トークンの例

「今日はいい天気ですね！」をトークンに分けると…
→「今日」「は」「いい」「天気」「です」「ね」「！」（単語ごと）

トークンがAIで重要な理由

① AIはトークン単位で学習・処理する
AIは「文章全体」ではなく、「トークン」ごとに意味を理解しながら文章を作ります。

② トークン数が増えると、処理が重くなる
AIは「1回に使えるトークン数」に制限があるため、長すぎる文章は途中で切れることがある。

③ トークン数で料金が決まることが多い
ChatGPTなどのAIサービスは、「使ったトークンの数」で料金が決まることが多い。
短くて的確なプロンプトを作ると、トークンの無駄遣いを防げます。