LLMのトークナイザーを学ぶ本は、仕組みの理解から実装まで内容がさまざまで、どれを選ぶか迷いますよね。
本によって、トークン化アルゴリズムの理解を深めるものや、BPEトークナイザーの実装まで扱うものがあります。
今回は、トークナイザーやLLMの仕組みを学べる3冊をご紹介します。
おすすめ商品の早見表
| 商品名 | トークナイザー関連の内容 |
|---|---|
| ゼロから作るDeep Learning ❻ ―LLM編 | 文字単位・バイト単位のトークン化、BPEトークナイザーの実装と学習改善 |
| トークン超入門 — LLM の「単位」を腑に落とす | サブワード、BPE、トークン化アルゴリズム、トークンの計測 |
| Grokking LLMs: Build Your Own LLM from Scratch | 32,000トークンのbyte-level BPE、フランス語のトークン化 |
ゼロから作るDeep Learning ❻ ―LLM編
トークナイザーの仕組みだけでなく、LLMを支える技術を実装しながら学びたい人には、『ゼロから作るDeep Learning ❻ ―LLM編』がおすすめです。文字単位・バイト単位のトークン化からBPEトークナイザーの実装まで扱い、応用編ではBPE学習の重複除去や部分更新、大規模データへの対応も取り上げています。
トークン超入門 — LLM の「単位」を腑に落とす
トークンの基礎から、LLMでの使われ方や計測まで知りたい人には、『トークン超入門 — LLM の「単位」を腑に落とす』がおすすめです。本書はサブワードやBPE、コンテキストウィンドウを取り上げ、トークン化アルゴリズムやトークンの数え方、計測も扱います。
Grokking LLMs: Build Your Own LLM from Scratch
PyTorchでLLMを一から組み立て、トークナイザーの学習から試したい人には、『Grokking LLMs: Build Your Own LLM from Scratch』がおすすめです。本書では、フランス語・英語のバイリンガルGPTを作りながら、32,000トークンのbyte-level BPEトークナイザーを学びます。アクセント記号やアポストロフィ、œを扱う内容も含まれ、トークン化の考え方からエンコード、フランス語の処理へと進みます。
参照モデルは、コンシューマー向けGPUまたは無料のクラウドノートブックで学習する想定になっています。購入時点で完成済みの本を読みたい人は、65%完成という進捗も選ぶ際のポイントになります。
学びたい内容に合わせて選ぶ
- トークンの基礎や計測まで知りたい人
- BPEトークナイザーを実装しながら学びたい人
- PyTorchでフランス語・英語のバイリンガルGPTを一から構築したい人
Print・PDF・EPUBから選べる
紙の本を手元に置きたいか、電子書籍形式で読みたいかも購入時の選択点です。『ゼロから作るDeep Learning ❻ ―LLM編』はPrint、PDF、EPUBの形式が掲載されているため、希望する形式を選べます。
Amazon の PC をスコア化してみた
Amazonにある8〜14インチの小型WindowsタブレットやノートPCを、スペック別にスコア化して比較・ランキング。
