PR：この記事にはアフィリエイトリンクが含まれます。
強化学習の本を初心者向けに探すと、数式中心の理論書もPythonで実装する本も見つかります。どれから読むか迷いがちですが、仕組みを知りたいのか、コードを動かしたいのかで入口が決まります。
実装を目指すなら、状態を見て行動し、報酬をもとに次の方針を学ぶ流れを、小さな例で確かめられる本が役立ちます。最初からDQNへ進むより、バンディットや格子状の世界で更新の意味を知ると、学習が止まった箇所を見つけやすくなります。
今回取り上げる6冊は、平均や期待値から進む本、最適化の課題で学ぶ本、コードを自分で書く本と入口が異なります。Python経験や知りたい範囲に照らしながら、特徴を見ていきましょう。
早見表で全体像
6冊の違いは学習の入口に表れます。実装を始めやすい本もあれば、理論や応用を広く読む教科書もあり、ページ数も学習量の目安になります。
Pythonに慣れていない人向けに基礎から扱う本と、機械学習や数式の知識を使って読み進める本があります。自分の現在地と照らしやすいよう、価格も一覧にしました。
価格は税込みの希望小売価格を目安にしています。実売価格は時期や販売店によって変わるので、購入時に確認してください。
| 本 | 向いている人 | 参考価格（税込） |
|---|---|---|
 強化学習アルゴリズム入門 「平均」からはじめる基礎と応用 | 平均・期待値から方式を比べたい | 3,300円 |
 最適化のための強化学習 | Pythonの基礎から最適化課題を試したい | 3,520円 |
 ITエンジニアのための強化学習理論入門 | 数式とPythonで理論を体系的に追いたい | 3,278円 |
 ゼロから作るDeep Learning ❹ 強化学習編 | コードを動かして自分で実装したい | 3,960円 |
 Pythonで実践する 強化学習と転移学習 | シミュレーションや転移学習を試したい | 3,300円 |
 強化学習（第2版） | 幅広い理論を腰を据えて学びたい | 6,600円 |
平均から学ぶ
曽我部東馬著『強化学習アルゴリズム入門 「平均」からはじめる基礎と応用』は、2019年刊行、212ページです。平均や期待値から価値、探索、マルコフ性へ進みます。用語より先に考え方を理解したい人におすすめです。
多腕バンディットやグリッドワールドを共通の例題として、SARSAやQ学習などの特徴を比較します。同じ課題を使うため、式の違いがアルゴリズムの振る舞いにどう表れるか追いやすい構成です。
中核アルゴリズムのPython・MATLABコードが配布されます。関数近似や深層強化学習の原理も扱うので、複数の方式をコードで確かめながら学びたい人にすすめやすい一冊です。
数式を避けてすぐに環境を動かすことを最優先する人には、理論の説明が多く感じられるかもしれません。希望小売価格は税込3,300円。理論と実装のつながりを知りたい人に手に取りやすい価格です。
最適化を学ぶ
小林和博著、久保幹雄監修の『最適化のための強化学習』は、2024年9月刊行、204ページ。簡単な数学の知識を前提にしながら、Pythonの基礎を扱う章から始まります。強化学習もPythonも初歩という人にとって、学び始めやすい内容です。
マルコフ決定過程や価値関数、方策評価・反復を学び、モンテカルロ法、SARSA、Q学習へ進みます。用語を順に追うと、判断の仕組みも理解しやすくなります。
動的計画法の応用例には最短路問題が登場します。たとえば目的地までの移動なら、現在地を状態、次の移動を行動、到着までのコストを報酬として考えられます。最適化課題と強化学習のつながりを見たい人に合う一冊です。
希望小売価格は税込3,520円。2024年刊行で、今回の6冊では最も新しい本です。深層強化学習の広い実装より、基礎問題をPythonで解く入口を探している人におすすめします。
数式とコード
中井悦司著『ITエンジニアのための強化学習理論入門』は、2020年刊行、296ページ。機械学習を学んだ人や、AIに関心のあるエンジニア・学生が、強化学習の理論を体系的に理解するための一冊です。
数式とPythonコードを並べて解説するのが特徴です。環境モデルや動的計画法から、モンテカルロ法、TD法、SARSA、Q学習へ進み、さらにDQNまで扱います。
サンプルプログラムとソースコードも公開されています。式の各項が何を表すかを確認してから、対応する処理をコードで追えます。理論と実装を結びつけたい人におすすめです。
数学や機械学習に初めて触れる人が最初から通読すると、負荷を感じるかもしれません。希望小売価格は税込3,278円。基礎を学んだ後に、理論と実装の理解を深める本として有力です。
手を動かして実装
斎藤康毅著『ゼロから作るDeep Learning ❹ 強化学習編』は、2022年刊行、376ページです。外部ライブラリを使わずにコードを動かし、基本技術を実装します。手順を追って仕組みも確かめたい人に、まずすすめたい一冊です。
バンディット、マルコフ決定過程、ベルマン方程式、動的計画法、モンテカルロ法、TD法と、基礎から段階的に扱います。プログラムを動かして確かめることで、報酬や価値が結果にどう影響するかも実感しやすくなります。
後半ではニューラルネットワークとQ学習、DQN、方策勾配法へ進みます。小さな問題から深層強化学習へつながる構成です。まず動かして、後から仕組みを理解したい人も読み進めやすいでしょう。
Pythonの文法に慣れているなら、強化学習が初めてでも取り組めます。希望小売価格は税込3,960円です。実装を目指す人には、この本で一歩ずつ試す方法がおすすめです。
転移学習も扱う
河野仁著『Pythonで実践する 強化学習と転移学習』は、2022年8月刊行、176ページです。簡単なプログラミング経験を前提に、理論やシミュレーションから転移学習へ進む実践寄りの本です。
転移学習は、ある課題で得た学習結果を別の課題に活用する考え方です。強化学習の基礎に慣れた後、学習を速めたり精度を高めたりする工夫を知りたい人に役立ちます。
Pythonシミュレーションのソースコードが公開され、チューニングや実装上の注意点も扱います。ライブラリ更新に対応したプログラムも掲載されているため、コードを試す際に活用できます。
転移学習まで扱う分、基礎だけを短く学びたい人には内容が広く感じられるかもしれません。希望小売価格は税込3,300円。基礎の次に、シミュレーションを使った応用へ進みたい人におすすめします。
理論を深く掘る
Sutton、Barto著『強化学習（第2版）』は、2022年10月刊行、496ページの大型教科書です。バンディット、動的計画法、モンテカルロ法、TD学習、方策勾配法など、主要な理論を幅広く扱います。
テーブル形式の手法から関数近似へ進み、応用事例や展望にも触れます。AlphaGoなどのケーススタディも収録され、基礎手法と実際の課題や研究の話題とのつながりを見渡せます。
入門書を読んだ後に、曖昧な用語や手法を確かめる参照書として使えます。初学者がすぐ実装を完成させるには厚めです。Pythonで順にコードを組む本とは役割が異なります。
希望小売価格は税込6,600円。今回の候補ではページ数も価格も大きめです。理論を腰を据えて学び、長く参照できる教科書を探している人におすすめします。
強化学習の芯
教師あり学習では、入力に対する正解を使って予測を直します。強化学習には行動の正解が最初からあるわけではありません。環境から受け取る報酬を手がかりに、行動を少しずつ改善します。
グリッドワールドなら、マス目の位置が状態、上下左右への移動が行動、ゴールへの到着が報酬です。壁にぶつかったときの扱いや一歩ごとのコストを決めると、同じ盤面でも学習する経路は変わります。
Q学習の更新は、Q(s,a) ← Q(s,a) + α[r + γ max Q(s’,a’) − Q(s,a)] と表せます。αは更新の大きさ、γは将来の報酬の重みです。行動後の報酬と次の状態の価値をもとに、行動の評価を修正します。
結論
初心者が強化学習を学び、Pythonで実装まで進みたいなら、まず『ゼロから作るDeep Learning ❹ 強化学習編』をおすすめします。基礎からDQNや方策勾配法までコードで試せるので、手を動かしながら学びたい人に合います。
Python自体に不慣れで最適化問題から入りたい人には『最適化のための強化学習』。平均や期待値から手法の違いをつかみたい人には『強化学習アルゴリズム入門』がおすすめです。機械学習の知識を生かして理論を深めたい人には『ITエンジニアのための強化学習理論入門』が合います。
転移学習や調整まで試す人には森北出版の実践書、理論全体を掘り下げたい人には『強化学習（第2版）』をすすめます。Python経験と今作りたいものに近い本を選べば、読んだ後の実装にもつなげやすくなります。
Amazon の PC をスコア化してみた
Amazonにある8〜14インチの小型WindowsタブレットやノートPCを、スペック別にスコア化して比較・ランキング。
