ゲームAIは得点のずっと前の一手をどう評価しますか

迷路の出口で初めて1点をもらえるゲームでは、最初の分かれ道で右へ曲がっても、その場の得点は0です。毎回の得点だけを比べると、出口に近付く手も遠ざかる手も同じに見えます。

将来の得点を前の状態に伝える

繰り返し遊んで、出口の一歩前の状態に価値があると分かれば、そこに移れる状態の評価も上げられます。時間差学習は、得点と次の状態の予測を使って現在の見積もりを直します。後から勝ったという理由だけで、その試合の全手を一様によい手とする方法とは違います。

サットンとバルトの強化学習の教科書