迷路の出口で初めて1点をもらえるゲームでは、最初の分かれ道で右へ曲がっても、その場の得点は0です。毎回の得点だけを比べると、出口に近付く手も遠ざかる手も同じに見えます。
将来の得点を前の状態に伝える
繰り返し遊んで、出口の一歩前の状態に価値があると分かれば、そこに移れる状態の評価も上げられます。時間差学習は、得点と次の状態の予測を使って現在の見積もりを直します。後から勝ったという理由だけで、その試合の全手を一様によい手とする方法とは違います。

あなたの知識の整理をお手伝いします!
迷路の出口で初めて1点をもらえるゲームでは、最初の分かれ道で右へ曲がっても、その場の得点は0です。毎回の得点だけを比べると、出口に近付く手も遠ざかる手も同じに見えます。
繰り返し遊んで、出口の一歩前の状態に価値があると分かれば、そこに移れる状態の評価も上げられます。時間差学習は、得点と次の状態の予測を使って現在の見積もりを直します。後から勝ったという理由だけで、その試合の全手を一様によい手とする方法とは違います。