口を閉じてから開く音には、唇の形だけでは見分けにくい組み合わせがあります。読唇モデルは一コマずつに文字を貼るのではなく、前後の口の動きや、文として現れやすい語の並びを合わせます。
実験映像と古い記録映画
LipNetの原論文で使われたGRIDには、限られた文型や語彙で収録された発話があります。決まった候補から文を選ぶ課題に成功しても、俳優が横を向いた無声映画で同じ精度が出るとは限りません。復元字幕を読む際には、見えていた証拠と文脈で補った部分を区別できます。

あなたの知識の整理をお手伝いします!
口を閉じてから開く音には、唇の形だけでは見分けにくい組み合わせがあります。読唇モデルは一コマずつに文字を貼るのではなく、前後の口の動きや、文として現れやすい語の並びを合わせます。
LipNetの原論文で使われたGRIDには、限られた文型や語彙で収録された発話があります。決まった候補から文を選ぶ課題に成功しても、俳優が横を向いた無声映画で同じ精度が出るとは限りません。復元字幕を読む際には、見えていた証拠と文脈で補った部分を区別できます。