動画でイヤホンの音と口の動きをどう合わせますか

映像の一コマと音声の短い区間には、作品の中でいつ再生すべきかを示す時刻が付いています。再生側は、データが届いた順にすぐ出すのではなく、その時刻と再生用の時計を照らし合わせます。

遅い側に合わせて待つ

音の復号や出力に時間がかかるなら、その遅れを見込んで映像を出す時刻を調整できます。音と口がそろっていても、再生ボタンを押してから聞こえるまでの遅れがゼロとは限りません。動画で気になりにくい遅延が、鍵盤アプリでは弾きにくさになるのはこのためです。

Androidの音声・映像同期機能MediaSyncの仕様