自動字幕は二人の声をどう書き分けますか

字幕には「何と言ったか」に加え、「どの時間に誰が話していたか」という問題があります。後者は話者ダイアライゼーションと呼ばれ、音声を区間に分けて、同じ人らしい区間をまとめます。

話者Aと人名は別の情報

一度会話から外れた人が再び話しても、声の特徴を対応付けられれば同じ話者Aとして表示できます。二人が重なって話す区間もあるため、常に時間を一人ずつに割り当てれば済むわけではありません。実名を表示するには別途情報が必要です。

pyannote.audioが公開する話者区分の実装