趣味で音楽制作をしており、ミュージックビデオも作ったりしています。
映像を作る際、音楽と映像の切り替えのタイミングを完全に一致させると逆にずれて見える・・・
そんな悩みがありました。
対処方法として、私はまずBPMにきっちり合わせて映像をつくり、
最終的に音楽を1～3フレーム後ろに下げていい感じになるところを探る・・・
という原始的な方法で調整していました。
今回、そんな悩みを解決する興味深い論文を見つけたので、ご紹介します。
アニメーション制作の現場では、動画と音の同期に関して、
動画は音より２フレーム前にすると仕上がりが良いという「動画先行の原則」があるらしいです。
というのも、聴覚と視覚は脳内で同時に処理することが出来ず、
20ms～30msほどのレイテンシーが起こるそうです（桑原，2019）。
msというのは聞きなじみがないかもしれませんが、秒に直すと10ms=0.01秒になります。
アニメーションやテレビの現場では大抵30～40fps（1秒間に30～40枚のフレームが表示される）ですので、
1フレーム当たりおおよそ0.02秒になります。
つまり、1～2フレーム動画を先行させることで、きちんと同期しているようにみえるみたいですね。
また、動きが激しい映像の場合、さらにレイテンシーが大きくなるそうで、
2～3フレームほどずらした方が仕上がりが良くなるそうです！
桑原圭裕（2019）映像と音の同期―「動画先行の原則」の根拠と応用
https://doi.org/10.18917/eizogaku.102.0_54
