Whisper + Claude Code + Final Cut + Remotion でインタビュー動画編集をほぼ自動化した話

今、お仕事でインタビュー動画の編集を進めているのですが、今までみたいに手作業でやっているとめちゃくちゃ時間がかかってしまうんですよね。

今回のインタビュー動画、かなりの本数を編集する予定でして、なんとか今のAI、クロードを使ってできないかと思っていたんです。そしたら、合わせ技でいい方法を見つけました。もう、これはいい。

まず、動画を Whisper Transcription で文字起こしをしまして、字幕データの SRT というファイルがあるんですね。これ、時間とタイムライン、つまり時間とセリフが全部セットになっているファイルなんです。これを書き出して、 Claude Code で解釈させます。

いろいろ機能を試行錯誤して作ったのが、ファイナルカットの編集設計図のファイル。そのファイルの仕様を理解させているので、ファイナルカットの XMLファイル を書き出させることができるんです。このとき、内容も理解してくれますので、「こういう方向で編集したい」という指示も出せますし、無音の部分や「あ」「う」といった音もカットしてもらえます。

これがどういうことかといいますと、例えば30分の録画データでも、この編集設計図ファイルをファイナルカットで開くと、指定した時間、例えば2分にカットされて出来上がっているんですね。

とはいえ、機械的にやっていますから、ここから手作業での微調整は必要です。どうしても一度は手を入れる必要があるかなと感じています。

これで出来上がったら、もう一回動画を書き出しまして、今度この動画を再び Whisper Transcription で SRTファイル に。文字と動画の中の時間、タイムラインが揃っているファイルを作ります。今度はそれで、各シーンの切れ目にスライドというか、テロップというか、プロジェクトX風の文字を自動で作らせて、それを Remotion で自動的に入れてもらってレンダリング・書き出し、という流れでやったら、かなりいい感じにできているんですよね。

これは良い方法だと思います。いい方法を見つけました。

ただ、一個だけ困っているのが、Remotion のプレビュー画面がうまく動かなくなってしまったんですよね。Claude Code の方でいろいろ触っていてバグが発生してしまいまして、Claude Code 自身も「バグです」と言うので、解消するように何度も試みたんですが、どんどん変になってしまって、プレビューで確認できなくなってしまいました。

ただ、レンダリングでの書き出しは正常に動いていますので、プレビューは今回は諦めて、Remotion で書き出すようにしています。

いやー、すごい時代ですよね。これを手作業でやっていたら、多分どれだけ時間がかかるんだろう、10倍くらいかかるんじゃないかなと思います。

しかもテロップやスライドの文字を入れるのって、意外と位置を合わせるのが大変なんですけども、この方法だったらバッチリ合うんですよね。文字のサイズも指定できますし、フォントはもちろんパソコンにあるフォントを指定できますので、いやーこれは本当にいい方法です。