字幕と文字起こし
OpenScreen は、録画の音声をすべて端末上で文字起こしします。音声がアップロードされることはなく、モデルがディスクに保存されたあとはオフラインで動作します。こうして得たひとつの文字起こしが、2 つの用途の元になります。動画に焼き込む字幕と、録画を編集できるテキスト表示です。
文字起こしの実行
文字起こしは、クリップごとに個別に作られます。実行方法は 2 つあります。
- メディアステージから：アセットのカードを選び、再生成を押します。自動検出のままにせず、この言語で再生成で Whisper の 100 言語のいずれかを指定するのもここです。アセットごとの状態（文字起こし待機中、文字起こし中、文字起こし完了、文字起こしに失敗しました、およびメディアライブラリとクリップに記載のその他の状態）もここに表示されます。
- エディターのインスペクターにある文字起こしパネルから：今すぐ文字起こしで、現在のメディアに同じ処理を実行します。
whisper.cpp のエンジンはアプリに同梱されていますが、モデルは同梱されていません。初回実行時に huggingface.co からダウンロードします（約 264 MB。SHA-256 で検証し、アトミックに書き込むため、ダウンロード途中のファイルが使われることはありません）。文字起こしにネットワークが必要なのは、このときだけです。以降は完全にオフラインで動作し、バックエンドは実行時に選ばれます。Apple Silicon では Metal、Windows と Linux では Vulkan（CPU へのフォールバックあり）、Intel Mac では CPU です。
単語のタイミングは、Whisper 自身の DTW によるトークンのタイムスタンプから得たうえで、音声そのものに合わせて再調整します。各境界は、その直前でもっとも静かな瞬間まで引き戻されます。これにより、文字起こしを使ったカットが 1 音節遅れることなく、単語が実際に始まる位置に入ります。
字幕
字幕は文字起こしをリアルタイムに表示したもので、生成したあとに管理し続けるテキストではありません。文字起こしを変更しても、字幕の設定を変えても、タイムライン上でクリップを動かしても、次のフレームで字幕が追従します。再生成の手順も、整合を取るべき古いコピーもありません。
インスペクターの文字起こしパネルで、字幕をクリックします。
| セクション | 設定項目 |
|---|---|
| 字幕を表示 | プレビューとエクスポートの両方に対する、オン/オフのマスタースイッチ。 |
| 言語 | 「オリジナル（文字起こし）」、または生成済みの翻訳レイヤー。 |
| テキスト | フォント、サイズ、太字、文字色。 |
| 背景 | テキストの背後に敷く下地のオン/オフ、色、不透明度。 |
| 位置 | 下または上と、その端からの距離（フレームの 0〜50%）。左、中央、右と、その辺からの距離（0〜25%。中央の場合はなし）。 |
| 行の長さ | 1 行あたりの最小・最大単語数（1〜12）。行はその範囲内で詰めて配置されます。 |
位置の設定はすべて、中の動画ではなく、エクスポートされるフレームを基準にしています。余白を変えても字幕は置いた場所に留まり、余白の部分に置くこともできます。上下の距離を 0 にすると、テキストはフレームの上端または下端にぴったり接します。長い字幕は固定した端から離れる方向に伸びるため、下の字幕は上に、上の字幕は下に伸びます。
サイズは高さ 1080 のフレームでのピクセル数で表し、実際の出力に合わせて拡大・縮小されるため、720p、1080p、Source のどれでも字幕の見た目は同じです。プレビューとエクスポートは同じレイアウトのコードを使うため、見たとおりに焼き込まれます。字幕は焼き込み以外の形では出力されません。OpenScreen は .srt や .vtt の別ファイルを書き出さないため、動画を見る人が字幕をオフにすることはできません。字幕ファイルを書き出す録画ソフトは、ローカル字幕の比較で紹介しています。
翻訳
翻訳先の言語を選び、翻訳を押します。ドロップダウンには、英語、フランス語、スペイン語、ドイツ語、イタリア語、ポルトガル語、オランダ語、ポーランド語、トルコ語、ロシア語、アラビア語、ヒンディー語、日本語、韓国語、中国語の 15 の翻訳先があります。
翻訳は、接続した LLM プロバイダーを経由します（AI 編集を参照）。字幕の機能でネットワークが必要なのは、これだけです。翻訳は文字起こしの中ではなく、その横に保存されます。元のテキストとタイミングはそのまま残り、いつでも「オリジナル」に戻せます。翻訳を削除しても、録画はまったく元のままです。映像を追加したあとに再実行しても、コストがかかるのは新しい部分だけです。モデルが返さなかった部分は、勝手に作られることはなく、元の言葉のまま表示されます。
以前の「キャプションを生成」機能で作ったプロジェクトには、字幕のテキストが通常の注釈として含まれており、リアルタイムの字幕レイヤーの上に重なって描画されます。字幕パネルはこれを見つけると、削除を提案します。データを削除する操作なので、実行前に確認を求めます。
文字起こしの編集
文字起こしパネルには、タイムライン上のすべてのクリップの文字起こしがまとめて表示されます。これは、録画をリアルタイムに反映したテキスト表示です。
- 単語や単語の範囲を選んで
Backspace/Deleteを押すと、その区間がスキップとしてマークされます。タイムラインのトリム範囲とまったく同じように再生とエクスポートからカットされ、違いは操作をテキスト側から行うことだけです。 - スキップした区間は、赤い取り消し線で表示されます。マウスを重ねると、元に戻せます。
- 無音の部分も行内にマークされ、同じ方法でトリムしたり元に戻したりできます。
アップロードもクラウドも使いません。この処理は、プロジェクト内にすでにある文字起こしに対して行われます。