AI 編集

OpenScreen には、チャットパネルからプロジェクトを編集する任意のエージェントが付属しています。エージェントは自分でプロバイダーを接続するまでオフで、それまではどのモデルにも何も送信されません。接続後、エージェントが通信する相手はそのプロバイダーだけで、字幕の翻訳も同様です。アプリのその他のネットワーク利用（文字起こしモデルのダウンロード、アップデートの確認）は、FAQに記載しています。

ヒント

どれも必須ではありません。録画、編集、文字起こし、字幕、エクスポートはすべて、アカウントもプロバイダーもなしで動作し、チャットパネルを開くかどうかも関係ありません。このうちダウンロードが必要なのは文字起こしだけで、初回実行時に文字起こしのモデルを一度だけ取得します。

プロバイダーを接続する

チャット列を開き（編集モードで、トップバーの左端にある切り替え）、AI設定 → プロバイダーを選んで API キーを貼り付けます。

プロバイダー	備考
Claude API（Anthropic）
OpenAI API
Gemini API（Google）
Mistral API
OpenRouter API	ひとつのキーで多数のモデルを利用可能。
MiniMax API / MiniMax Token Plan
OpenAI Compatible	OpenAI 形式の任意のエンドポイント。ベース URL は自分で指定します。

キーは、OS の資格情報保護の仕組み（Electron の safeStorage）で暗号化して保存されます。暗号化が利用できない場合は、平文での保存に切り替えず、書き込みが失敗します。OpenScreen のサーバーがキーを目にすることはありません。そもそもサーバーが存在せず、リクエストはお使いのパソコンから、選んだプロバイダーへ直接送られるからです。キーをまったく保存したくない場合は、プロバイダー固有の環境変数も使えます。

注記

ChatGPT と GitHub Copilot のサインインは、1.8.0 で削除されました。これらは、各ベンダーに属するファーストパーティのクライアント認証情報を同梱することで動作しており、OpenScreen が再配布してよいものではありません。代わりに、API キーを使うプロバイダーを利用してください。

エージェントを使う

行いたい編集を、普段の言葉で伝えます（「イントロの無音部分をカットして」「ターミナルを開いたところでズームして」など）。エージェントは再レンダリングではなく、元に戻せる実際のタイムライン操作で作業します。トリム、ズーム、再生速度の範囲、注釈（テキスト、矢印、画面上の個人情報を隠すぼかし）、取り込んだオーディオトラックとそのフェード、フルスクリーンカメラのセグメントの追加と調整、クリック位置への自動ズームの追加、クリップのイン点とアウト点やクロップの編集、別のソースの映像の配置、クリップの複製・並べ替え・削除ができ、文字起こしを読んで、あなたが指している箇所を見つけます。背景、余白、角の丸み、影、デバイスフレーム、フォーマット、カメラのレイアウト、カーソル、全体の音量といった動画の見た目も設定できます。また、字幕をオンにし、スタイルと位置を設定し、エージェント自身で別の言語に翻訳することもできます。さらに、設定にない視覚エフェクトを書くこともできます。カスタムエフェクトを参照してください。

エージェントを囲むパネル：

• 会話：履歴、名前の変更、削除、新しい会話の開始。会話ごとに、エージェントの状態が保持されます。
• モデルの選択：接続したプロバイダーからリアルタイムに取得したモデルの一覧です。プロバイダーが対応していれば、推論の労力も設定できます。
• コンテキストメーター：上限に対する推定トークン使用量です。コンテキストを圧縮で、以前のやり取りを捨てずに要約できます。
• このメッセージまで巻き戻す：その時点以降のエージェントの編集と、その後のすべてのやり取りを取り消し、プロジェクト、会話、エージェントの状態をまとめて復元します。
• エージェントによる編集：AI設定にあるスイッチです。オフの間は、エージェントが試みる編集はすべて拒否されます。エージェントはプロジェクトを読み取り、行う予定の変更を説明することはできますが、スイッチをオンに戻すまで何も適用しません。

Ctrl/Cmd + Z で、手動の編集と同じようにエージェントの編集を元に戻せます。

タイムラインの自動強化メニューにあるスマートカット（「AIを使用」と表示）は、同じエージェントに 1 回きりのプロンプトを渡すものです。（もうひとつの項目である自動ズームは、記録されたクリックを読み取るもので、プロバイダーはまったく必要ありません。）

プロバイダーを使うその他の機能

字幕の翻訳は、同じモデルに対する単発のテキスト変換の呼び出しです。エージェントのループは実行せず、プロジェクトのドキュメントに触れることもできません。チャットで頼めば、代わりにエージェント自身が字幕を翻訳し、同じ翻訳レイヤーに入れます。どちらの場合も、文字起こしと字幕のレンダリングは完全に端末上で行われます。

Claude Code、Codex などの MCP クライアントを使う

Claude Code や Codex などの AI コーディングエージェントをすでに使っている場合は、そのエージェントが自身のアカウントでサインインしたまま、同じ編集ツールを操作できます。そのアカウントに関する情報が OpenScreen を経由することは一切ありません。

1. AI設定 → MCP サーバー → オンにします。サーバーは自分のマシン（127.0.0.1）上の、表示されているポートでのみ待ち受けます。
2. そこに表示される Claude Code または Codex のコマンドをコピーし、ターミナルで実行します。Claude Code のコマンドにはアクセストークンが含まれています。Codex は代わりに環境変数 OPENSCREEN_MCP_TOKEN からトークンを読み取るため、Codex を起動するシェルでこの変数を設定してください。
3. OpenScreen のエディターで開いているプロジェクト、または一覧にあるほかのプロジェクトについて、エージェントに編集を依頼します。

ツールは組み込みのエージェントが使うものと同じで、さらに動画を録画、エクスポートし、確認するツールがあります（後述）。さらに transcribe もあり、エディターがプロジェクトを開くときと同じように、プロジェクトのメディアに対して端末上の Whisper を実行します。クライアントは自分のモデルで字幕を翻訳するため、字幕の翻訳に OpenScreen 側のプロバイダーは不要です。クライアントが別のプロジェクトを指定しない限り、ツールはエディターで開いているプロジェクトに作用します。クライアントはすべてのプロジェクトを一覧でき、どれでも読み取りや編集ができます。プロジェクトの作成（空のもの、または動画ファイルから）、名前の変更、プロジェクトのメディアへの動画・音声ファイルの追加や削除もできます。プロジェクトの削除はツールにありません。それはアプリであなたが行います。MCP サーバーのセクションでMCP による編集もオンにするまで、MCP クライアントは読み取ることしかできず、編集、録画、エクスポート、新しいプロジェクトの作成はすべて拒否されます。このスイッチは組み込みのエージェントのエージェントによる編集とは別で、最初はオフです。オンにすると、各編集は反映された時点で保存されます。

• エディターで開いているプロジェクトでは、編集は Ctrl/Cmd + Z で元に戻せます。クライアントには一連の編集の前にチェックポイントを保存するよう指示されているため、プロジェクトを 1 回の操作で元の状態に戻すよう頼むことができ、その操作自体も Ctrl/Cmd + Z で取り消せます。
• それ以外のプロジェクトでは、編集はそのファイルに保存され、Ctrl/Cmd + Z では元に戻せません。クライアントは最初の編集の前にそのプロジェクトのチェックポイントを保存する必要があり、そこへ戻すことが唯一の取り消し方法です。

チェックポイントは OpenScreen のメモリーに保持され、OpenScreen を終了したときやサーバーが再起動したときに失われます。ポートを変更したりトークンを再生成したりすると、サーバーは再起動します。保持されるのは直近 20 個のチェックポイントだけなので、古いものはそれより前に消えることがあります。トークンを再生成すると、古いトークンで設定したクライアントはすべて切断されます。

エージェントに動画全体を作らせる

エージェントは、録画からエクスポートまで、動画全体を自力で作れます。どちらの方法で OpenScreen を追加しても、編集ツールに加えて listSources、startRecording、stopRecording、setPointerTrack、exportVideo、getFrames、createProject を使えます。録画バーと同じく、テイクには Web カメラやシステム自身のカーソルも録画でき、エクスポートでは書き出しダイアログのオプションを使えます。MP4 なら画質とフレームレート、GIF ならフレームレート、サイズ、ループです。

上のサーバーを使う場合、録画は OpenScreen 自身が、録画ボタンを押したときと同じように行います。エディターが閉じ、録画バーがカウントダウンして録画し、録画は新しいプロジェクトとしてエディターで開きます。そこで各編集が反映されるのを確認できます。MCP による編集をオンにする必要があり、録画が終わると録画バーの設定はあなた自身のものに戻ります。

stdio サーバーとして追加する場合、設定は一切不要です。エージェントは、アプリ自身の実行ファイルを mcp 付きで起動します。

いちばん手早いのは、次の内容をAI エージェント（Claude Code、Codex、Cursor など）に貼り付けることです。

Install the OpenScreen demo skill with `npx skills add getopenscreen/openscreen --skill openscreen-demo -y`, then follow it to make a demo video of this feature.

このスキルは、OpenScreen がなければ、同意を得たうえでインストールし、その MCP サーバーを追加します。続いて、新しいセッションを開いて continue the OpenScreen demo と伝えるよう求めます。エージェントが新しいツールを得られるのは、新しいセッションの中だけです。代わりに手動で設定するには、次のようにします。

claude mcp add openscreen -- "<executable>" mcp
codex mcp add openscreen -- "<executable>" mcp

<executable> はアプリの実行ファイルです。各システムでのパスは CLI の実行に記載しています。Cursor などほかのクライアントでは、実行ファイルを command、["mcp"] を args とした stdio サーバーとして追加します。

このスキルは、リポジトリ自身のマーケットプレイスからプラグインとしても入手できます。Claude Code では次のとおりです。

/plugin marketplace add getopenscreen/openscreen
/plugin install openscreen@openscreen

プラグインを共有する Codex と ChatGPT デスクトップアプリでは、次のとおりです。

codex plugin marketplace add getopenscreen/openscreen
codex plugin add openscreen@openscreen

これで、アプリのインストール済みプラグインに OpenScreen がスキルとともに表示されます。

• ポートも、トークンも、設定も不要。 エージェントは、openscreen record を実行するときと同じように、あなたの権限でプロセスを自分で起動します。そのため、MCP による編集スイッチなしで、画面を録画し、編集できます。
• テイクはそれぞれ新しいプロジェクトになり、プロジェクト一覧に表示されます。アプリで作った録画と同じく、記録されたクリックにズームが付きます。時間的にも画面上でも近いクリックは1つのズームにまとめられ、最初の数秒と最後は画面全体のままです。エージェントによる編集はすべてプロジェクトのファイルに保存されます。元に戻すには、エージェントが作成するチェックポイントを使います。チェックポイントはエージェントのセッションが終わるまで有効です。保持されるのは直近 20 個のチェックポイントだけなので、古いものはそれより前に消えることがあります。
• OpenScreen の起動中は、エージェントはアプリを通して作業します。 エディターで開いているプロジェクトへの編集はすぐにそこに反映され、Ctrl/Cmd + Z で元に戻せます。このときエージェントのチェックポイントは OpenScreen を終了するまで有効です。アプリが応答しない場合、そのプロジェクトへの編集は拒否されます。エディターが自分のコピーで上書きしてしまうためです。
• テイクには、エージェントが求めるまで文字起こしがありません。 エージェントは、単語をカットしたり字幕をオンにしたりする前に transcribe を呼び出します。Whisper はあなたのマシン上で実行され、OpenScreen が開いていれば OpenScreen の中で実行されます。
• スクリプトで操作するテイク（たとえば Playwright）では、画面のポインターはまったく動きません。エージェントが setPointerTrack で自分の操作ログを OpenScreen に渡せば、動画には同じようにカーソルとそのズームが付きます。
• openscreen-demo スキルは、絵コンテから完成した動画まで、作業全体をエージェントに教えます。そのあとエージェントは、レビュアーがその場で変更を確認できるよう動画をプルリクエストに添付するか、X への投稿を下書きします。投稿は、あなたが了承してはじめて公開されます。npx skills add getopenscreen/openscreen --skill openscreen-demo で追加します。手順は plugin/skills/openscreen-demo/SKILL.md にあります。