OpenAI Codexに「Record & Replay」。操作を録画して自動化

結論

OpenAIは、AIコーディング基盤のCodexに「Record & Replay」を追加した。Macで作業を一度やって見せると、その手順を再利用できる形に変え、Codexが繰り返し実行する。プロンプトを文章で書く代わりに、実際の操作を録画してスキルにする発想だ。対象は経費精算の提出や定型のフォーム入力、ファイルのアップロードなど、言葉で説明するより見せた方が速い繰り返し作業を想定している。記録した手順は中身を確認でき、編集もできる。

何が変わったのか

これまで作業を自動化するには、手順を文章で細かく書くか、専用のスクリプトを組む必要があった。Record & Replayは、人がMac上で一度操作するだけで、その流れを記録して再利用できるスキルに変える。Codexはこのスキルを、Computer Useやブラウザ操作、プラグインなど使える手段と組み合わせて再実行する。文章化しにくい手順ほど、録画で渡す方が確実になる。

提供条件には制約がある。機能はmacOS向けで、Computer Useを有効にしておく必要があるとされる。提供地域は当初、欧州経済領域や英国、スイスを除く地域から始まると説明されている。対象プランや地域は変わりうるため、利用前に最新の公式情報で確認してほしい。OpenAIはCodexを長時間の自律作業へ広げる動きも続けており、Onaの買収で数日がかりの作業に対応させる計画を示している。法人での利用統制も整いつつあり、ChatGPT法人版のコスト統制機能とあわせて、使う量と範囲を管理しやすくなっている。

現場の実務にどう効くか

効くのは、毎月や毎週、同じ画面操作を手で繰り返している現場だ。経費精算、申請書の提出、決まった集計のダウンロードといった作業は、手順が固定されているのに人手がかかる。こうした作業を一度録画してスキルにすれば、次回からはCodexに任せられる。文章でうまく説明できない操作でも、見せるだけで渡せるため、自動化の入り口が下がる。

始め方としては、まず失敗しても影響の小さい定型作業を1つ選ぶ。経費精算のように手順が決まっていて、間違っても後から直せる作業が向く。録画したスキルは、最初の数回は出力を人が確認し、想定どおり動くかを見てから本格運用に移す。ノーコードでの自動化はZapierとAIを連携させるワークフローや経費精算・申請書をAIで効率化する方法も選択肢になる。複数の作業をまとめて任せる設計を考えるならプロンプトチェーニングで複雑業務を自動化する方法が参考になる。録画で自動化できる範囲は広がるが、判断を伴う作業や例外処理は人が握る前提で組み立てたい。

FAQ

Q. プログラミングの知識がなくても使えますか。 操作を実演して記録する方式のため、手順を文章やコードで書く負担は小さくなります。ただしComputer Useの設定や対象環境の準備が必要で、誤動作の確認は人が行う前提です。

Q. どんな作業に向きますか。 手順が固定された繰り返し作業に向きます。経費精算や定型のフォーム入力など、言葉で説明するより操作を見せた方が早い作業が想定されています。

出典

• 画面操作を“録画”→AIが作業代行 Codexに新機能「Record & Replay」（ITmedia NEWS）
• OpenAI、Codexの新機能「Record & Replay」を公開（ビジネス＋IT）
• OpenAI、Codexが作業を見て覚える「Record & Replay」（Impress Watch）