AI が人と同じように画面を見て、クリックし、文字を打つ。この技術は「Computer Use(コンピューター操作)」と呼ばれます。決済大手 Stripe の共同創業者が、古い仕組みを作り直さずに AI へ渡せる技術だと語りました。
30 秒でわかるポイント
- AI が人と同じ画面を操作するので、ソフト同士をつなぐ口(API)がない古いシステムでも作業を任せられます。
- 研究者が作った試験の成功率は、2024 年 10 月の約 15% から 2026 年 6 月には 85% 前後に上がりました。人の目安の約 72% を超えています。
- ただし人が 1 時間以上かける実務型の試験では、最も良い AI でも成功は約 2 割です。
1 分でわかる解説
これまでの自動化は、ソフト同士がデータを渡し合う「口」が前提でした。口のない古い社内システムや取引先のサイトは、人が手で写すしかありませんでした。
Computer Use は、画面の写真を見て次の操作を決め、マウスとキーボードで動きます。口がなくても、画面さえあれば作業できるのが新しい点です。
一方で、途中で条件が変わる長い仕事は、まだ苦手です。任せ方と、人が確かめる場所を決めることが大事になりそうです。
ここから考えたい 3 つの問い
- 画面から画面へ、人が手で写している作業は、ひと月にどれくらいありますか?
- その作業を AI に任せるなら、最後に誰が、何を確かめますか?
- 相手側の AI があなたのサイトや申込画面を操作しに来たら、いまの作りで困りませんか?
全文を読む(約 6 分)
何が起きたの?
2026 年 10 月 5 日、Stripe 共同創業者ジョン・コリソン氏のインタビュー動画が X で公開されました。聞き手はテック分野のニュースレターと番組を手がける Molly O’Shea 氏です。AI 向けのブラウザを提供する Browserbase 社が、9 月 10 日にサンフランシスコで開いたイベント「Navigate」で収録されました。
コリソン氏は Computer Use を、現実世界の古い仕組みをそのまま使えるようにする究極の互換の層だ、と表現しました。原文は “Computer use is the ultimate backwards compatibility layer for the real world.” です。翌 6 日には East Ventures パートナーの金子剛士氏がこの動画を引用し、Computer Use を「革命」と紹介しています。
コリソン氏はまず、ウェブのフォームに入力する作業は誰にとっても価値を生まない、と指摘しました。例に挙げたのは米国の運転免許の役所です。役所のサイトが、外部のツールを AI につなぐ共通規格(MCP)に対応するには数年かかるだろう、と彼は見ています。Computer Use ならその対応を待たずに済む、というのが互換の層という言葉の意味です。
Computer Use は 1 社の発明ではありません。主な会社の公開の流れは次のとおりです。
| 会社 | 時期 | 内容 |
|---|---|---|
| Anthropic | 2024 年 10 月 22 日 | 開発者向けに試験公開。最先端の AI モデルとして初めての試みと説明 |
| OpenAI | 2025 年 1 月 23 日 | ブラウザを操作する「Operator」を、米国の Pro プランの利用者向けに試験公開。2025 年 7 月に ChatGPT へ統合 |
| 2025 年 10 月 7 日 | 開発者向けに専用の AI を試験公開。当初はブラウザ操作が中心で、いまの Gemini 3 系はパソコンの操作にも対応 |
これまでの自動化と何が違うの?
違いは「何を前提に動くか」です。
| 方法 | 動かし方 | 前提 | 弱いところ |
|---|---|---|---|
| ソフト同士の連携(API) | 決まった形でデータを直接渡す | 相手側に口が用意されていること | 口がない相手には使えない |
| 画面操作の記録と再生(RPA) | 人が決めた手順をそのままなぞる | 画面と手順が変わらないこと | 画面の配置が変わると、手順の直しが要ることがある |
| Computer Use | 画面を見て、その場で次の操作を決める | 画面があること | 人より遅く、操作を間違えることがある |
AI は画面を見ては操作する、を作業が終わるまで繰り返します。支払いや送信など大事な操作の前で人に戻す作りが、各社に共通しています。
Anthropic の開発者向け資料も、反応の遅さや、クリックする位置の誤りを限界として挙げています。速さが大事でない裏方の作業から始めるよう勧めています。
もうひとつの違いは費用の考え方です。画面の写真を 1 枚見るたびに処理量に応じた料金がかかるため、手数の多い作業ほど費用がふくらみます。
どこまでできるようになったの?
短い作業では人の目安を超え、長い実務ではまだ 2 割ほどです。物差しは、香港大学の研究室などが作った試験「OSWorld」です。表計算や文書作成、ブラウザなど実際のソフトを使う 369 の課題で、人の成功率は 72.36% でした。
| 試験 | 時期 | 最も良い AI の成功率 | 備考 |
|---|---|---|---|
| OSWorld | 2024 年(論文の公開時) | 12.24% | 人は 72.36% |
| OSWorld | 2024 年 10 月 | 14.9% | Anthropic の発表。画面の写真だけで操作する条件 |
| OSWorld-Verified(課題を直した改訂版) | 2026 年 6 月 | 85.0% | Anthropic の発表の比較表。同表で OpenAI の GPT-5.5 は 78.7% |
| OSWorld 2.0(長時間の実務型) | 2026 年 6 月 | 20.6% | 人が中央値で約 1.6 時間かける 108 の課題 |
85% 台の数字は Anthropic 自身の発表で、版の違う試験どうしを並べている点にも注意が要ります。
実務型の OSWorld 2.0 を作った研究者たちは、失敗の理由を次のように分析しています。操作そのものではなく、条件を見失う、途中で届いた情報を見落とす、迷っても利用者に聞かずに推測する、最後の確認を飛ばす、といった点でつまずくそうです。
公開された失敗例のひとつは購買の申請です。AI は後から届いたチャットの承認を読んだのに、最終的な発注の表から一部の申請が漏れていました。作業時間が 45 分を超えると成功率は急に下がり、2 時間 43 分を超える課題では、調べたどの AI も成功しませんでした。
気をつけることは?
大きな注意点のひとつは、画面に仕込まれた指示で AI がだまされること(プロンプトインジェクション)です。Anthropic の資料は、ウェブページや画像の中の指示に AI が従ってしまう場合があると明記しています。
そのため各社とも、重要な場面では人に判断を戻す作りにしています。
| 会社 | 人に戻す主な場面 |
|---|---|
| OpenAI | ログインや支払い情報の入力は人に交代。注文の確定やメール送信の前に承認を求める。銀行取引などは断る |
| 購入や送金などの前に、AI が止まって利用者に確認を求める仕組みがある。AI が決めた操作を、実行前に 1 つずつ点検する仕組みも用意 | |
| Anthropic | 専用の隔離した環境で動かし、ログイン情報を渡さず、接続先を絞るよう推奨。支払いや規約への同意などは人の確認を推奨 |
使う側の目線でいえば、AI に渡す権限を小さくし、お金と約束が動く操作の前に人の確認をはさむ、という形が基本になりそうです。
コリソン氏は、AI が攻める側にも使われることから、今後 5 年は過去 5 年より多くの侵害(不正侵入など)が起きるだろうと予想しています。最新の道具を早く取り入れられる組織ほど守りやすい、とも話しています。
SYNCON の視点 — 「つなぐ口」がない職場ほど、変化は大きいかもしれません
Computer Use が効きやすいのは、最新のシステムを持つ大企業より、古い仕組みを人の手でつないでいる職場かもしれません。取引先ごとのウェブ画面への入力や、古い受発注システムからの転記は、作り直さずに AI へ渡せる候補になりそうです。
ただし実務型の試験の結果を見ると、長い仕事を丸ごと任せる段階ではなさそうです。作業を短く区切り、途中で条件が変わったら人が伝え、最後の確認は人が持つ。当面はこうした分担が現実的でしょう。
もうひとつ、向きが逆の変化もありそうです。お客さまや取引先の側の AI が、自社のサイトや申込画面を操作しに来る場面です。
コリソン氏も、サイトへの訪問はますますボット(自動で動くプログラム)が中心になると話しています。良いボットと悪いボットをどう見分けるかは、まだ答えのない問いだそうです。自社の画面が AI にとって使いやすいか、怪しい AI をどう止めるか。その両方が問われるようになるかもしれません。
未確認の点:コリソン氏の発言は、動画の英語の書き起こしをもとに言い換えています。85.0% は Claude Mythos 5 と Fable 5 の高いほうの値で、試験の運営元が測り直したかは確かめられませんでした。日本での料金や導入事例は調べていません。
情報ソース:
・Molly O’Shea 氏の X 投稿(John Collison 氏のインタビュー動画、2026 年 10 月 5 日)
・金子剛士氏の X 投稿「Computer Useという革命」(2026 年 10 月 6 日)
・Anthropic「Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku」(2024 年 10 月 22 日)
・Anthropic「Claude Fable 5 and Claude Mythos 5」(2026 年 6 月 9 日)
・Claude Platform Docs「Computer use tool」
・OpenAI「Introducing Operator」(2025 年 1 月 23 日)
・Google「Introducing the Gemini 2.5 Computer Use model」(2025 年 10 月 7 日)、「Gemini API: Computer Use」
・XLANG Lab ほか「OSWorld」「OSWorld 2.0」
AI・最新テックの動きを、毎日 X でお届けしています
X で @SYNCONJP をフォローPR
コメント