AIが裏でPCを操作するツール — 問われるのは「どこまで任せるか」

何が起きたの?

米Vercel LabsのChris Tate氏が10月31日、X(旧Twitter)でagent-desktopを紹介しました。投稿には「どのコーディング用のAIでもパソコンを操作できる」「作業を続けているあいだ裏で動く」といった説明が並び、約138万回表示されています。日本でも、この投稿を引いた解説が読まれていました。

agent-desktopは、AIがパソコンのアプリを読み取って操作するためのツールです。対応するOSは、macOS 13以降、Windows 10(1809以降)、Ubuntu 24.04以降です。プログラムの設計図にあたるソースコードは公開されており、ライセンスはApache-2.0です。開発者向けの共有サイトGitHubでの評価(スター)は約1万に達しています。

もとは個人の開発者が公開していたプロジェクトです。半年ほど前、開発者向けの掲示板Hacker Newsで、作者はMac専用として発表していました。Vercel Labsのブラウザ操作ツール「agent-browser」に着想を得たと説明しています。いまの置き場所はVercel Labsで、もとの置き場所からも転送されます。

どうやってパソコンを操作するの?

OSには、画面のボタンや入力欄などの部品の情報を、外から読めるようにする仕組みがあります。本来は画面の読み上げ機能などのための仕組みで、アクセシビリティの仕組みと呼ばれます。agent-desktopはこれを読み、部品の一覧をAIに渡します。

AIが操作できる部品には、それぞれ番号が振られます。AIは番号を指定して押したり入力したりし、もう一度読み直して結果を確かめます。番号はその読み取りのときだけ有効です。画面が変わったあとに古い番号で操作しようとすると、エラーで止まります。

agent-desktopの中にAIは入っていません。説明書には、AIを内蔵せず、操作画面も対話の機能も持たないと書かれています。考えるのは、呼び出す側のAIです。命令の名前は60個あり、そのうち56個が動きます。キーやボタンを押しっぱなしにする残りの4個は、いまは動きません。

初期設定では、マウスのカーソルを動かさず、アプリを前面にも出しません。実際のキーボードやマウスの入力として動かすのは、そう指定したときだけです。人が同じパソコンで作業を続けられるのは、この設計のためです。

画面の写真で操作する方式と何が違うの?

AnthropicのComputer Useは、画面の写真を撮り、マウスとキーボードを操作する方式です。Anthropicは自社のこの機能について、専用の仮想マシンで権限を絞って使うよう勧めています。結果に影響する判断は人が確認することも勧めています。

agent-desktopは写真ではなく、ボタンや入力欄を部品の一覧として受け取ります。一方で、公式のドキュメントは限界も明記しています。部品の情報を出さない画面は、見ることができません。

独自に作った業務システムや古い社内ツールが部品の情報を出しているかは、アプリごとに違います。自社の業務アプリで使えるかは、試してみないと分かりません。

会社のパソコンで使うと何が起きるの?

Macでは利用者が許可を出す手順があり、そこが歯止めになります。Windowsでは、ターミナルと同じ権限レベルで動くアプリなら、この手順がありません。会社のルールで線を引かない限り、社員が入れたその日から動きます。

説明書は、読み取りの結果、クリップボード、スクリーンショット、命令の出力に、個人のデスクトップの内容が含まれうると注意しています。公開のログや外部へのアップロードに入れないよう求めています。エラーが出たときにやり直してよいのは、安全だと示されたときだけだとも書いています。なお、別に用意されたオプションの補助機能(JEVヘルパー)を使うと、画面の説明が、設定したAIの提供元へ送られます。本体のツールとは別のものです。

SYNCONの視点 — 決めるのは手順ではなく「任せる範囲」

AIに画面の操作を任せても、人の手が止まらなくなりました。その代わりに渡すのは「画面を読み、操作してよい」という許可です。社内でまず決めるのは、どのパソコンで、どのアプリまで、読むだけか操作までかの線引きです。

始めるなら、顧客の情報が映らない専用のパソコンで、読み取りだけを試すのが手堅い進め方です。読み取りの結果やAIとのやり取りの記録をどこに保存し、誰が見られるかも、あわせて決めておきます。操作まで任せるのは、その後で十分です。

情報システムの担当者は、社員のパソコンにこうしたツールが入っていないかを確かめる仕組みを点検する時期です。無料で、数行の命令で入るツールは、禁止の通達だけでは止まりません。使ってよい範囲を先に示すほうが、隠れて使われるより安全です。

未確認の点:発表者は複数のAIがそれぞれのカーソルで同時に動くと説明しています。命令の一覧にカーソルを表示する命令(cursor-overlay)はありますが、同時に動かせる数は書かれていません。個人のプロジェクトがVercel Labsに移った経緯も、一次ソースでは確かめられませんでした。