%20(%E8%83%8C%E6%99%AF%E3%81%82%E3%82%8A).png?width=130&height=39&name=%E6%9C%80%E7%B5%82Start%20Link%20(500%20x%20150%20px)%20(%E8%83%8C%E6%99%AF%E3%81%82%E3%82%8A).png "StartLink"){kind=logo}
この記事の結論
Claude Computer Useは、AIがPC画面を見ながらマウス・キーボードを操作する技術です。APIのないレガシーアプリケーションも自動化の対象にできる点が大きな特徴です。
Claude Computer Useは、AIがPC画面を見ながらマウス・キーボードを操作する技術です。APIのないレガシーアプリケーションも自動化の対象にできる点が大きな特徴です。
Claude Computer Useとは、AIがPC画面のスクリーンショットを認識し、マウス操作やキーボード入力を自動で実行する技術です。API連携に対応していないアプリケーションや、GUIでしか設定変更ができないツールも自動化の対象にできます。画面操作の自動化は従来のRPAでも可能ですが、Computer Useは固定の手順やあらかじめ登録した画像ではなく、AIが画面を都度読み取って次の操作を決める点が異なります。本記事では、2026年10月時点の情報をもとに、まず動作の仕組みを説明したうえで、セットアップ手順、実務での活用パターン、運用時の注意点を順に紹介します。
本記事は「Claude Code実践ガイド｜AI開発の生産性を高める運用設計」シリーズの一部です。
この記事でわかること
Computer Useを初めて知る方にも、すでに社内で自動化を検討している方にも役立つように、仕組みの理解から運用設計までを順を追って説明します。
- 動作原理 — スクリーンショット取得から操作実行までのサイクルと、提供される3つのツールの役割
- セットアップ方法 — デスクトップアプリでの手軽な有効化と、Anthropic API・Docker環境を使った本格的な組み込み方
- 実務ユースケース — APIのないレガシーシステムやSaaS管理画面など、どのような場面で効果を発揮するか
- 向き・不向きの見極め — AIに任せてよい作業と、人間の判断を残すべき作業の切り分け方
- セキュリティ対策 — サンドボックス環境やプロンプトインジェクション対策など、運用前に押さえておきたいポイント
業務効率化やAI活用の担当者、開発チームのリーダーの方に向けて書いています。最後まで読むと、自社のどの業務にComputer Useを適用できそうか、導入の第一歩を具体的にイメージできるようになります。
Computer Useの動作原理 — AIがPC画面を認識して操作する仕組み
Computer Useは、人間がPCを操作するときと同じように「画面を見て、判断し、操作する」というサイクルを機械的に繰り返すことで自動化を実現します。従来のRPAには、画面要素のIDやXPathといった内部構造を手がかりにする方式と、あらかじめ撮った画像を画面と照合する方式（Power Automate Desktopの画像による自動化など）があります。どちらも事前に操作対象や手順を登録しておくのが基本です。Computer Useは、画面に映っているピクセル情報そのものをAIが解析し、次の操作をその場で決める点が異なります。この違いが、レイアウト変更への耐性を左右します。
[1. スクリーンショット取得] → [2. 画面内容の認識] → [3. 操作アクション決定]
→ [4. マウス/キーボード操作実行] → [1に戻る]このサイクルにより、ボタンの位置やテキスト入力欄の座標があらかじめわかっていなくても、AIが画面を都度読み取りながら次のアクションを決定していきます。
提供される3つのツール
Computer Useでは、用途に応じて3種類のツールを組み合わせます。2026年10月時点の公式ドキュメントでは、画面操作は computer_toolset_20260801 というツールセットとして提供され、screenshot・left_click・type・zoom など17個の操作が含まれます。text_editor と bash はAPIリクエストで別のツールとして宣言します。
| ツール | 機能 |
|---|---|
computer（ツールセット） |
スクリーンショット取得、ズーム、マウス移動・クリック、キーボード入力、スクロール |
text_editor |
ファイルの読み取り・編集（CLI上のテキスト操作） |
bash |
シェルコマンドの実行 |
computerツールセットがGUI操作の中心を担い、text_editorとbashはターミナル上での補助的な操作を担当します。3つを組み合わせることで、画面操作とコマンド操作をまたいだ一連の作業を自動化できます。
座標ベース操作の特徴と限界
Computer Useの強みは、APIの有無に関係なく、画面に表示されている幅広いアプリケーションを操作対象にできる点です。この汎用性は、社内に散在する「APIを持たない古いツール」を自動化したいと考える企業にとって大きな価値になります。
ただし、座標ベースの操作であるがゆえの限界も正直に共有しておきたいところです。画面解像度やウィンドウサイズが変わると、AIが認識した座標と実際のUI要素の位置がずれてしまうことがあります。ポップアップやスクロールで表示位置が変わる動的なUI要素も、同じように認識と実際の位置がずれる原因になります。
このずれが起きたときの影響は、クリックが外れて終わるとは限りません。意図しない要素を押してしまうと、そこから先の「スクリーンショット取得→画面認識→操作実行」のサイクルが、想定と異なる画面状態の上で回り続けます。都度画面を読み直すため後続の操作で軌道修正できる場合もあれば、画面遷移が進んでしまうと元の手順に戻れない場合もあります。ずれの検知は、クリック直後に期待どおり遷移したかを確認する段階を挟むと早期に気づきやすくなります。検知が遅れるほど、どの時点で座標がずれたのかを遡るコストが増えるため、画面遷移を伴う操作の直後にスクリーンショットを挟む運用が確認ポイントになります。運用を始める際は、想定どおりに動かなかったケースを操作ログのスクリーンショットから切り分け、どの画面で座標のずれが起きやすいかを把握してから対象範囲を広げる進め方が取りやすいです。
このずれを抑えるための対策は、主に3つあります。
- 解像度とウィンドウサイズの固定 — Docker環境などで実行環境の表示条件を揃え、AIが認識する座標と実際のUI要素の位置がずれにくい状態を作ります
- 操作対象アプリケーションの限定 — 信頼できるアプリケーションのみを対象とし、不特定のWebサイトでの操作は避けます
- 操作ログの記録 — スクリーンショットとアクションをログに保存しておけば、想定外の挙動が起きた際にも原因を追跡しやすくなります
またAIは画面上のあらゆるテキストを情報として読み取るため、機密情報が表示された画面での実行は避け、サンドボックス環境で動かすことをおすすめします。
セットアップ方法 — デスクトップアプリとAPI/Dockerの2通り
Computer Useには、Claudeデスクトップアプリから手軽に有効化する方法と、Anthropic APIを使って自前のシステムに組み込む方法の2通りがあります。どちらを選ぶかは、単発の作業を試したいのか、業務フローに組み込んで継続運用したいのかによって変わってきます。まずは前者で挙動を確認し、運用の見通しが立ってから後者に進むという段階的な進め方がおすすめです。
Claudeデスクトップアプリで有効化する
手軽に始める方法のひとつは、Claudeデスクトップアプリの設定からComputer Useをオンにすることです。公式ドキュメント（2026年10月時点）では、Computer UseはmacOS・Windows向けのresearch previewで、ProプランまたはMaxプランが対象です。Team・Enterpriseプランでは利用できません。macOSではmacOS 14以降が必要で、Claudeデスクトップアプリを起動しておく必要があります。設定の手順は次のとおりです。
- デスクトップアプリを最新版に更新して再起動します。
- Settings > This computer > System を開き、Computer use の Enable computer use をオンにします。Windowsはこれで設定が完了します。
- macOSでは、Accessibility（クリック・入力・スクロール）と Screen Recording（画面の表示）の2つのシステム権限を許可します。設定画面に各権限の状態が表示されます。
トグルが表示されない場合は、macOSまたはWindowsでProまたはMaxプランを使っているかを確認し、アプリを更新して再起動してください。初めて使うアプリでは、セッションごとに許可（Allow for this session）を求められます。ブラウザは閲覧のみ、ターミナルやIDEはクリックのみといったアプリ種別ごとの制限があり、変更できません。以下の図は、この設定経路の手順図です（実際の画面ではありません）。
まずはこの設定で単発の操作を試し、挙動を確認して業務利用に耐えるかを見極めるのが最初のステップになります。
Anthropic APIとDockerで隔離環境を構築する
プログラムから制御したい場合や、ホストOSと隔離した環境で動作させたい場合は、Anthropic APIとDockerを使う構成が選択肢になります。
# APIキーは画面に表示されない入力で環境変数に設定します（コマンドやファイルに値を書かない）
# 入力した値はシェルの履歴に残りません
read -rs ANTHROPIC_API_KEY
export ANTHROPIC_API_KEY
# Anthropicが公開しているリファレンス実装のイメージを起動
docker run \
-e ANTHROPIC_API_KEY \
-v $HOME/.anthropic:/home/computeruse/.anthropic \
-p 5900:5900 \
-p 8501:8501 \
-p 6080:6080 \
-p 8080:8080 \
-it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latestこのコマンドは、公式リポジトリ（anthropic-quickstarts の computer-use-demo）のREADMEに掲載されているClaude API向けの起動方法です。このフォルダにはComposeファイルがないため、docker compose up -d では起動できません。APIキーはClaudeコンソールで発行します。read -rs で入力するとキーが画面とシェル履歴に残らず、-e ANTHROPIC_API_KEY のように名前だけを渡すとdockerコマンドの文面にもキーが載りません（公式READMEは export と -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY の形で、挙動は同じです）。~/.anthropic をマウントしておくと、設定がコンテナの再起動後も保たれます。
このリファレンス実装では（2026年10月時点）、起動後にブラウザからhttp://localhost:8080へアクセスして、仮想デスクトップ上でClaudeが操作を行う様子を確認する構成になっています。Docker環境で実行することで、ホストOSから隔離された状態でComputer Useを動かせる点もメリットです。
API経由でプログラムから呼び出す
継続的な業務フローに組み込む場合は、APIを直接呼び出す実装が基本の選択肢です。2026年10月時点のClaude APIでは、Claude 5.5系（Opus 5.5・Sonnet 5.5・Haiku 5.5）は computer_toolset_20260801 だけに対応しており、従来の computer_20251124 や computer_20250124 を指定するとエラーになります。ベータヘッダーは不要です。
import anthropic
client = anthropic.Anthropic()
response = client.messages.create(
model="claude-sonnet-5-5",
max_tokens=4096,
tools=[
{"type": "computer_toolset_20260801"}
],
messages=[
{"role": "user", "content": "ブラウザでHubSpotを開き、ダッシュボードのスクリーンショットを取得してください"}
]
)このようにtoolsにComputer Useを指定することで、任意のプログラムからPC操作の自動化を呼び出せます。Claudeが返す操作（tool_use）は、自社で用意した環境でアプリケーション側が実行し、結果のスクリーンショットを返すループを組みます。PythonとTypeScriptのSDKにはツールセット用のクラスがベータ版として用意されています。
実務での活用パターン — GUIの壁を越える自動化ユースケース
CRM運用の現場では「APIがあるツール」と「GUIしかないツール」が混在しているケースが多く見られます。Computer Useの意義は、この「GUIの壁」を突破し、多くの業務ツールをAI自動化の対象にできることです。以下、代表的な3つのユースケースを紹介します。
APIのないレガシーシステムの操作自動化
多くの企業では、API連携に対応していない業務ソフトが残っています。Computer Useなら、画面操作を通じてデータの入力・抽出を自動化できます。例えば、基幹システムから月次売上データをCSVエクスポートし、HubSpotのカスタムレポートに反映するといった定型作業が該当します。
ブラウザベースのSaaS管理画面の一括操作
HubSpotなどのSaaS管理画面で、GUIでしか実行できない設定変更を一括処理するケースにも有効です。例えば、HubSpotのプロパティ設定を画面上で一つずつ変更している作業を自動化する、といった使い方が考えられます。こうした一括更新は、コンタクト・取引・請求までを一元管理するCRMの全体フローの中で、データ品質を保つための下支えとして位置づけられます。
ビジュアルリグレッションテストへの応用
Webアプリケーションのビジュアルリグレッションテスト、つまり画面遷移や表示崩れの動作確認をAIに委託するという使い方もあります。デプロイのたびに人手で画面を見比べる作業を、Computer Useに任せることで確認の抜け漏れを防ぐ効果が期待できます。
導入前に見極めたい向き・不向き — 何を自動化し、何を任せないか
Computer Useは強力な機能ですが、何でも任せてよいわけではありません。AIが得意な定型作業と、人間の判断を残すべき作業を切り分けることが、安全に運用するうえでのポイントになります。切り分けの目安としては、次の4つの観点で確認すると整理しやすくなります。どれも「AIに任せると何が起きうるか」ではなく、「誤ったときの影響の大きさと、元に戻せるか」で見る軸です。
| 確認観点 | 自動化に向く状態 | 人間の判断を残すべき状態 |
|---|---|---|
| 操作手順が毎回同じか | CSVエクスポートやプロパティ更新など、手順が固定されている | 案件ごとに手順が変わる |
| 画面に機密情報が映らないか | パスワードや個人情報が表示されない画面 | 機密情報を扱う画面 |
| 誤操作をしても取り消せるか | 下書き作成など、やり直しが利く操作 | 送信・実行など、取り消せない操作 |
| 途中に承認や意思決定を挟まないか | 判断を要しない定型処理 | 承認や意思決定を伴う操作 |
Computer Useが向いている業務
向いているのは、操作手順があらかじめ決まっている定型的なGUI操作です。CSVのエクスポート・インポート、決まった項目のプロパティ更新、画面遷移の確認作業などは、手順の再現性が高く自動化の効果が出やすい領域といえます。
向かないケース・任せるべきでない判断
| 場面 | 考え方 |
|---|---|
| 機密情報が表示される画面 | パスワードマネージャーや個人情報を扱う画面での操作は避けるのが基本です |
| 判断の余地が大きい操作 | 承認や意思決定を伴う操作は、AIに完結させず人間の確認を挟むことをおすすめします |
| 不特定のWebサイトの操作 | 信頼できないサイトでは、後述するプロンプトインジェクションのリスクが高まります |
Computer Useに限らず、AIエージェントに操作を任せる場合は「叩き台や定型処理はAIに任せ、最終判断や送信・実行は人間が確認してから行う」という役割分担が安全な運用の基本になります。自律的に処理を完結させるモードは便利に見えますが、業務への影響が大きい操作ほど、人間のレビューを挟む工程を仕組みとして残しておくことをおすすめします。
セキュリティ運用で外せない5つの対策
Computer Useは強力な機能である分、セキュリティリスクも伴います。座標ベースで画面を操作する仕組み上、想定外の情報にアクセスしてしまうリスクや、悪意のある表示に反応してしまうリスクを踏まえた運用設計が欠かせません。
サンドボックス環境と最小権限アカウント
| 対策 | 内容 |
|---|---|
| サンドボックス環境 | Docker等の隔離環境内で実行する |
| 最小権限アカウント | 管理者権限のないユーザーアカウントで操作する |
| ネットワーク制限 | 不要な外部通信をブロックする |
| 操作ログの記録 | すべてのスクリーンショットとアクションをログに保存する |
| 機密情報の排除 | パスワードマネージャーやクレデンシャルが表示される画面を避ける |
これらの対策は、担当者個人のスキルや注意力に頼るのではなく、環境設定やログ記録という「仕組み」であらかじめリスクを抑え込む考え方に基づいています。運用担当者が変わっても同じ水準の安全性を保てるようにしておくことが、長く使い続けるうえでの土台になります。
プロンプトインジェクション対策
画面上に悪意のあるテキストが表示されている場合、AIがそれを指示として解釈してしまうリスクがあります。信頼できるアプリケーションのみを操作対象とし、不特定のWebサイトの操作は避けることが推奨されます。操作ログを残しておけば、想定外の挙動が起きた際にも原因を追跡しやすくなります。
Claude Codeとの役割分担・組み合わせ方
Claude CodeとComputer Useは、どちらも開発・業務自動化を支えるツールですが、得意な領域が異なります。Claude Codeはターミナル上のテキストを直接処理するため、操作対象がコードやコマンドであれば再現性の高い実行ができます。対してComputer Useは画面のピクセル情報を認識して座標で操作するため、テキストとしてアクセスできないGUIも対象にできる一方、先ほど見たような環境依存のずれには注意が必要です。この「テキストで完結するか、GUI操作が必要か」という軸が、両者を分ける基本線になります。なお、Claude Code自体にもComputer Useの機能があります。2026年10月時点では、内蔵MCPサーバー computer-use として提供され、既定はオフで有効化が必要です。公式ドキュメントでは、macOS向けのresearch previewで、ProまたはMaxプランが対象（TeamとEnterpriseは対象外）、対話セッションのみとされています。Claude Codeは、MCP、Bash、Claude in Chromeといったより精度の高い手段を先に使い、それで足りない場合に画面操作へ進みます。さらに、SDK/ヘッドレスモードを介して両者を組み合わせる運用も可能で、こちらは後述します。
CLI操作とGUI操作の使い分け
Claude Codeは主にターミナル上のテキストベースの操作に特化したツールです。一方、Computer UseはGUI画面の操作に対応します。どちらを使うかの目安は、作業対象がコマンドやテキストファイルで完結するか、画面上のボタンやフォームを直接操作する必要があるかです。
| 観点 | Claude Code | Computer Use |
|---|---|---|
| 操作対象 | ターミナル上のテキスト（コード・コマンド・テキストファイル） | GUI画面（ボタン・フォーム・SaaS管理画面） |
| 主な用途 | コード編集・コマンド実行・Git操作などの開発作業 | APIのないレガシーシステムやGUIでしか行えない操作の自動化 |
| 実行形態 | ターミナルやSDK/ヘッドレスモードから呼び出す | Anthropic API経由で、Docker等の隔離環境で実行（デスクトップアプリではmacOS・Windows向けのresearch previewとして利用） |
| 向いている作業 | コマンドやテキストファイルで完結する作業 | 画面上のUI要素を直接操作する必要がある作業 |
コード編集・コマンド実行・Git操作といった開発作業にはClaude Codeを、APIのないレガシーシステムやGUI操作にはComputer Useを使うという住み分けが基本になります。
SDK/ヘッドレスモードと組み合わせた統合運用
両者を組み合わせることで、CLIでの開発作業とGUI操作の自動化を統合できます。SDK/ヘッドレスモードでClaude Codeをプログラムから呼び出し、必要に応じてComputer UseのAPIを組み合わせるアーキテクチャも可能です。開発作業の一部としてGUI確認が必要になる場面では、こうした統合運用が効果を発揮します。
業務自動化の全体設計における位置づけ
Computer Useを単体の機能として捉えるのではなく、社内の業務自動化フロー全体のどこに位置づけるかを考えることが、導入効果を高めるうえで重要です。
「一気通貫」の自動化フローの中でComputer Useが担う役割
例えば、APIで連携できる部分はワークフローや連携ツールで自動化し、APIのないレガシーシステムやGUIでしか操作できない箇所だけをComputer Useが補完する、という設計が現実的です。基幹システムからのデータ抽出（Computer Use）→ HubSpotへの取り込み（API連携）→ レポートでの可視化、という一連の流れの中にComputer Useを位置づけることで、自動化の抜け漏れを減らせます。企業ごとに残っているレガシーツールやSaaSの組み合わせは異なるため、自社の業務要件に合わせてどこまでComputer Useに任せるかを設計することが重要です。
スモールスタートで始める導入ステップ
いきなり本番の基幹業務にComputer Useを組み込むのではなく、まずは影響範囲の小さい定型作業から試すことをおすすめします。デスクトップアプリで簡単な操作を試し、挙動やリスクを把握したうえで、効果が見込める業務からDocker環境での本格運用に広げていく、という段階的な進め方が現実的です。すべてを一気に自動化しようとせず、優先順位をつけて取り組める業務から着手いただければと思います。
よくある質問
Q1. Claude Computer Useは通常のRPAとどう違いますか？
従来のRPAは、UIの要素IDやXPath、あらかじめ撮った画像などを手がかりに操作するため、画面構成や見た目が変わると動作しなくなることがあります。画像認識でGUIを操作できるRPA製品もあるため、「画面を見て操作できること」自体はComputer Use固有の特徴ではありません。Claude Computer Useは、スクリーンショットのピクセル情報をAIが都度認識して次の操作を決めるため、画面レイアウトの変更に対してより柔軟に対応できる場合があります。ただし、座標ベースの操作であるため、解像度やウィンドウサイズの影響を受ける点には注意が必要です。
Q2. Computer Useを安全に使うために最低限必要な対策は何ですか？
Docker等のサンドボックス環境で実行すること、管理者権限のない最小権限アカウントを使うこと、不要な外部通信をブロックすることの3点が土台になります。さらに、すべてのスクリーンショットとアクションをログに保存し、パスワードマネージャーや機密情報が表示される画面での操作は避けてください。
Q3. Claude CodeとComputer Useはどのように使い分けるべきですか？
Claude Codeはターミナル上のテキストベース操作（コード編集、コマンド実行、Git操作など）に特化しており、Computer UseはGUI画面の操作（ボタンクリック、フォーム入力、SaaS管理画面の操作など）に対応します。開発作業にはClaude Code、APIのないレガシーシステムやGUI操作にはComputer Useという使い分けが基本です。なお、Claude CodeもmacOSのresearch previewとしてComputer Useを呼び出せます（2026年10月時点）。
Q4. Computer Useの操作精度はどの程度ですか？
Computer Useはスクリーンショットのピクセル情報をAIが解析して操作するため、ボタンやテキスト入力欄などの一般的なUI要素を操作対象にできます。ただし、画面解像度やウィンドウサイズの変更、動的に位置が変わるUI要素に対しては精度が下がることがあります。安定した操作のためには、固定解像度のDocker環境での実行がおすすめです。
Q5. Computer UseをCI/CDパイプラインに組み込むことは可能ですか？
はい、Anthropic APIとDocker環境を組み合わせることで、CI/CDパイプラインにComputer Useを組み込めます。例えば、デプロイ後のビジュアルリグレッションテストや、GUIベースの管理画面での設定確認を自動化できます。ヘッドレス環境で仮想ディスプレイ（Xvfb等）を設定し、APIからComputer Useを呼び出す構成が一般的です。
まとめ
Computer Useは、「スクリーンショット取得→画面認識→操作実行」のサイクルを繰り返すことで、APIの有無を問わず、画面に表示されるアプリケーションのGUI操作を自動化の対象にできる技術です。レガシーシステムのデータ入出力、SaaS管理画面の一括設定変更、ビジュアルリグレッションテストなどが主要なユースケースであり、Claude Codeと組み合わせることでCLIでの開発作業とGUI操作の自動化を統合的に運用できます。一方で、座標ベース操作ゆえの精度の限界や、機密情報・大きな判断を伴う操作は任せないという線引きも欠かせません。
まずはデスクトップアプリの「Enable computer use」のトグルをオンにして、影響範囲の小さい定型作業から試してみることをおすすめします。次の3ステップで進めていただくとスムーズです。
- デスクトップアプリでComputer Useを有効化し、簡単な操作で挙動を確認する
- 自社に残っているAPI非対応のツールや、GUIでの手作業が多い業務を洗い出す
- 効果が見込める業務から、Docker環境やAPI連携での本格運用に段階的に広げる
CRMを活用した業務効率化やAIとの連携に関するご相談は、CRM特化型コンサルティングのHubSpotゴールドパートナーのStartLinkまでお気軽にお問い合わせください。
あわせて読みたい
記事の内容を、そのまま実務に落とし込みたい方向け
HubSpotゴールドパートナーのStartLinkが、HubSpot導入・AI活用・CRM整備・業務効率化までをまとめて支援しています。記事で気になったテーマを、そのまま相談ベースで整理できます。
次に読む
株式会社StartLinkは、事業推進に関わる「販売促進」「DXによる業務効率化（ERP/CRM/SFA/MAの導入）」などのご相談を受け付けております。 サービスのプランについてのご相談/お見積もり依頼や、ノウハウのお問い合わせについては、無料のお問い合わせページより、お気軽にご連絡くださいませ。
著者情報
