Claude Computer Useの使い方｜PC操作を自動化する仕組み

Claude Computer Useは、AIがPC画面を見ながらマウス・キーボードを操作する技術です。APIのないレガシーアプリケーションも自動化の対象にできる点が最大の特徴です。

Claude Computer Useとは、AIがPC画面のスクリーンショットを認識し、マウス操作やキーボード入力を自動で実行する技術です。API連携に対応していないアプリケーションや、GUIでしか設定変更ができないツールも自動化の対象にできる点が、従来のRPAとの大きな違いです。本記事では、動作の仕組みからセットアップ方法、実務での活用パターン、安全に運用するための注意点までを解説します。

本記事は「Claude Code実践ガイド｜AI開発の生産性を高める運用設計」シリーズの一部です。

この記事でわかること

Computer Useを初めて知る方にも、すでに社内で自動化を検討している方にも役立つように、仕組みの理解から運用設計までを順を追って説明します。

• 動作原理 — スクリーンショット取得から操作実行までのサイクルと、提供される3つのツールの役割
• セットアップ方法 — デスクトップアプリでの手軽な有効化と、Anthropic API・Docker環境を使った本格的な組み込み方
• 実務ユースケース — APIのないレガシーシステムやSaaS管理画面など、どのような場面で効果を発揮するか
• 向き・不向きの見極め — AIに任せてよい作業と、人間の判断を残すべき作業の切り分け方
• セキュリティ対策 — サンドボックス環境やプロンプトインジェクション対策など、運用前に押さえておきたいポイント

業務効率化やAI活用の担当者、開発チームのリーダーの方に向けて書いています。最後まで読むと、自社のどの業務にComputer Useを適用できそうか、導入の第一歩を具体的にイメージできるようになります。

Computer Useの動作原理 — AIがPC画面を認識して操作する仕組み

Computer Useは、人間がPCを操作するときと同じように「画面を見て、判断し、操作する」というサイクルを機械的に繰り返すことで自動化を実現します。従来のRPAが画面要素のIDやXPathといった内部構造に依存していたのに対し、Computer Useは画面に映っているピクセル情報そのものをAIが解析する点が大きく異なります。この違いが、レイアウト変更への耐性を左右します。

[1. スクリーンショット取得] → [2. 画面内容の認識] → [3. 操作アクション決定]
→ [4. マウス/キーボード操作実行] → [1に戻る]

このサイクルにより、ボタンの位置やテキスト入力欄の座標があらかじめわかっていなくても、AIが画面を都度読み取りながら次のアクションを決定していきます。

提供される3つのツール

Computer Useでは、用途に応じて3種類のツールが提供されます。

computerツールがGUI操作の中心を担い、text_editorとbashはターミナル上での補助的な操作を担当します。3つを組み合わせることで、画面操作とコマンド操作をまたいだ一連の作業を自動化できます。

座標ベース操作の特徴と限界

Computer Useの最大の強みは、APIの有無に関係なく、画面に表示されているあらゆるアプリケーションを操作対象にできる点です。この汎用性は、社内に散在する「APIを持たない古いツール」を自動化したいと考える企業にとって大きな価値になります。

ただし、座標ベースの操作であるがゆえの限界も正直に共有しておきたいところです。画面解像度やウィンドウサイズが変わると、AIが認識した座標と実際のUI要素の位置がずれてしまうことがあります。またAIは画面上のあらゆるテキストを情報として読み取るため、機密情報が表示された画面での実行は避け、サンドボックス環境で動かすことをおすすめします。

セットアップ方法 — デスクトップアプリとAPI/Dockerの2通り

Computer Useには、Claudeデスクトップアプリから手軽に有効化する方法と、Anthropic APIを使って自前のシステムに組み込む方法の2通りがあります。どちらを選ぶかは、単発の作業を試したいのか、業務フローに組み込んで継続運用したいのかによって変わってきます。まずは前者で挙動を確認し、運用の見通しが立ってから後者に進むという段階的な進め方がおすすめです。

Claudeデスクトップアプリで有効化する

最も手軽な方法は、Claudeデスクトップアプリの設定からComputer Useをオンにすることです。「設定」→「デスクトップアプリ」→「一般」を開くと、「コンピュータ使用」のトグルがあります。有効にするとClaudeがスクリーンショットを撮影し、キーボードとマウスを操作できるようになります。上の画面は、Claudeデスクトップアプリの一般設定に用意されている「コンピュータ使用」のトグルの画面です。

同じ画面の「ブラウザ使用」をオンにすると、Chromeでの任意のウェブ操作も許可されます。まずはこの単発操作で挙動を確認し、業務利用に耐えるかを見極めるのが最初のステップになります。

Anthropic APIとDockerで隔離環境を構築する

プログラムから制御したい場合や、隔離環境で安全に動作させたい場合はAPI経由が適しています。

# Anthropicが提供するリファレンス実装を取得
git clone https://github.com/anthropics/anthropic-quickstarts.git
cd anthropic-quickstarts/computer-use-demo

# Docker環境で起動
docker compose up -d

起動後、ブラウザからhttp://localhost:8080にアクセスすると、仮想デスクトップ上でClaudeが操作を行うインターフェースが表示されます。Docker環境で実行することで、ホストOSから隔離された状態でComputer Useを動かせる点もメリットです。

API経由でプログラムから呼び出す

業務フローに組み込む場合は、APIを直接呼び出す実装になります。

import anthropic

client = anthropic.Anthropic()

response = client.messages.create(
    model="claude-sonnet-5",
    max_tokens=4096,
    tools=[
        {
            "type": "computer_20250124",
            "name": "computer",
            "display_width_px": 1920,
            "display_height_px": 1080,
            "display_number": 1
        }
    ],
    messages=[
        {"role": "user", "content": "ブラウザでHubSpotを開き、ダッシュボードのスクリーンショットを取得してください"}
    ]
)

このようにtoolsにComputer Useを指定することで、任意のプログラムからPC操作の自動化を呼び出せます。

実務での活用パターン — GUIの壁を越える自動化ユースケース

CRM運用の現場では「APIがあるツール」と「GUIしかないツール」が混在しているケースが多く見られます。Computer Useの意義は、この「GUIの壁」を突破し、あらゆる業務ツールをAI自動化の対象にできることです。以下、代表的な3つのユースケースを紹介します。

APIのないレガシーシステムの操作自動化

多くの企業では、API連携に対応していない業務ソフトが残っています。Computer Useなら、画面操作を通じてデータの入力・抽出を自動化できます。例えば、基幹システムから月次売上データをCSVエクスポートし、HubSpotのカスタムレポートに反映するといった定型作業が該当します。

ブラウザベースのSaaS管理画面の一括操作

HubSpotやSalesforceなどのSaaS管理画面で、GUIでしか実行できない設定変更を一括処理するケースにも有効です。例えば、HubSpotのプロパティ設定を画面上で一つずつ変更している作業を自動化する、といった使い方が考えられます。こうした一括更新は、コンタクト・取引・請求までを一元管理するCRMの全体フローの中で、データ品質を保つための下支えとして位置づけられます。

ビジュアルリグレッションテストへの応用

Webアプリケーションのビジュアルリグレッションテスト、つまり画面遷移や表示崩れの動作確認をAIに委託するという使い方もあります。デプロイのたびに人手で画面を見比べる作業を、Computer Useに任せることで確認の抜け漏れを防ぐ効果が期待できます。

導入前に見極めたい向き・不向き — 何を自動化し、何を任せないか

Computer Useは強力な機能ですが、何でも任せてよいわけではありません。AIが得意な定型作業と、人間の判断を残すべき作業を切り分けることが、安全に運用するうえでのポイントになります。

Computer Useが向いている業務

向いているのは、操作手順があらかじめ決まっている定型的なGUI操作です。CSVのエクスポート・インポート、決まった項目のプロパティ更新、画面遷移の確認作業などは、手順の再現性が高く自動化の効果が出やすい領域といえます。

向かないケース・任せるべきでない判断

Computer Useに限らず、AIエージェントに操作を任せる場合は「叩き台や定型処理はAIに任せ、最終判断や送信・実行は人間が確認してから行う」という役割分担が安全な運用の基本になります。自律的に処理を完結させるモードは便利に見えますが、業務への影響が大きい操作ほど、人間のレビューを挟む工程を仕組みとして残しておくことをおすすめします。

セキュリティ運用で外せない5つの対策

Computer Useは強力な機能である分、セキュリティリスクも伴います。座標ベースで画面を操作する仕組み上、想定外の情報にアクセスしてしまうリスクや、悪意のある表示に反応してしまうリスクを踏まえた運用設計が欠かせません。

サンドボックス環境と最小権限アカウント

これらの対策は、担当者個人のスキルや注意力に頼るのではなく、環境設定やログ記録という「仕組み」であらかじめリスクを抑え込む考え方に基づいています。運用担当者が変わっても同じ水準の安全性を保てるようにしておくことが、長く使い続けるうえでの土台になります。

プロンプトインジェクション対策

画面上に悪意のあるテキストが表示されている場合、AIがそれを指示として解釈してしまうリスクがあります。信頼できるアプリケーションのみを操作対象とし、不特定のWebサイトの操作は避けることが推奨されます。操作ログを残しておけば、想定外の挙動が起きた際にも原因を追跡しやすくなります。

Claude Codeとの役割分担・組み合わせ方

Claude CodeとComputer Useは、どちらも開発・業務自動化を支えるツールですが、得意な領域が異なります。両者の違いを理解しておくと、どちらを使うべきかの判断がしやすくなります。

CLI操作とGUI操作の使い分け

Claude Codeは主にターミナル上のテキストベースの操作に特化したツールです。一方、Computer UseはGUI画面の操作に対応します。コード編集・コマンド実行・Git操作といった開発作業にはClaude Codeを、APIのないレガシーシステムやGUI操作にはComputer Useを使うという住み分けが基本になります。

SDK/ヘッドレスモードと組み合わせた統合運用

両者を組み合わせることで、CLIでの開発作業とGUI操作の自動化を統合できます。SDK/ヘッドレスモードでClaude Codeをプログラムから呼び出し、必要に応じてComputer UseのAPIを組み合わせるアーキテクチャも可能です。開発作業の一部としてGUI確認が必要になる場面では、こうした統合運用が効果を発揮します。

業務自動化の全体設計における位置づけ

Computer Useを単体の機能として捉えるのではなく、社内の業務自動化フロー全体のどこに位置づけるかを考えることが、導入効果を高めるうえで重要です。

「一気通貫」の自動化フローの中でComputer Useが担う役割

例えば、APIで連携できる部分はワークフローや連携ツールで自動化し、APIのないレガシーシステムやGUIでしか操作できない箇所だけをComputer Useが補完する、という設計が現実的です。基幹システムからのデータ抽出（Computer Use）→ HubSpotへの取り込み（API連携）→ レポートでの可視化、という一連の流れの中にComputer Useを位置づけることで、自動化の抜け漏れを減らせます。企業ごとに残っているレガシーツールやSaaSの組み合わせは異なるため、自社の業務要件に合わせてどこまでComputer Useに任せるかを設計することが重要です。

スモールスタートで始める導入ステップ

いきなり本番の基幹業務にComputer Useを組み込むのではなく、まずは影響範囲の小さい定型作業から試すことをおすすめします。デスクトップアプリで簡単な操作を試し、挙動やリスクを把握したうえで、効果が見込める業務からDocker環境での本格運用に広げていく、という段階的な進め方が現実的です。すべてを一気に自動化しようとせず、優先順位をつけて取り組める業務から着手いただければと思います。

よくある質問

Q1. Claude Computer Useは通常のRPAとどう違いますか？

従来のRPAはUIの要素IDやXPathに依存するため、画面構成が変わると動作しなくなることがあります。Claude Computer Useはスクリーンショットのピクセル情報をAIが認識して操作するため、画面レイアウトの変更に対してより柔軟に対応できます。ただし、座標ベースの操作であるため、解像度やウィンドウサイズの影響を受ける点には注意が必要です。

Q2. Computer Useを安全に使うために最低限必要な対策は何ですか？

Docker等のサンドボックス環境で実行すること、管理者権限のない最小権限アカウントを使うこと、不要な外部通信をブロックすることの3点が土台になります。さらに、すべてのスクリーンショットとアクションをログに保存し、パスワードマネージャーや機密情報が表示される画面での操作は避けてください。

Q3. Claude CodeとComputer Useはどのように使い分けるべきですか？

Claude Codeはターミナル上のテキストベース操作（コード編集、コマンド実行、Git操作など）に特化しており、Computer UseはGUI画面の操作（ボタンクリック、フォーム入力、SaaS管理画面の操作など）に対応します。開発作業にはClaude Code、APIのないレガシーシステムやGUI操作にはComputer Useという使い分けが基本です。

Q4. Computer Useの操作精度はどの程度ですか？

Computer Useはスクリーンショットのピクセル情報をAIが解析して操作するため、ボタンやテキスト入力欄などの一般的なUI要素に対しては安定して操作できます。ただし、画面解像度やウィンドウサイズの変更、動的に位置が変わるUI要素に対しては精度が下がることがあります。安定した操作のためには、固定解像度のDocker環境での実行がおすすめです。

Q5. Computer UseをCI/CDパイプラインに組み込むことは可能ですか？

はい、Anthropic APIとDocker環境を組み合わせることで、CI/CDパイプラインにComputer Useを組み込めます。例えば、デプロイ後のビジュアルリグレッションテストや、GUIベースの管理画面での設定確認を自動化できます。ヘッドレス環境で仮想ディスプレイ（Xvfb等）を設定し、APIからComputer Useを呼び出す構成が一般的です。

まとめ

Computer Useは、「スクリーンショット取得→画面認識→操作実行」のサイクルを繰り返すことで、APIの有無を問わずあらゆるアプリケーションのGUI操作を自動化できる技術です。レガシーシステムのデータ入出力、SaaS管理画面の一括設定変更、ビジュアルリグレッションテストなどが主要なユースケースであり、Claude Codeと組み合わせることでCLIでの開発作業とGUI操作の自動化を統合的に運用できます。一方で、座標ベース操作ゆえの精度の限界や、機密情報・大きな判断を伴う操作は任せないという線引きも欠かせません。

まずはデスクトップアプリの「コンピュータ使用」トグルをオンにして、影響範囲の小さい定型作業から試してみることをおすすめします。次の3ステップで進めていただくとスムーズです。

1. デスクトップアプリでComputer Useを有効化し、簡単な操作で挙動を確認する
2. 自社に残っているAPI非対応のツールや、GUIでの手作業が多い業務を洗い出す
3. 効果が見込める業務から、Docker環境やAPI連携での本格運用に段階的に広げる

CRMを活用した業務効率化やAIとの連携に関するご相談は、CRM特化型コンサルティングのHubSpotゴールドパートナーのStartLinkまでお気軽にお問い合わせください。

あわせて読みたい

• Claude Codeの/loopコマンド｜定期実行でデプロイ監視・ステータスチェックを自動化する
• Claude Code Hooksで開発を自動化する方法｜フック設計パターンと実装ガイド
• Claude Codeのリモートコントロール｜外出先からiPhone・ブラウザで開発を操作する方法