「AIがパソコンを直接操作してくれると聞いたが、どこまでできるのか知りたい」「APIがない古い業務システムへの入力を、AIで自動化できないか」。AIエージェントへの関心が高まる中で、こうした相談が増えています。
Claude Computer Useは、Anthropicが提供するAI「Claude」が、画面の画像を見ながらマウスやキーボードを操作し、人がパソコンで行う作業を進める機能です。画面さえ操作できれば、専用の連携の仕組みがないアプリでも作業を任せられる可能性がある一方で、使い方を誤ると、誤操作や情報漏えいにつながるおそれもあります。
本記事では、Anthropicの公式ドキュメントの情報をもとに、Claude Computer Useの仕組み、デスクトップアプリとAPIの2つの使い方、できることと活用例、始め方、料金、セキュリティの注意点、限界と精度を上げるコツ、業務に導入する進め方までを整理します。
| 確認したいポイント | 結論 | 詳細 |
| Claude Computer Useとは? | Claudeが画面を見てPCを操作する機能 | 画面の画像を見ながら、マウスのクリックやキーボードの入力を行い、人がパソコンで行う作業をClaudeが代わりに進めます。 |
| どうやって使う? | デスクトップアプリかAPIで使う | ClaudeのデスクトップアプリでPCを操作させる方法と、APIを使って自社の仕組みに組み込む方法の2つがあります。 |
| 料金はかかる? | APIは使った量に応じた従量課金 | APIでは通常のツール利用と同じくトークン量で課金され、画面の画像も入力として数えられます。アプリは対象のプランで使えます。 |
| 注意点は? | 専用の環境と人による確認が必要 | 専用の仮想環境で動かし、機密情報を渡さず、重要な操作は人が確認します。悪意のある指示が画面に含まれる危険にも備えます。 |
この記事でわかること
- Claude Computer Useの仕組みと、RPAなどほかの自動化との違い
- デスクトップアプリとAPIの2つの使い方と、それぞれの始め方
- 業務での活用例と、APIでの実装の流れ・料金の考え方
- 公式ドキュメントにもとづくセキュリティの注意点
- 現在の限界と精度を上げるコツ、業務に導入する進め方
| AIエージェントによる業務の自動化を検討している企業の方へ ネクストスケールでは、AI活用の戦略設計から、AIエージェントや業務自動化の仕組みづくり、社員研修、現場への定着までを一気通貫で支援しています。支援内容や料金、導入事例をまとめた資料を無料でお送りします。 資料請求はこちら |
Claude Computer Useとは
最初に、Claude Computer Useがどのような機能なのかを確認しておきましょう。仕組みを理解しておくと、向いている作業と向いていない作業を判断しやすくなります。
画面を見てパソコンを操作するClaudeの機能
Claude Computer Useは、Claudeが画面のスクリーンショットを見て状況を判断し、マウスのクリックや文字の入力、スクロールなどの操作を行う機能です。英語では「computer use」と呼ばれます。
人がパソコンで作業するときと同じように、画面を見て、ボタンを押し、文字を入力して作業を進めるため、専用のAPIや連携の仕組みがないアプリでも操作できるのが大きな特長です。Anthropicは2024年10月にこの機能を公開し、その後も改良を続けています。
作業の流れはAIと実行環境のやり取り
Claude Computer Useでは、Claudeが「この位置をクリックする」「この文字を入力する」といった操作を指示し、パソコン側の環境がその操作を実行して、結果の画面をClaudeに返すというやり取りを繰り返して作業を進めます。
Claudeは返ってきた画面を見て、次に何をすべきかを判断します。この繰り返しは「エージェントループ」と呼ばれ、作業が終わるまで自律的に続きます。
RPAやブラウザの自動化との違い
従来のRPAやブラウザの自動化のツールは、あらかじめ決めた手順どおりに操作を繰り返すのが基本です。画面の配置が少し変わるだけで止まってしまうこともあります。
一方、Claude Computer Useは、画面を見てその場で判断しながら操作するため、手順を細かく決めていない作業や、画面が多少変わる作業にも対応できる可能性があります。ただし、速さや確実さではRPAに劣る場面も多く、両者は目的に応じて使い分けるのが現実的です。RPAの考え方は、RPAで業務効率化を実現するには?導入メリット・活用事例・ツール選びと注意点を解説で紹介しています。
関連記事:RPAで業務効率化を実現するには?導入メリット・活用事例・ツール選びと注意点を解説
Claude Computer Useの2つの使い方
Claude Computer Useには、大きく分けてデスクトップアプリで使う方法と、APIで自社の仕組みに組み込む方法の2つがあります。それぞれの特徴を確認しておきましょう。
| 使い方 | 主な利用者 | 特徴 |
|---|---|---|
| Claudeのデスクトップアプリ | 業務の担当者、個人 | プログラミングなしで、手元のパソコンのアプリをClaudeに操作させられる(ベータ版) |
| API(Computer Useツール) | 開発者、システムの担当者 | 自社で用意した仮想環境と組み合わせて、業務の仕組みに組み込める |
Claudeのデスクトップアプリで使う
Anthropicのヘルプセンターによると、ClaudeのデスクトップアプリのCoworkやClaude Codeで、Claudeに手元のパソコンを操作させる機能がベータ版として提供されています。対象はProプランとMaxプランで、macOSとWindowsで利用できます。
連携の仕組み(コネクタ)やツールがない作業のときに、Claudeが画面を直接操作して作業を進めます。プログラミングをしなくても使えるため、業務の担当者が試しやすい方法です。
APIで自社の仕組みに組み込む
開発者向けには、Claude APIの「Computer Useツール」が提供されています。自社で用意した仮想マシンやコンテナの中のデスクトップを、Claudeに操作させる仕組みを作れます。
業務のシステムと組み合わせて、決まった作業を自動で実行させたり、社内のツールに組み込んだりする場合はこちらの方法を使います。実装には、実行環境の構築とプログラムの開発が必要です。
Webの中だけの作業ならブラウザ用の機能も
公式ドキュメントでは、作業がWebページの中で完結する場合は、デスクトップ全体を操作するComputer Useよりも、ブラウザを操作するための専用のツールのほうが適していると案内されています。
ブラウザでの作業が中心であれば、ブラウザ用のツールや、ChromeでClaudeを使う機能も候補になります。作業の範囲に合わせて、最も軽い方法を選ぶことが大切です。
Claude Computer Useでできることと活用例
Claude Computer Useは、画面の操作で行うさまざまな作業に活用できます。ここでは、業務での代表的な活用例を紹介します。
APIがない業務システムへの入力や転記
古い業務システムや、外部と連携する仕組みを持たないアプリでは、データの入力や転記を人が画面を操作して行うしかありません。Claude Computer Useなら、画面を見ながらこうした入力の作業を任せられる可能性があります。
ただし、誤った入力が大きな影響を及ぼす業務では、Claudeが入力した内容を人が確認する流れを組み込むことが欠かせません。
ソフトウェアの動作のテスト
公式ドキュメントでは、速さが重要でない用途の例として、ソフトウェアのテストの自動化が挙げられています。画面を操作して、アプリが想定どおりに動くかを確かめる作業に活用できます。
テストの手順を文章で伝えるだけで、画面の操作と結果の確認を任せられれば、テストの準備にかかる手間を減らせます。本番の前に検証する環境の考え方は、ステージング環境とは?本番・開発・テスト環境との違いと構築時の注意点を解説もあわせてご覧ください。
関連記事:ステージング環境とは?本番・開発・テスト環境との違いと構築時の注意点を解説
情報の収集と整理
複数のWebサイトやアプリを行き来して情報を集め、表やファイルにまとめるといった作業も、Claude Computer Useの活用の候補です。公式ドキュメントでも、背景での情報収集が用途の例として挙げられています。
ただし、Webサイトの利用規約で自動での操作が禁止されている場合もあるため、対象のサイトのルールを確認したうえで使いましょう。
複数のアプリをまたぐ作業
メールの内容を確認し、表計算のソフトに転記し、資料を作成するといった、複数のアプリをまたぐ一連の作業を任せることもできます。
ただし、公式ドキュメントでは、なじみの薄いアプリや、複数のアプリを同時に扱う作業では、信頼性が下がる場合があるとされています。最初は単純な作業から試し、段階的に範囲を広げましょう。
| AIエージェントで自動化できる業務を知りたい方へ 現在の業務の流れを伺い、Computer Use、RPA、APIでの連携など、作業に合った自動化の方法と進め方を無料でご提案します。オンラインで30分からご相談いただけます。 相談予約はこちら |
デスクトップアプリでの始め方
ここでは、Claudeのデスクトップアプリでコンピューターの操作の機能を使い始める流れを、Anthropicのヘルプセンターの情報をもとに紹介します。機能はベータ版のため、内容は変わる可能性があります。
利用の前提を確認する
ヘルプセンターによると、この機能はProプランとMaxプランで、macOSとWindowsのClaudeのデスクトップアプリで提供されています。最新のデスクトップアプリを使っていることを確認しましょう。
また、作業中はパソコンが起動した状態で、デスクトップアプリが開いている必要があります。法人の契約で使う場合は、組織の管理者の設定も確認しておきましょう。
設定で機能を有効にする
コンピューターの操作の機能は、初期の状態ではオフになっています。デスクトップアプリの設定で、コンピューターの操作を有効にする項目をオンにします。
機能がオフのまま、パソコンの操作が必要な作業を頼んだ場合は、Claudeが設定で有効にするよう案内してくれます。
作業を頼み、アプリへのアクセスを許可する
有効にしたら、パソコンのアプリを使う作業をClaudeに依頼します。Claudeは作業を始める前に、そのアプリにアクセスしてよいかの許可を求めます。
許可するアプリは、作業に必要なものだけに絞りましょう。最初は、誤って操作しても影響の小さい作業から試すのがおすすめです。
APIでの実装の流れ
ここでは、開発者向けに、Claude APIのComputer Useツールを使った実装の流れの概要を紹介します。詳細な仕様は、必ず公式ドキュメントで確認してください。
Computer Useツールの概要
2026年10月時点の公式ドキュメントでは、Computer Useツールは「computer_toolset_20260801」という形で提供されています。リクエストの中でこのツールを指定すると、スクリーンショット、クリック、文字の入力、拡大表示など、17種類の操作をClaudeが使えるようになります。
このツールはベータ版の指定なしで利用でき、Claude APIとGoogle Cloudで使えます。Amazon Bedrockなどほかの環境では、以前のベータ版のツールが提供されています。対応しているモデルや環境は変わることがあるため、公式ドキュメントで確認しましょう。
実行する環境を用意する
Computer Useでは、Claudeが直接パソコンにつながるのではなく、開発者が用意した環境の中で、アプリケーションが操作を実行します。公式ドキュメントでは、仮想のディスプレイ、デスクトップの環境、ブラウザなどのアプリケーション、操作を実行するプログラムを、隔離された環境の中に用意する構成が説明されています。
Anthropicは、Dockerのコンテナで動く参考の実装を公開しており、これを出発点にすると環境づくりの手間を減らせます。
リクエストの例
公式ドキュメントのクイックスタートでは、Pythonで次のようにリクエストを送る例が示されています。Computer Useツールと一緒に、テキストの編集やコマンドの実行のツールも指定しています。
import anthropic
client = anthropic.Anthropic()
response = client.messages.create(
model=”claude-opus-5-5″,
max_tokens=1024,
tools=[
{“type”: “computer_toolset_20260801”},
{“type”: “text_editor_20250728”, “name”: “str_replace_based_edit_tool”},
{“type”: “bash_20250124”, “name”: “bash”},
],
messages=[{“role”: “user”, “content”: “Save a picture of a cat to my desktop.”}],
)
print(response)
Claudeは、クリックやスクリーンショットなどの操作を指示する応答を返します。アプリケーションは、指示された操作を順番に実行し、その結果(スクリーンショットの画像など)をClaudeに返します。これを作業が終わるまで繰り返すのが、エージェントループの基本の形です。
実装で押さえておきたいポイント
公式ドキュメントでは、1回の応答に複数の操作がまとめて含まれる場合は、順番に実行し、途中で失敗したら残りの操作は実行しないことが求められています。また、ループが無限に続かないよう、繰り返しの回数に上限を設けることも推奨されています。
スクリーンショットの解像度は、一般的なデスクトップの作業では1024×768や1280×720が推奨されています。画像を縮小して返す場合は、Claudeが返す座標を元の画面の大きさに合わせて変換する必要があります。
Claude Computer Useの料金
APIでComputer Useを使う場合の料金は、通常のツールの利用と同じ考え方で、送受信したトークンの量に応じて課金されます。ここでは、公式ドキュメントにもとづく費用の考え方を紹介します。
ツールの定義とスクリーンショットの分のトークン
公式ドキュメントによると、Computer Useツールを指定すると、ツールの定義などのために、1回のリクエストにつき約4,500トークンの入力が加わります。さらに、作業の途中で返すスクリーンショットや拡大表示の画像も、画像の入力として課金されます。
スクリーンショットは1枚あたりおよそ1,000〜1,800トークンとされており、長い作業ほど画像が蓄積して費用が増えます。料金の単価は利用するモデルによって異なるため、公式の料金のページで確認しましょう。
費用を抑える工夫
費用を抑えるには、作業を短く区切る、古いスクリーンショットを整理する、繰り返し使う部分にプロンプトキャッシュを使うといった工夫が有効です。公式ドキュメントでも、スクリーンショットの履歴の管理の方法が詳しく案内されています。
また、APIで直接データを取得できる作業や、手順が固定された作業は、Computer Useを使わずに通常のプログラムやRPAで処理したほうが、速く安く済みます。
| AIエージェントの業務活用を社内で検討している方へ ネクストスケールの支援内容やAIエージェント・業務自動化の進め方、料金プラン、導入事例をまとめた資料をご用意しています。社内での検討資料としてもご活用ください。 資料請求はこちら |
セキュリティの注意点
公式ドキュメントでは、Computer Useには通常のAPIの機能とは異なる特有のリスクがあり、インターネットとやり取りする場合はそのリスクが高まると説明されています。ここでは、公式に推奨されている対策を中心に紹介します。
専用の仮想マシンやコンテナで動かす
公式ドキュメントでは、権限を最小限にした専用の仮想マシンやコンテナを使うことが推奨されています。社員が普段使っているパソコンや、重要なデータがあるサーバーで直接動かすのは避けましょう。
万が一、誤った操作が行われても、被害が隔離された環境の中にとどまるようにしておくことが基本です。
機密情報やログイン情報を渡さない
アカウントのログイン情報などの機密情報に、Claudeがアクセスできないようにすることも推奨されています。ログインが必要なアプリでの利用は、悪意のある指示による被害のリスクを高めるとされています。
どうしてもログインが必要な場合は、権限を絞った専用のアカウントを用意し、公式ドキュメントの注意事項を確認したうえで扱いましょう。
アクセスできるWebサイトを限定する
インターネットへのアクセスを、許可したドメインの一覧に限定することも、公式に推奨されている対策の1つです。悪意のあるコンテンツに触れる機会を減らせます。
重要な操作は人が確認する
支払いの手続き、利用規約への同意、Cookieの受け入れなど、現実に大きな影響を及ぼす操作や、本人の同意が必要な操作は、人が確認してから実行することが推奨されています。
1回の応答で複数の操作がまとめて実行されることもあるため、確認の仕組みは、操作を1つ実行するたびに、その前に確認する仕組みにしておくことが大切です。
画面に含まれる悪意のある指示に備える
公式ドキュメントによると、Webページや画像に含まれる指示に、Claudeが従ってしまう場合があるとされています。これは「プロンプトインジェクション」と呼ばれるリスクです。
Anthropicは、スクリーンショットなどの内容を自動で確認し、疑わしい指示を見つけた場合に、ユーザーの指示かどうかを確かめるよう促す仕組みを設けています。ただし、それだけに頼らず、ここまでの対策をあわせて行うことが重要です。自社の製品に組み込む場合は、利用者にリスクを説明し、同意を得ることも求められています。
操作のデータは自社の環境に保存される
公式ドキュメントによると、Computer Useは利用者側で実行するツールで、スクリーンショットや操作の記録は自社の環境に保存されます。Anthropicは、APIの呼び出しの中で画像や操作の要求をリアルタイムに処理します。
保存の場所と方法を自社で管理できる一方で、記録の取り扱いのルールは自社で決める必要があります。生成AIを安全に使う環境づくりは、AOAIとは?Azure OpenAI ServiceとChatGPTの違い・導入の進め方を解説でも紹介しています。
関連記事:AOAIとは?Azure OpenAI ServiceとChatGPTの違い・導入の進め方を解説
現在の限界と精度を上げるコツ
Claude Computer Useは便利な機能ですが、公式ドキュメントでもいくつかの限界が明記されています。限界を理解したうえで、精度を上げる工夫をしましょう。
公式に示されている主な限界
公式ドキュメントでは、人が操作するのに比べて速度が遅いこと、クリックする位置や使うツールの選択を誤る場合があること、スクロールや表計算のソフトの操作がうまくいかない場合があることなどが限界として挙げられています。
そのため、速さが重要でない作業や、信頼できる環境での作業から活用することが推奨されています。ごくわずかな誤りも許されない作業や、機微な個人情報を扱う作業を、人の監督なしで任せるのは避けましょう。
作業を単純にし、手順を明確に伝える
公式ドキュメントでは、単純で明確な作業を指定し、各手順の指示をはっきり伝えることが推奨されています。複雑な作業は、小さな作業に分けて依頼しましょう。
繰り返し行う作業では、うまくいったときの画面や操作の例をあらかじめ伝えておくと、精度が上がりやすくなります。
各手順の結果を画面で確認させる
Claudeは、操作の結果を確認せずに、うまくいったと思い込んでしまう場合があります。公式ドキュメントでは、各手順のあとにスクリーンショットを撮って結果を確かめるよう指示する方法が紹介されています。
ドロップダウンやスクロールバーのように、マウスでの操作が難しい部品は、キーボードのショートカットを使うよう指示すると改善することがあります。
Claude Computer Useを業務に導入する進め方
最後に、Claude Computer Useを業務に取り入れる際の進め方を紹介します。ほかの自動化の方法と比べて、本当にComputer Useが適しているかを見極めることが出発点です。
自動化の方法を使い分ける
自動化したい作業のうち、APIで連携できるものはAPI、手順がすべて決まっているものはRPAやプログラム、画面を見ながらの判断が必要なものや、ほかの方法では自動化できないものはComputer Useというように、方法を使い分けましょう。
すべてをComputer Useに任せようとすると、速度や費用、確実さの面で非効率になることがあります。AIエージェントを使った業務の自動化の段階的な進め方は、AIエージェント 自動化|RPAとの違い・自動化の5段階・失敗しない設計手順で詳しく解説しています。
関連記事:AIエージェント 自動化 RPAとの違い・自動化の5段階・失敗しない設計手順【2026年版】
影響の小さい作業で小さく検証する
最初は、誤った操作をしても影響が小さく、結果を人がすぐに確認できる作業を選んで検証しましょう。成功の割合、かかる時間、費用を記録し、実用に耐えるかを判断します。
検証の結果をもとに、人が確認する箇所や、任せる作業の範囲を少しずつ広げていくのが安全な進め方です。
利用のルールと運用の体制を整える
Computer Useを業務で使うには、使ってよい作業と環境、渡してよい情報、人が確認する操作、記録の保存の方法などを社内のルールとして決めておく必要があります。
あわせて、うまくいかなかったときの対応や、AIの操作の記録を定期的に確認する担当者も決めておきましょう。社員がAIを安全に使いこなせるよう、生成AI活用研修などで基礎をそろえておくことも効果的です。
| AIエージェントを安全に業務へ組み込みたい方へ 自動化する作業の選定から、Computer UseやRPA、APIを組み合わせた仕組みの設計・開発、セキュリティと運用のルールづくりまで、伴走して支援します。お気軽にご相談ください。 相談予約はこちら |
Claude Computer Useのよくある質問
最後に、Claude Computer Useについてよく寄せられる質問と、その回答を紹介します。
無料のプランでも使える?
Anthropicのヘルプセンターによると、デスクトップアプリでのコンピューターの操作の機能は、ProプランとMaxプランを対象としたベータ版として提供されています。APIで使う場合は、利用した量に応じた料金がかかります。
対象のプランや提供の範囲は変わることがあるため、最新の情報は公式のヘルプセンターで確認しましょう。
スマートフォンからも使える?
ヘルプセンターでは、macOSとWindowsのデスクトップアプリ向けの機能として案内されており、スマートフォンからの利用は案内されていません。作業中は、パソコンが起動していて、デスクトップアプリが開いている必要があります。
業務で使っても安全?
安全に使えるかどうかは、どのような環境で、どのような作業を任せるかによって大きく変わります。公式ドキュメントでも、Computer Useには特有のリスクがあることが明記されています。
専用の環境の用意、渡す情報の制限、人による確認などの対策を講じたうえで、影響の小さい作業から試していくことが大切です。業務への導入に不安がある場合は、専門家に相談しながら進めると安心です。
まとめ|特性を理解し、安全な環境で小さく試そう
Claude Computer Useは、Claudeが画面を見ながらマウスやキーボードを操作し、人がパソコンで行う作業を進める機能です。Pro・Maxプラン向けのベータ版の機能として使う方法と、Claude APIのComputer Useツールで自社の仕組みに組み込む方法があります。
APIの料金はトークンの量に応じた従量課金で、ツールの定義やスクリーンショットの分も課金されます。専用の仮想環境で動かす、機密情報を渡さない、アクセスできるサイトを限定する、重要な操作は人が確認するといった対策を講じ、APIやRPAとも使い分けながら、影響の小さい作業から段階的に活用を広げていきましょう。詳しい仕様は、Anthropicの公式ドキュメント「Computer use tool」で確認できます。
ネクストスケールでは、AI活用の戦略設計から、AIエージェントや業務自動化の仕組みづくり、社員研修、現場への定着までを一気通貫で支援しています。開発を任せたい場合はAIシステム開発、自動化の進め方から相談したい場合はAIコンサル・AX伴走支援のページもご覧ください。
AIコンサル・AX伴走支援サービスご紹介資料
この資料でこんなことがわかります!
- 社外AI役員とは
- 支援内容
- 導入の進め方
- 導入実績・効果
\3ステップで簡単入力/
| AIエージェントによる業務の自動化を一緒に進めませんか 自動化する業務の洗い出しから、Computer UseやAPI、RPAを組み合わせた仕組みの設計・開発、安全な運用のルールづくり、社員への定着までをご支援します。しつこい営業はいたしませんので、まずは無料相談をご利用ください。 相談予約はこちら |




