AIによる画面操作機能「Computer Use」搭載の動向と業務自動化への影響

解説

Googleが提供する高性能なAIモデル「Gemini 3.5 Flash」に、画期的な機能「Computer Use」を標準搭載したことが発表されました。従来のAIがテキストや画像の内容生成を得意としていたのに対し、この新機能は、コンピュータの画面全体（スクリーンショット）を認識し、ユーザーの操作（マウスのクリックやキーボード入力など）を自動で提案・実行できる点に大きな特徴があります。

処理の仕組みとしては、まずAIが目標タスクと現在の画面情報を受け取ります。その上で、「この座標をクリックすべき」「ここに特定の文字を入力する必要がある」といった次の具体的なアクションを判断し、これを開発者のプログラムレイヤーを通じて実行します。実行後の新しい画面の状態も再びAIにフィードバックされ、目的のタスクが完了するまで、このように一連の流れで自律的な操作を繰り返すことが可能になります。

以前は専用モデルとして提供されていたこの「Computer Use」機能が、メジャーな基盤モデルであるGemini 3.5 Flashにネイティブ統合されたのが今回の大きなポイントです。これにより、単なるチャットやコンテンツ生成を超え、複数の専門的なアプリケーションをまたぐ大規模で継続的なタスク処理や、高度な業務自動化（エージェント構築）への応用が期待されています。

ただし、AIが画面操作という非常に広範かつ機密性の高い領域に踏み込むため、Googleはセキュリティリスクについても深く考慮しています。信頼できない情報に基づく誤った操作や、意図しないデータの入力といった潜在的な危険性を指摘し、対策として明示的なユーザー確認のプロセスや、不正な指示（プロンプトインジェクション）を検知した際の自動停止機能など、多層的な防御機構を提供すると述べています。これは、今後AIを活用したシステムの設計において非常に重要な考慮点となります。

ポイント

• Googleが高性能AIモデル「Gemini 3.5 Flash」に、画面を認識して実際の操作を実行する機能（Computer Use）を標準搭載しました。
• この機能は、目標と現在の画面状態に基づき、クリックや文字入力などの具体的な操作を連続的に自動実行できます。
• 単なる情報生成から「自律的なタスク実行」への進化であり、高度な業務自動化が期待される一方、安全性確保のための仕組み設計が必須となっています。

情シスへの影響

サービス提供・開発レイヤーにおける影響

AIエージェントを組み込んだ新たなアプリケーションやワークフローシステムを構築する際、基盤となるAIモデルの利用形態が変わる可能性があります。

従来の「APIコールによる情報処理」だけでなく、「画面認識に基づく操作実行（UI/UXインタラクション）」が必要となり、システムのアーキテクチャ設計に大きな変更が求められます。特に、入力としてスクリーンショットやDOM要素といった視覚情報を用いる前提で開発を進める必要があります。

セキュリティおよびガバナンスの観点から確認すべき事項

本機能は自動的にユーザー操作（マウス/キーボード）を実行するため、セキュリティリスクと利便性が直結します。システムに組み込む際は、以下の防御メカニズムを必須で実装・検証する必要があります。

1. 操作前レビュー機構の導入: 機密性の高い操作や取り消し不可なアクションの前には、必ずユーザーによる明示的な承認（Confirmation Prompt）を挟む仕組みが必要です。

2. 権限管理とアクセス制御: エージェントが実行できる範囲（スコープ）を極めて厳しく限定し、サンドボックス化された環境での運用を原則とすべきです。

3. ログ・監査機能の強化: AIが「なぜ」その操作を行ったのかという判断根拠（Reasoning/思考過程）と、「どのデータ」にアクセスしたかを追跡できる詳細な監査ログシステムが不可欠となります。

運用上の考慮点

本機能はプレビュー段階であり、未熟な点や脆弱性が想定されるため、実務への導入においては段階的（PoCレベルなど）に進めるべきです。特に組織のコア業務自動化に利用する際は、予期せぬ動作によるビジネスロジックの破壊を防ぐための徹底的なテストと検証が必要です。

重要度

★★★★☆

対象者

• セキュリティ担当者
• 開発管理者（DevOps/SE）
• M365管理者

優先度

早めに対応