解説

企業が生成AIやAIエージェントを社内で広く利用しようとする際、セキュリティ対策、ガバナンスの維持、そして求められる処理性能(スケール)といった課題に直面しがちです。特に全従業員が一人の利用者が数多くのエージェントを稼働させるような大規模な展開を計画する場合、その入り口となる共通基盤の整備が必須となります。

本記事では、ソフトバンクという企業事例を通して、AIの共通利用基盤「Cloud Proxy」の設計思想と運用の工夫が解説されています。このプラットフォームは、単にAPIへの窓口を提供するだけでなく、認証・認可を一元管理し、すべてのAI利用を追跡可能な仕組みを持っています。

具体的には、内部キー(Internal Key)を配布することで、各部署や利用者単位でアクセス権を細かくコントロールしています。これにより、従来の「外部APIキーの直接利用」による情報漏洩リスクや利用状況の不明確さという大きな課題を克服しました。

また、「全社で1人100エージェント」といった爆発的な需要を見据え、処理能力の大幅なスケールアウトを実現し、さらに複数の大規模言語モデル(LLM)への対応プロセスもテンプレート化することで、導入スピードの向上と安定稼働を両立させています。このような共通基盤を持つことは、企業のAI活用を一元管理し、安全かつ迅速に全社展開するための重要な土台となります。

ポイント

  • 生成AIエージェントの爆発的な需要に対応するため、ソフトバンクは全社AI共通基盤「Cloud Proxy」を構築・強化した。
  • 本基盤では、内部キーを用いた利用制御によりセキュリティとガバナンスを確保しつつ、大規模なトラフィック増にも対応可能となった。
  • これにより、利用状況の追跡や複数モデルへの展開が容易になり、全社的なAI活用の加速を支える仕組みが完成した。

情シスへの影響

アクセス制御とガバナンス

従来の外部APIキーを直接利用するのではなく、共通基盤(Cloud Proxyのようなもの)を経由し、テナントや利用者ごとに「Internal Key」を用いて認証・認可を一元管理することが重要となる。これにより、誰がどのモデルをどれだけ使ったかの追跡が可能となり、ガバナンスと監査対応の要件を満たせる。

性能とスケールアウト

AI利用が急増する可能性を見越して、バックエンド基盤(プロキシレイヤー)の耐障害性やスループットを事前に検証し、柔軟な自動スケールアウト機構(例:ワークフローツールによる自動化)を構築しておく必要がある。短期間での性能強化計画と実行プロセスが必要。

マルチLLM対応の標準化

複数のAIモデル(Azure OpenAI, Geminiなど)を利用する環境では、モデル追加や切り替えの作業をテンプレート化し、迅速な導入が可能な運用フローを確立することが求められる。これにより開発リードタイムを大幅に短縮できる。

セキュリティ認証基盤との連携

高度なセキュリティ要件を満たすため、独自のIDプロバイダー(IdP)とAIゲートウェイを連携させ、利用手続きの工数削減とセキュリティ担保を行う必要がある。

影響範囲

【環境】生成AIやLLMを利用する全ての業務アプリケーション(エージェントを含む)。
【基盤・レイヤー】API呼び出しのエンドポイント層(プロキシ/ゲートウェイ機能の実装)。
【管理領域】認証認可、利用ログの集積と追跡(監査ログ)、課金管理。
【影響範囲】全従業員を含む全ての利用者。特に、複数の外部AIサービスを利用する部署、広範なエージェントを開発・運用するチームに影響し得る。

重要度

★★★★☆

対象者

  • セキュリティ担当者
  • Entra管理者
  • M365管理者
  • ネットワーク管理者
  • Linux管理者
  • ヘルプデスク担当

優先度

早めに対応

優先度の理由

本記事は、生成AIの本格的な全社導入に伴い、最も重要な「セキュリティ(漏洩防止)」「ガバナンス(利用追跡)」「性能(スケール)」という三つの課題を高度に解決した具体事例を示している。単なる新機能ではなく、組織全体のリスク管理と事業継続に関わる基盤設計のベストプラクティスであるため、自社のAI導入計画を見直す上での参考情報として重要性が高い。特に、利用規模が大きくなる前にログ取得や認証の一元化を図るべきタイミングであり、早めの対策検討が望ましい。

確認手順

  • 現在、開発中の/利用しているエージェント群が複数の外部AIモデル(LLM)にアクセスする全ての経路を特定し、制御できる共通のゲートウェイ層を経由させているか確認する。
  • APIキーやシークレットなどの機密情報が個別のアプリケーションコードや環境変数に直接ハードコーディングされていないか監査ログを確認する。
  • 誰(利用者/部署)が、どのモデルを、どれだけの量使っているかをリアルタイムかつ追跡可能なロギングシステムを構築・確認できるか検証する。
  • 利用者の認証に外部IdP (ID Provider) を統合し、AI基盤へのアクセス制御を実現できているか確認する。

推奨対応

  • 自社の生成AI利用状況の全体像を把握するため、「共通APIゲートウェイ」の導入検討に着手し、従来の個別アクセス方式からの脱却を図る。
  • AIエージェントを利用したシステムの設計初期段階から「認証・認可」「ログ取得」「コスト管理」の機能要件を組み込み、セキュリティ設計に組み込むことを徹底する。
  • 利用状況が分散化している場合は、ガバナンスと費用対効果の観点から一元的な監視および制御レイヤーの導入計画を策定する。
  • 本記事で述べられているような「内部キー」や「テナント管理」といった仕組みは、ベンダー公式の情報やソリューションアーキテクトからの助言を得て実現可能性を評価することが推奨される。