生成 AI セキュリティスコーピングマトリックス

概要

組織による生成 AI テクノロジーの採用がますます増えるにつれ、セキュリティへの影響を理解することが重要になります。ID とアクセス管理、データ保護、プライバシーとコンプライアンス、アプリケーションセキュリティ、脅威モデリングなどの中核的なセキュリティ分野は、その他のワークロードと同様、生成 AI ワークロードにとっても依然として非常に重要です。しかし、長年にわたるセキュリティプラクティスの重要性を強調するだけでなく、生成 AI ワークロードがもたらす固有のリスクやセキュリティ上の追加の考慮事項を理解することが重要です。

生成 AI セキュリティスコーピングマトリックスは、組織が AI ライフサイクル全体にわたってセキュリティ制御を評価および実装するのに役立つ、包括的なフレームワークです。セキュリティに関する考慮事項を特定のカテゴリに分類し、AI アプリケーションを保護するための焦点を絞ったアプローチを可能にします。
 

デスクトップ版

生成 AI セキュリティスコーピングマトリックス

ユースケースを分類するためのメンタルモデル

スコープ 1

カスタマーアプリ

「パブリック」生成 AI サービスの使用

例: PartyRock (Amazon Bedrock Playground)、ChatGPT、Midjourney

スコープ 2

エンタープライズアプリ

生成 AI 機能を備えたアプリまたは SaaS の使用

例: Amazon Q

スコープ 3

事前トレーニング済みモデル

バージョン管理されたモデルでのアプリの構築

例: Amazon Bedrock ベースモデル

スコープ 4

ファインチューニングされたモデル

データに基づくモデルのファインチューニング

例: Amazon Bedrock カスタマイズモデル、Amazon SageMaker Jumpstart

スコープ 5

自己学習モデル

データに基づくモデルのゼロからのトレーニング

例: Amazon SageMaker

生成 AI の保護

ガバナンスとコンプライアンス

法律とプライバシー

リスク管理

制御

耐障害性

購入する
構築
モバイル版

生成 AI セキュリティスコーピングマトリックス

ユースケースを分類するためのメンタルモデル

購入する

スコープ 1

カスタマーアプリ

「パブリック」生成 AI サービスの使用

例: PartyRock (Amazon Bedrock Playground)、ChatGPT、Midjourney

購入する

スコープ 2

エンタープライズアプリ

生成 AI 機能を備えたアプリまたは SaaS の使用

例: Amazon Q

構築

スコープ 3

事前トレーニング済みモデル

バージョン管理されたモデルでのアプリの構築

例: Amazon Bedrock ベースモデル

構築

スコープ 4

ファインチューニングされたモデル

データに基づくモデルのファインチューニング

例: Amazon Bedrock カスタマイズモデル、Amazon SageMaker Jumpstart

構築

スコープ 5

自己学習モデル

データに基づくモデルのゼロからのトレーニング

例: Amazon SageMaker

生成 AI の保護

ガバナンスとコンプライアンス

法律とプライバシー

リスク管理

制御

耐障害性

スコープの判断

1 つ目のステップは、ユースケースがどのスコープに収まるかを判断することです。スコープには 1～5 の番号が付けられています。これは、AI モデルとその関連データに対する組織の所有権が最も少ないものから最も大きなものまでを表しています。

組織は、公開されているサードパーティの生成 AI サービスを、無料または有料で利用しています。これらは多くの場合、「コンシューマーグレード」のアプリケーションであり、企業または商用利用を目的として作成されていない場合があります。このスコープでは、トレーニングデータやモデルを所有または表示することはできず、変更や拡張もできません。プロバイダーの利用規約に従って、API を呼び出すか、アプリケーションを直接使用します。

例: ある従業員が公開ウェブサイトを介して生成 AI チャットアプリケーションを操作し、今後のマーケティングキャンペーンのアイデアを生み出します。
 

組織は、生成 AI 機能が組み込まれたサードパーティのエンタープライズアプリケーションを使用しており、組織とベンダーの間にビジネス関係が確立されています。スコープ 2 のアプリケーションには多くの場合、企業顧客を対象とし、追加の保護を提供するように設計された利用規約があります。

例: 会議の議題作成に役立つ生成 AI 機能が組み込まれたサードパーティのエンタープライズスケジューリングアプリケーションを使用します。
 

組織は、既存のサードパーティの生成 AI 基盤モデルを使用して独自のアプリケーションを構築します。アプリケーションプログラミングインターフェイス (API) を介してワークロードと直接統合します。

例: Retrieval-Augmented Generation (RAG) を使用して独自のデータを統合し、Amazon Bedrock API を通じて Anthropic Claude 基盤モデルを活用するカスタマーサポートチャットボットを構築します。
 

組織は、既存のサードパーティの生成 AI 基盤モデルをビジネス固有のデータでファインチューニングして改良し、ワークロードに特化した新しい拡張モデルを生成します。

例: 電子医療記録 (EHR) システムに患者の記録を要約するには、医療分野に関する深い専門知識を備えたモデルが必要です。ファインチューニングを行うことで、医師が希望するスタイルに合わせてシステムのアウトプットを調整し、ドメイン固有の用語に関するシステムトレーニングを提供できます。
 

組織は、所有または取得したデータを使用して、生成 AI モデルをゼロから構築してトレーニングします。あなたはモデルのあらゆる側面を所有しています。

例: あなたの組織は、スーパースローモーション動画補間用のカスタムソリューションの構築など、高品質の動画コンテンツを生成するモデルを作成することを目指しています。特殊な動画データでモデルをトレーニングすることで、この高度な動画制作テクノロジーの使用許可をメディアおよびエンターテイメント業界の企業に付与することができます。
 

何を優先すべきか

ワークロードのスコープを決定したら、ビジネスを迅速かつ安全に前進させる必要があります。生成 AI セキュリティスコーピングマトリックスでは、さまざまなタイプの生成 AI ソリューションにおける 5 つのセキュリティ分野を特定します。

  • ガバナンスとコンプライアンス – ビジネスを強化しながらリスクを最小限に抑えるために必要なポリシー、手順、レポート。
  • 法律とプライバシー – 生成 AI ソリューションを使用または作成するための特定の規制、法律、プライバシー要件。
  • リスク管理 – 生成 AI ソリューションに対する潜在的な脅威と推奨される緩和策の特定。
  • 制御 – リスクを軽減するために使用されるセキュリティ制御の実装。
  • レジリエンス – 可用性を維持し、ビジネス SLA を満たす生成 AI ソリューションを設計する方法。

優先すべき機会の例をいくつか見てみましょう。

  • ガバナンスとコンプライアンス

  • ガバナンスとコンプライアンス

    スコープ 1 とスコープ 2 を管理する際は、利用規約、ライセンス契約、データ主権要件を遵守することが重要です。スコープ 1 のアプリケーションでは、公開されている非専有データの使用を優先します。その理由は、サービスプロバイダーが、提出されたデータを使用してモデルやサービスを強化する可能性があるためです。スコープ 2 のアプリケーションは、モデルトレーニングや改善に利用されないように組織の専有データや機密データを保護し、堅牢な制御、契約上の保護、オプトアウトオプションを使用して開発する必要があります。これらのアプリケーションは通常、企業のユースケースに合わせてカスタマイズされます。

    専有データや機密性の高いビジネスデータの要約、独自のインサイトの生成、内部プロセスの自動化など、組織や顧客のニーズ固有のタスクについては、スコープ 3 から 5 では独自のアプリケーションを構築する必要が生じる場合があります。これらのスコープでは、データをトレーニングやファインチューニングに使用することや、モデル出力として使用することができます。例えば、データをスコープ 3 の LLM に合わせてファインチューニングしたりトレーニングしたりしていなくても、検索拡張生成 (RAG)、ナレッジベース、エージェントを使用して、モデルのファインチューニングなしで、モデルの応答とコンテキストアクションを強化できます。

    スコープ 4 と 5 では、PII などの機密データを避け、ドメイン固有のデータでモデルをトレーニングします。生成されたモデルが、トレーニング中に使用される最高レベルのデータ感度に分類されていることを確認してください。モデルで推論を実行するためのアクセスは、その分類レベルの権限を持つユーザーに限定する必要があります。PII などのデータや頻繁に変更されるトランザクションデータについては、モデル自体に組み込むのではなく、検索拡張生成 (RAG) またはエージェントベースのワークフローを使用して、推論中に追加し直すことを検討してください。

  • 法律とプライバシー

  • 法的な観点から見れば、サービスプロバイダーのエンドユーザーライセンス契約 (EULA) とサービス利用規約 (TOS) の両方、およびスコープ 1 から 4 でサービスを使用するために必要なその他の契約上の合意を理解することが重要です。スコープ 5 については、法務チームがモデルの外部使用について独自の契約上の利用規約を定める必要があります。また、スコープ 3 とスコープ 4 については、サービスプロバイダーのサービス使用に関する法的条件と、そのサービス内でのモデルの使用に関するモデルプロバイダーの法的条件の両方を必ず確認してください。

    さらに、欧州連合の一般データ保護規則 (GDPR) の「消去の権利」または「忘れられる権利」の要件がビジネスに適用される場合は、プライバシーに関する問題も考慮してください。要求に応じて削除する必要が生じる可能性のあるデータを使用してモデルをトレーニングまたはファインチューニングすることの影響を慎重に検討してください。モデルからデータを削除する完全かつ唯一の効果的な方法は、トレーニングセットからデータを削除し、モデルの新しいバージョンをトレーニングすることです。データの削除がトレーニングデータ全体のほんの一部である場合、これは現実的ではなく、モデルのサイズによっては大きなコストが生じることがあります。

  • リスク管理

  • リスク管理

    AI 対応アプリケーションは従来のアプリケーションと似ていますが、大規模言語モデル (LLM) とのインタラクティブな性質を考慮すると特別な警戒と特定のガードレールが必要になります。生成 AI ワークロードに関連するリスクを特定し、その緩和を開始することが重要です。

    リスクの特定は通常、リスク評価と脅威モデリングを通じて行うことができます。スコープ 1 とスコープ 2 については、サードパーティのプロバイダーから生じるリスクを評価し、そのリスクの緩和戦略を理解してください。また、サービスコンシューマーとしての自分自身のリスク管理責任も認識しておく必要があります。

    スコープ 3、4、5 では、プロンプトインジェクションなどの LLM 特有の脅威に焦点を当て、AI の安全性とデータセキュリティの両方のリスクに対処する脅威モデリングを実装します。これには、LLM の応答を操作してデータ漏洩や不正アクセスを引き起こすような入力の作成が含まれます。NIST、MITRE、OWASP による最近のガイダンスでは、SQL などの従来のインジェクション攻撃に匹敵する、即時インジェクションが主な脅威として特定されています。LLM に到達する前にきめ細やかな認証とデータフィルタリングを適用することで、このリスクを緩和し、Bedrock Guardrails を使用して保護を強化します。

    生成 AI における新たな脅威に対しては、従来のサイバーセキュリティ対策を採用し、開発チームと密に連携して脅威を効果的にモデル化し、それに合わせたベストプラクティスを確立する必要があります。

  • 制御

  • 制御

    コンプライアンス、ポリシー、セキュリティ要件を適用し、生成 AI ワークロードに関連するリスクを緩和するには、堅牢な制御を実装することが不可欠です。重要な検討事項の 1 つは、ID とモデルへのアクセスの管理です。 きめ細やかなセキュリティ制御を提供する従来のデータベースとは異なり、基盤モデルには、モデル内に保存されたデータや推論時に提供されるデータへのアクセス制御という概念はありません。そのため、データをコンテキストとして推論リクエストに追加する前に、データへの最小特権アクセス制御を実装することが必要不可欠です。

    これを実現するために、Amazon Bedrock などのエンドポイントを介してモデルと対話するアプリケーションレイヤーを活用できます。これらのレイヤーには、ユーザーを認証および承認するために、Amazon Cognito や AWS IAM アイデンティティセンターなどのアイデンティティソリューションを組み込む必要があります。ロール、属性、ユーザーコミュニティに基づいてアクセスをカスタマイズすることで、特定のアクションを制限し、機密データを確実に保護することができます。

    さらに、AI ワークロードの進化に応じて、新しい脅威やデータ機密性の変化に適応できるよう、制御を継続的に評価および更新することが重要です。検索拡張生成 (RAG) などの高度な手法を組み込むことで、モデルの整合性を損なうことなく、リアルタイムのデータを提供できます。これらの戦略と継続的な脅威モデリングの組み合わせは、生成 AI アプリケーションにおいて安全で規制に準拠した環境を維持するのに役立ちます。 

  • 耐障害性

  • 耐障害性

    CIA トライアドに示されているように、可用性はセキュリティの重要な要素です。耐障害性に優れたアプリケーションの構築は、組織の可用性と事業継続性の要件を満たすために必要不可欠です。スコープ 1 とスコープ 2 では、プロバイダーの可用性が組織のニーズや期待にどの程度沿っているかを理解する必要があります。基盤となるモデル、API、またはプレゼンテーションレイヤーが利用できなくなった場合に、そうした中断がビジネスにどのような影響を与える可能性があるかについて、慎重に検討してください。さらに、複雑なプロンプトや完了が使用クォータにどのように影響する可能性があるか、または請求がアプリケーションにどのような影響を与える可能性があるかについても検討します。

    スコープ 3、4、5 では、複雑なプロンプトや完了を考慮し、適切なタイムアウトを設定してください。また、モデルで定義されている、割り当てられた文字数制限のプロンプト入力サイズを確認することも検討してください。さらに、望ましいユーザーエクスペリエンスを実現するために、バックオフおよびリトライやサーキットブレーカーパターンなど、耐障害性に優れた設計に関する既存のベストプラクティスを検討します。ベクトルデータベースを使用する場合、さまざまな障害モードに対する耐障害性を高めるために、高可用性構成とディザスタリカバリ計画を立てることをお勧めします。

    極めてクリティカルなワークロードのためにコンピューティングを予約することや事前にプロビジョニングすることに加えて、推論モデルパイプラインとトレーニングモデルパイプラインの両方におけるインスタンスの柔軟性は、アーキテクチャ上の重要な考慮事項です。Amazon Bedrock や SageMaker などのマネージドサービスを使用する場合、マルチリージョンデプロイ戦略を実装する際には、AWS リージョンの可用性と機能の同等性を検証する必要があります。同様に、スコープ 4 とスコープ 5 のワークロードをマルチリージョンでサポートする場合、対象となるリージョンにわたるファインチューニングデータまたはトレーニングデータの可用性を考慮する必要があります。スコープ 5 で SageMaker を使用してモデルをトレーニングする場合は、チェックポイントを使用して進捗を保存しながら、モデルのトレーニングを行います。これにより、必要に応じて、最後に保存したチェックポイントからトレーニングを再開できます。

    AWS Resilience Hub および Well Architected Framework の信頼性の柱と運用上の優秀性の柱の内で確立された既存のアプリケーションの耐障害性に関するベストプラクティスを確認して確実に実装してください。