KIおよびLLMS：セキュリティリスクと保護対策

OWASP LLMセキュリティトップ10
10の最大のAIリスクと最も重要な保護対策

11.04.2025

Stephan Schulzによるゲストの貢献

5分読むことができます

迅速に注入、誤った情報、データとモデルの操作：AIとLLMの導入は、多数の新しいセキュリティハザードにつながります。現在のOWASP LLMセキュリティトップ10は、最大のリスクを示しています。

紹介する企業への圧力 に– アレーションは大幅に増加します。これは、マネージャーが生産性を向上させ、より効率的に仕事をしたいことです。しかし、インフラストラクチャ、ツール、モデルの急速に成長しているエコシステム フレームワーク 関連するサービスはそれを困難にします 安全– 概要を保持し、新しいAIアプリを安全な方法で提供するためのチーム。

このより高い複雑さに加えて 生成キー （genai）また、新しいリスクに対する – APIを介したネットワーキングが急速に増加しているため、外部的には新しい攻撃オプションが原因で、内部的には内部的に サイバー犯罪者。現在の最大の危険は、Webアプリケーションのセキュリティに専念する国際的な非営利組織である「Open Webアプリケーションセキュリティプロジェクト」（OWASP）のリストを示しています。 LLMアプリケーション2025のOWASPトップ10。

1。迅速な注入

速やかに注射は、の動作または出力が入力から発生します LLM 望ましくない方法で変化します。コンテンツがモデルによって認識され処理されている限り、人間にとって目に見えるようになったり読みやすいものである必要はありません。直接的な、間接的、マルチモーダル、意図しない注入から、危険は脱獄にまで及びます。ここで、入力により、モデルはセキュリティプロトコルを完全に無視します。最も重要な保護対策には、モデルの動作の制限、入力および出力フィルター、人間による放出、厳格なアクセス制御が含まれます。

2。機密情報開示

機密情報の盗難は、個人情報、ビジネスデータ、安全証拠、法的文書、LLMアルゴリズムに影響を与える可能性があります。リスクを減らすために、LLMアプリケーションは適切なデータ調整を実行して、ユーザーデータがトレーニングモデルに入らないようにする必要があります。さらに、敏感な情報の開示を防ぐために、外出するデータ型を制限できます。

3。サプライチェーン

コードエラーと依存関係は、事前に訓練されたモデルと第三者からのデータでの機械学習でも発生します。 LLM供給の弱点は、トレーニングデータ、モデル、プロビジョニングプラットフォームの整合性に影響します。さらに、外部サービスを操作できます。これにより、歪んだ結果、セキュリティ違反、またはシステムの故障が発生します。したがって、企業は、利用規約やデータ保護ガイドラインなど、サプライヤーのモデルとデータソースを定期的に確認する必要があります。

4。データとモデル中毒

データ中毒とは、トレーニング、微調整、または入力前にデータが操作されることを意味します。これは、モデルの安全性とパフォーマンスに影響を与え、下流のシステムであっても、歪んだ結果、スキル、弱点、または背中のドアが歪んでいます。したがって、企業は、モデル開発のすべての段階でのデータの起源、正当性、および変換を検証する必要があります。

5。不適切な出力処理

結果の不適切な取り扱いとは、特にLLMが他のコンポーネントやシステムに渡される前に生成された費用の検証、調整、および処理が不十分であることを指します。考えられる危険は、リモートコード実行、クロスサイトスクリプト、右翼の拡大、または SQL 注射。したがって、言語モデルはすべてのユーザーと同じです ゼロトラスト– 他のシステムに入力される前に、結果を処理し、結果を確認します。

6。過度の代理店

LLMベースのシステムには、多くの場合、他のシステムと対話するために行動する特定の能力（代理店）があります。過度の代理店により、LLMの予期せぬ、あいまいな、または操作されたエディションが有害な行動を実行することができます。これにより、機能と承認が拡張されます。したがって、あなたの権利と機能の拡張は制限されるべきです。

7。システムプロンプトリーク

モデルの動作を制御するためのシステムプロンプトまたは指示には、サイバー犯罪者を盗み、攻撃に使用する機密情報を含めることができます。したがって、登録データ、接続文字列、機能、内部ルール、フィルター基準、権利、またはユーザーの役割などの機密情報は、制御システムの言語に含めるべきではありません。

8。ベクターと埋め込み弱点

ベクターと埋め込みベクターは、LLMで検索された生成（RAG）の使用を検索したシステムのセキュリティリスクです。これらを活用して、有害なコンテンツを詳しく調べたり、モデルエディションを操作したり、機密情報にアクセスしたりできます。適切な保護対策は、権利とアクセス制御、データの検証と資格、監視とソース認証です。

9。偽情報

LLMSが信頼できると思われる誤ったまたは誤解を招く情報を生成すると、誤動的形成が生じます。これは、セキュリティ違反、評判の損害、法的責任につながる可能性があります。したがって、従業員が適切なトレーニングに必要なものを正しくすることを、人々の各エディションに確認する必要があります。ラグ、モデルの微調整、自動検証、コンテンツフィルターは、誤った情報の出力を回避できます。

10。無制限の消費

無制限の消費は、LLMアプリケーションが過剰で制御されていない推論を許可する場合に発生します。これにより、否定などのリスクが生じますサービス （の）、経済的損失、モデルの盗難、サービスの悪化。したがって、たとえば、入力量、問い合わせ、または API– 回答を定義します。

AIソリューションのAPI保護

APIは通常、技術的な保護対策の基礎を形成します。これらのインターフェイスは、AIモデルを訓練および使用するのに役立つためです。同時に、サイバー犯罪者を使用してデータを盗むか、AIモデルを操作します。したがって、APIの透明性、セキュリティ、ガバナンスは、初期段階でAI開発およびトレーニングプロセスに統合する必要があります。また、分割払い制限やデータ調整などの通常の使用パターンとコントロールが、設計フェーズとAPIライフサイクル全体にわたってすでに統合されていることも重要です。

ただし、AIの時代には、APIはより速く、より速く変化し、その数が増加します。しかし、あなたが見えないものを保護することはできません。したがって、AIアプリケーションの背後にあるインターフェイスのインベントリが必要であり、APIセキュリティはAI政府プログラムの不可欠な部分でなければなりません。同時に、企業は、新しい脅威に迅速に対応できるように、APIセキュリティにプログラム可能で適応可能なソリューションを使用する必要があります。 APIは外部AIサービスにますます接続されているため、安全モデルは着信だけでなく、発信APIトラフィックもカバーする必要があります。

Ki-Gateway Technologyは、LLMSの現在のリスクを減らすためのセキュリティチームをサポートしています。サプライチェーンを監視するために、独自のデータセンターとプライベートクラウドおよびパブリッククラウドにインストールできます。攻撃の認識とブロックに加えて、彼女はデータトラフィックのルーティングを引き継ぎ、ローカルおよび外部の音声モデルのレートを制限してパフォーマンスを改善し、可用性と制御コストを確保します。フロントエンドアプリケーションと推論サービスとの間の相互作用の保護から適用されるため、ユーザーの相互作用をテストするためsaas– の保護にアプリをします 接続性 間 プラグイン、データコネクタとダウンストリームサービス：AIアプリの安全な紹介と使用は、APIセキュリティに依存します。

著者について： Stephan Schulzは主要なソリューションエンジニアです F5。

（ID：50369124）