Vanna AIプロンプトインジェクション脆弱性によりRCEが可能に

Vanna AI ライブラリは、プロンプト インジェクションの脆弱性により、リモート コード実行 (RCE) に悪用される可能性があります。

JFrogの研究者 脆弱性を発見した ライブラリのチャート生成プロセスに脆弱性があり、ユーザーのプロンプトを通じて配信されるペイロードのリモートコード実行が可能になる。この脆弱性は、中国科学院情報工学研究所の博士課程の学生であるトン・リウ氏によって独自に発見された。 報告した Huntr バグ報奨金プラットフォームを通じて。

Vanna AI は、自然言語プロンプトを SQL クエリに変換し、Plotly と呼ばれる Python ベースのグラフィカル ライブラリを使用して、クエリ結果を視覚的なチャートとしてユーザーに表示します。Vanna AI 実装は、Jupyter Notebook などのプログラムを介してデータベースとインターフェイスし、Slackbot、Streamlit アプリ、その他のカスタム Web アプリなどのアプリを介してエンド ユーザーが利用できるようにします。

木曜日に公開されたブログ記事で、JFrogの研究者らは、この脆弱性がどのように追跡されているかを詳細に説明した。 CVE-2024-5565 RCE を有効にします。

ユーザーのプロンプトは、まず LLM に送信され、プロンプトに基づいて SQL クエリを生成するように LLM に指示する事前プロンプト指示が送信されます。生成された SQL クエリはデータベースに送信され、元のプロンプトとクエリ結果の両方が Plotly に渡されてチャートが作成されます。

Python Plotly コードは、LLM から受信したプロンプトに基づいて動的に生成され、その後 Python の exec メソッドを介して実行され、クエリされたデータの視覚化を生成します。このチェーンの最後に実行される Python コードの動的な性質により、ユーザーは、プロンプトを作成し、ペイロードが最終的な Plotly スクリプトに確実に含まれるようにすることで、プロセスを操作して独自の悪意のあるコードを実行できます。

問題は、ユーザー プロンプトが受け入れられるのは、有効な SQL クエリを生成できる場合のみであるということです。ただし、JFrog の研究者は、LLM に Plotly コードの先頭にペイロード コードを追加するよう指示する単純な文字列を印刷するための有効な SQL クエリを含む、概念実証プロンプト インジェクションを実演しました。

研究者らは、PoC エクスプロイトを使用して、Vanna AI のテキストから SQL へのインターフェースを促すことで、AI がターゲット マシンの現在のディレクトリにあるファイルのリストを出力する方法を示しました。

Vanna AI ユーザーは Plotly による操作に対する実装を強化するよう求められている

JFrogはこの問題をVanna AIに報告し、その後 公開されたガイダンス 開発者がライブラリを使用して、潜在的な RCE に対して実装を強化する場合。

「vn.generate_plotly_code を実行すると、チャートの作成に必要な任意の Python コードが生成される可能性があります。この機能をエンド ユーザーに公開する場合は、サンドボックス環境を使用する必要があります」とガイダンスには記載されています。

Vanna AI では、vn.generate_plotly_code 関数をオーバーライドして、任意のコードを実行するのではなく、強制的に空の文字列を返すこともできるとアドバイスしています。ユーザーは、動的に生成された視覚化ではなく、デフォルトの形式でクエリ結果を受け取ることになります。

JFrog は、LLM を使用する開発者に、実行環境をサンドボックス化し、プロンプト インジェクション トレース モデルを使用し、出力の整合性をチェックして悪意のある RCE を防ぐことを推奨しています。

「LLM は、ユーザー入力を事前に定義されたガイドラインと区別することが困難な場合が多く、操作、つまりプロンプトインジェクション攻撃に対して脆弱になります。したがって、LLM 実装者は、絶対確実な防御メカニズムとして事前プロンプトに頼るべきではなく、より堅牢なメカニズムを採用する必要があります」と研究者らは書いています。