業界をリードする AI に関する最新情報や独占コンテンツを入手するには、毎日および毎週のニュースレターにご登録ください。 もっと詳しく知る
人類学的 紹介された APIの迅速なキャッシュは、API 呼び出し間のコンテキストを記憶し、開発者がプロンプトを繰り返すことを回避できるようにします。
プロンプトキャッシュ機能は パブリックベータ版で利用可能 Claude 3.5 Sonnet および Claude 3 Haiku ではサポートされていますが、最大の Claude モデルである Opus のサポートも近日中に提供される予定です。
プロンプトキャッシュ、 2023年の論文で説明されているを使用すると、ユーザーは頻繁に使用するコンテキストをセッション内に保持できます。モデルがこれらのプロンプトを記憶するため、ユーザーはコストを増やすことなく追加の背景情報を追加できます。これは、プロンプトで大量のコンテキストを送信し、モデルとのさまざまな会話でそれを参照したい場合に役立ちます。また、開発者や他のユーザーがモデルの応答をより細かく調整することもできます。
Anthropic 社は、初期のユーザーは「完全なナレッジベースから 100 ショットの例、会話の各ターンをプロンプトに含めることまで、さまざまなユースケースでプロンプト キャッシュによって速度とコストが大幅に改善された」と述べています。
同社によれば、潜在的な使用例としては、会話エージェント向けの長い指示やアップロードされた文書にかかるコストと待ち時間の削減、コードの自動補完の高速化、エージェント検索ツールへの複数の指示の提供、プロンプトへの文書全体の埋め込みなどが挙げられるという。
価格キャッシュプロンプト
プロンプトをキャッシュする利点の 1 つは、トークンあたりの価格が低いことです。Anthropic は、キャッシュされたプロンプトを使用すると、基本入力トークンの価格よりも「大幅に安くなる」と述べています。
Claude 3.5 Sonnet の場合、キャッシュするプロンプトの作成には 100 万トークン (MTok) あたり 3.75 ドルかかりますが、キャッシュされたプロンプトを使用すると MTok あたり 0.30 ドルかかります。Claude 3.5 Sonnet モデルへの入力の基本価格は MTok あたり 3 ドルなので、最初に少し多めに支払うことで、次回キャッシュされたプロンプトを使用する場合に 10 倍の節約が期待できます。
Claude 3 Haiku ユーザーは、キャッシュに 0.30 ドル/MTok、保存されたプロンプトを使用する場合は 0.03 ドル/MTok を支払います。
Claude 3 Opus ではプロンプト キャッシュはまだ利用できませんが、Anthropic はすでに価格を公開しています。キャッシュへの書き込みには 18.75 ドル/MTok かかりますが、キャッシュされたプロンプトへのアクセスには 1.50 ドル/MTok かかります。
しかし、AI インフルエンサーの Simon Willison 氏が X で指摘したように、Anthropic のキャッシュの有効期間は 5 分のみで、使用するたびに更新されます。
もちろん、アントロピックが価格設定で他のAIプラットフォームと競争しようとしたのは今回が初めてではない。クロード3ファミリーのモデルがリリースされる前、アントロピックは トークンの価格を大幅に引き下げた。
同社は現在、ライバル企業との「底辺への競争」に陥っている。 グーグル そして OpenAI 同社のプラットフォーム上で開発を行うサードパーティ開発者に低価格のオプションを提供するという点では、同社は優位に立っています。
要望の多かった機能
他のプラットフォームではプロンプトキャッシュのバージョンを提供しています。LLM推論システムであるLaminaは、 KVキャッシュを利用する GPU のコストを下げるためです。OpenAI の開発者フォーラムや GitHub をざっと見てみると、プロンプトをキャッシュする方法に関する質問が出てきます。
プロンプトのキャッシュは、大規模な言語モデル メモリのキャッシュとは異なります。たとえば、OpenAI の GPT-4o は、モデルが好みや詳細を記憶するメモリを提供します。ただし、プロンプト キャッシュのように実際のプロンプトや応答を保存するわけではありません。