1742459733
2025-03-20 08:00:00
あなたが持っているプラナ、AIモデルの圧縮アルゴリズムに取り組んでいるヨーロッパのスタートアップが最適化フレームワークを作成しています オープンソース 木曜日。
Pruna AIは、特定のAIモデルにキャッシュ、剪定、量子化、蒸留など、いくつかの効率的な方法を適用するフレームワークを作成しています。
「圧縮モデルの保存とロードを標準化し、これらの圧縮方法の組み合わせを適用し、圧縮後に圧縮モデルを評価します」とPruna AIの共同フォンダーとCTOのJohn RachwanはTechCrunchに語りました。
特に、Pruna AIのフレームワークは、モデルを圧縮した後に大きな品質損失が発生し、パフォーマンスが得られるかどうかを評価できます。
「私がメタファーを使用する場合、私たちは、顔の標準化された変圧器とディフューザーを抱きしめる方法に似ています。それらを呼び出す方法、それらを保存する方法、ロードなど。私たちは同じことをしていますが、効率的な方法について」
Big AI Labsは、すでにさまざまな圧縮方法を使用しています。たとえば、Openaiは蒸留に依存して、フラッグシップモデルのより高速なバージョンを作成しています。
これは、OpenaiがGPT-4のGPT-4ターボを開発した方法である可能性があります。これは、GPT-4のより速いバージョンです。同様に、 Flux.1-Fast 画像生成モデルは、Black Forest LabsのFlux.1モデルの蒸留バージョンです。
蒸留は、「教師の学生」モデルを持つ大規模なAIモデルから知識を抽出するために使用される手法です。開発者は、教師モデルにリクエストを送信し、出力を記録します。回答をデータセットと比較すると、それらがどれほど正確かを確認します。これらの出力は、教師の行動を近似するように訓練された学生モデルのトレーニングに使用されます。
「大企業にとって、彼らが通常することは、彼らがこのようなものを社内で構築することです。そして、あなたがオープンソースの世界で見つけることができるものは通常単一の方法に基づいています。たとえば、LLMSの1つの量子化方法、または拡散モデルの1つのキャッシュ方法を例にしましょう」とRachwan氏は言います。 「しかし、それらすべてを集約し、それらをすべて使いやすくし、結合するツールを見つけることができません。これは、プラナが今もたらしている大きな価値です。」
左から右：Rayan Nait Mazi、Bertrand Charpentier、John Rachwan、StephanGünnemann画像クレジット：あなたが持っているプラナ
Pruna AIは、大規模な言語モデルから拡散モデル、音声からテキストモデル、コンピュータービジョンモデルまで、あらゆる種類のモデルをサポートしていますが、同社は現在、画像およびビデオ生成モデルに焦点を当てています。
Pruna AIの既存のユーザーには含まれています シナリオ そして Photoroom。オープンソースエディションに加えて、Pruna AIには、最適化エージェントを含む高度な最適化機能を備えたエンタープライズ製品があります。
「私たちがすぐにリリースしている最もエキサイティングな機能は、圧縮剤になります」とラチワンは言いました。 「基本的に、あなたはそれにあなたのモデルを与えます、あなたは言います：「私はより多くの速度が必要ですが、私の精度を2％以上落とさないでください。」そして、エージェントはあなたにとって最高の組み合わせを見つけます。
Pruna AIは、プロバージョンの時間ごとに料金を請求します。 「AWSやクラウドサービスでGPUをレンタルするときにGPUを考える方法に似ています」とRachwan氏は言います。
また、モデルがAIインフラストラクチャの重要な部分である場合、最適化されたモデルの推論で多くのお金を節約することになります。たとえば、Pruna AIは、圧縮フレームワークを使用してあまり損失をあまりなくすることなく、ラマモデルを8倍小さくしました。 Pruna Aiは、顧客がその圧縮フレームワークを自分自身に支払う投資と考えることを望んでいます。
Pruna Aiは、数ヶ月前に650万ドルのシード資金を調達しました。スタートアップの投資家には、EQTベンチャー、Daphni、Motier Ventures、Kima Venturesが含まれます。
#Pruna #AIはAIモデルの最適化フレームワークを開きます