HNを表示：サボテン – スマートフォン用のオラマ

ここでHN、ヘンリー、ローマン - 私たちは、LLMS、VLMS、埋め込みモデル、TTSモデルをスマートフォンにローカルに展開するためのクロスプラットフォームフレームワークを構築しています。Ollamaは、LLMSモデルをラップトップとエッジセバーにローカルに展開できるようにします。Cactusは、電話での展開を可能にします。電話に直接展開することで、プライバシーを破ることなく電話で使用できるAIアプリやエージェントの建設が促進され、遅延なしでリアルタイムの推論をサポートします。ユーザー向けのパーソナライズされたRAGパイプラインなどが見られます。AppleとGoogleは、それぞれApple Foundation FrameworksとGoogle AI Edgeの発売により、最近ローカルAIモデルに積極的に進みました。ただし、どちらもプラットフォーム固有であり、会社の特定のモデルのみをサポートしています。この目的のために、サボテン：- ほとんどのアプリは現在これらで構築されているため、フラッター、React-Native、およびKotlinマルチプラットフォームで利用できます。-Huggingfaceで見つけることができるGGUFモデルをサポートします。 Qwen、Gemma、Llama、Deepseek、Phi、Mistral、Smollm、Smolvlm、Internvlm、Jan Nanoなど- FP32から2ビットの量子化モデルまで、より良い効率とデバイスのひずみが少なくなります。-MCPツールコールを使用して、パフォーマンスを発揮し、真に役立つ（リマインダー、ギャラリー検索、返信メッセージ）などを提供します。- 複雑な、制約された、または大規模なタスクのための大きなクラウドモデルへのフォールバック、堅牢性と高可用性を確保します。完全にオープンソースです。もっと多くの人にそれを試してもらい、それを素晴らしいものにする方法を教えてください！レポ： https://github.com/cactus-compute/cactus #HNを表示サボテン #スマートフォン用のオラマ