日次および週次のニュースレターに参加して、業界をリードする AI に関する最新情報や独占コンテンツを入手してください。 もっと詳しく知る
2025 年は AI が現実となり、企業に具体的で目に見える利益をもたらす年になると予想されています。
しかし、新しい情報によると、 AI開発状況レポート AI開発プラットフォームから 羊皮紙、私たちはまだそこまで到達していません。AI を本番環境に導入している企業はわずか 25% であり、まだ目に見える効果が表れていないのはそのうちの 4 分の 1 だけです。
これは、多くの企業が実行可能な方法をまだ特定していないことを示しているようです。 AIのユースケース、（少なくとも今のところは）ビルド前の保持パターンに保ちます。
Vellum CEOのAkash Sharma氏は、「これまでの誇大宣伝や議論にもかかわらず、まだ初期段階にあることを裏付けています」とVellum CEOのAkash Sharma氏は語った。 「業界では多くの騒音が発生しており、新しいモデルやモデルプロバイダーが登場し、新しい RAG 技術が登場します。私たちは企業が実際にどのように展開しているのかを知りたかっただけです AI から本番環境へ」
企業が成功するには、具体的なユースケースを特定する必要がある
Vellum は、AI の最前線で何が起こっているのかを正確に把握するために、1,250 人以上の AI 開発者と構築者にインタビューしました。
報告書によると、まだ生産を続けている企業の大多数は、さまざまな段階にあります。 AI の旅 — 戦略の構築と評価、概念実証 (PoC) (53%)、ベータ テスト (14%)、そして最も低いレベルでは、ユーザーとの対話と要件の収集 (7.9%)。
Vellum氏によると、企業はこれまでのところ、文書の解析・分析ツールや顧客サービスのチャットボットの構築に注力しているという。しかし、彼らは、自然言語による分析、コンテンツ生成、推奨システム、コード生成と自動化、および調査の自動化を組み込んだアプリケーションにも興味を持っています。
これまでのところ、開発者らは、これまでに確認した最大の効果として、競合他社の優位性 (31.6%)、コストと時間の節約 (27.1%)、およびユーザー採用率の向上 (12.6%) を報告しています。しかし興味深いことに、24.2% はまだ投資による大きな効果を実感していません。
Sharma 氏は、最初からユースケースに優先順位を付けることの重要性を強調しました。 「私たちは、AI を使用するために AI を使いたいだけだという話を人々から聞いたことがあります。」と彼は言いました。 「それには実験的な予算がかかっています。」
これはウォール街や投資家にとっては喜ばしいことだが、AIが実際に何かに貢献しているという意味ではない、と同氏は指摘した。 「一般に誰もが考えるべきことは、『適切なユースケースをどのように見つけるか』ということです。通常、企業がこうしたユースケースを特定し、実稼働環境に導入し、明確な ROI を確認できるようになると、勢いが増し、誇大広告を乗り越えることができます。その結果、社内の専門知識が増加し、投資が増加します。」
OpenAI は依然としてトップですが、将来はモデルの混合が可能になります
使用モデルに関して言えば、 OpenAI 特に GPT 4o と GPT 4o-mini がリードを維持しています (当然のことですが)。しかし、Sharma 氏は、2024 年には、モデル作成者から直接、または Azure や AWS Bedrock などのプラットフォーム ソリューションを通じて、より多くのオプションが提供されると指摘しました。また、Llama 3.2 70B などのオープンソース モデルをホストするプロバイダー (Groq、Fireworks AI、Togetter AI など) も注目を集めています。
「オープンソース モデルは改善されています」と Sharma 氏は言います。 「OpenAI に対するクローズドソースの競合他社が品質の面で追いつきつつあります。」
しかし、最終的には、企業は 1 つのモデルに固執して終わりというわけではなく、ますますマルチモデル システムに頼るようになるだろうと同氏は予測しました。
「人々は目の前のタスクごとに最適なモデルを選択するでしょう」とシャルマ氏は言います。 「エージェントを構築する際、複数のプロンプトが表示される場合があります。開発者はそれぞれのプロンプトに対して、最高の品質、最低のコスト、最低のレイテンシを求めることになりますが、それは OpenAI によってもたらされる場合とそうでない場合があります。」
同様に、 AIの未来 は間違いなくマルチモーダルであり、Vellum ではさまざまなタスクを処理できるツールの採用が急増しています。テキストは紛れもなくトップの使用例であり、次にファイル作成 (PDF または Word) 画像、オーディオ、ビデオが続きます。
また、情報検索に関しては検索拡張生成 (RAG) が頼りであり、開発者の半数以上が検索を簡素化するためにベクトル データベースを使用しています。トップのオープンソース モデルや独自モデルには、Pinecone、MongoDB、Quadrant、Elastic Search、PG Vector、Weaviate、Chroma などがあります。
全員が参加しています (エンジニアリングだけでなく)
興味深いことに、AI は単なる IT を超えて、企業全体で民主化されつつあります (昔の「村が必要」に似ています)。 Vellum は、エンジニアリング部門が AI プロジェクト (82.3%) に最も関与している一方で、リーダーや幹部 (60.8%)、対象分野の専門家 (57.5%)、製品チーム (55.4%)、および設計部門 (38.2%) も参加していることを発見しました。 。
これは主に、AI の使いやすさ (および AI に関する一般的な興奮) によるものであると Sharma 氏は述べています。
「特にプロンプトが自然言語で記述できるため、非常に非常にクロスファンクショナルな方法でソフトウェアが開発されているのを見るのはこれが初めてです。」と彼は言いました。 「従来のソフトウェアは通常、より決定的な傾向があります。これは非決定的なものであり、より多くの人を開発に参加させることになります。」
それでも、企業は引き続き大きな課題、特に AI の幻覚やプロンプトに直面しています。モデルの速度とパフォーマンス。データアクセスとセキュリティ。そして重要な利害関係者からの賛同を得ることです。
同時に、より多くの非技術ユーザーが参加する一方で、社内には依然として純粋な技術的専門知識が不足しているとシャルマ氏は指摘しました。 「さまざまな可動部品をすべて接続する方法は、今日でもまだ多くの開発者が持っているスキルではありません」と彼は言いました。 「つまり、それは共通の課題なのです。」
しかし、既存の課題の多くは、開発者が複雑な AI システムを評価するのに役立つツールやプラットフォームやサービスによって克服できると Sharma 氏は指摘しました。開発者は、内部でツールを実行することも、サードパーティのプラットフォームやフレームワークを使用してツールを実行することもできます。しかし、Vellum は、開発者の 18% 近くがツールをまったく使用せずにプロンプトとオーケストレーション ロジックを定義していることを発見しました。
Sharma 氏は、「開発の過程をガイドできる適切なツールがあれば、技術的な専門知識の欠如は容易になります」と指摘しました。 Vellum に加えて、調査参加者が使用しているフレームワークとプラットフォームには、Langchain、Llama Index、Langfuse、CrewAI、Voiceflow が含まれます。
評価と継続的なモニタリングが重要です
一般的な問題 (幻覚を含む) を克服するもう 1 つの方法は、評価を実行するか、特定の指標を使用して特定の応答の正しさをテストすることです。 「しかし、それにも関わらず、 [developers] あるべきほど一貫して eval を実行していません」と Sharma 氏は言いました。
特に高度なエージェント システムに関しては、企業はしっかりとした評価プロセスを必要としている、と同氏は述べています。 AIエージェントは外部システムを呼び出して自律的なアクションを実行するため、高度な非決定性を持っているとシャルマ氏は指摘しました。
「人々はかなり高度なシステム、つまりエージェント システムを構築しようとしていますが、それには、本番環境で確実に動作することを確認するために、多数のテスト ケースと、ある種の自動テスト フレームワークが必要です」と Sharma 氏は述べています。
一部の開発者は自動評価ツール、A/B テスト、オープンソースの評価フレームワークを活用していますが、Vellum の調査によると、4 分の 3 以上が依然として手動でのテストとレビューを行っています。
「手動テストでは時間がかかるだけですよね？そして、手動テストのサンプル サイズは、通常、自動テストで実行できるサンプル サイズよりもはるかに小さいです」と Sharma 氏は言います。 「技術を認識すること、つまり自動化された大規模な評価をどのように行うかという点だけでも課題があるかもしれません。」
彼は最終的に、クラウドからアプリケーション プログラミング インターフェイス (API) まで、共生的に動作するシステムの組み合わせを採用することの重要性を強調しました。 「AI をすべてを解決する魔法の解決策ではなく、ツールキットの単なるツールとして扱うことを検討してください」と彼は言いました。