ステルスから認識力が現れ、AI エンジニアのデビンを起動

本日、ピーター・ティール氏のファウンダーズ・ファンドと、元Twitter幹部エラッド・ギル氏やドアダッシュ共同創設者のトニー・シュー氏などテクノロジー業界のリーダーらの支援を受けて設立されたばかりのAIスタートアップ企業コグニションが、「デビン」と呼ばれる完全自律型AIソフトウェアエンジニアを発表した。

有名な Github Copilot など、複数のコーディング アシスタントが存在しますが、Devin は、コードの作成からそれに関連するバグの修正まで、開発プロジェクト全体をエンドツーエンドで処理できる能力で群衆の中で際立っていると言われています。最終執行まで。 これはこの種の最初のサービスであり、Upwork 上でプロジェクトを処理することもできることをこのスタートアップは実証しました。

Devin の発表は、AI 支援開発分野における大きな変化を示しており、エンジニアは必要最低限のコードを書いたりスニペットを提案したりするだけの副操縦士ではなく、プロジェクトに本格的な AI ワーカーを与えることになります。

しかし、現時点では、Devin は非公開のままであり、同社は、Devin の使用体験についてここに書いたブルームバーグのジャーナリスト、Ashlee Vance を含む、選ばれた少数の顧客にのみアクセスを公開しています。

デビンは具体的に何ができるのでしょうか？

本日、Cognition の Web サイトに掲載されたブログ投稿で、Cognition の創設者兼 CEO であり、受賞歴のあるスポーツ プログラマーである Scott Wu 氏は、Devin がサンドボックス化されたコンピューティング環境内で、独自のシェル、コード エディター、ブラウザーなどの一般的な開発者ツールにアクセスできると説明しました。何千もの意思決定を必要とする複雑なエンジニアリングタスクを計画し、実行します。

人間のユーザーは自然言語プロンプトを Devin のチャットボット スタイルのインターフェイスに入力するだけで、AI ソフトウェア エンジニアはそこからそれを受け取り、問題に取り組むための詳細な段階的な計画を作成します。 次に、人間が開発者ツールを使用するのと同じように開発者ツールを使用してプロジェクトを開始し、独自のコードを作成し、問題を修正し、テストして進捗状況をリアルタイムで報告するため、ユーザーは動作中のすべてを監視できます。 。

人間の観察者にとって何かが正しく見えない場合、ユーザーはチャット インターフェイスにジャンプして、AI にそれを修正するコマンドを与えることもできます。 これにより、エンジニアリング チームはプロジェクトの一部を AI に委任し、人間の知性を必要とするより創造的なタスクに集中できるようになると Cognition 氏は述べています。

このようにして、デヴィンは、すべてのソフトウェア開発、そして一般的なコンピューター作業が、近い将来、人間の監督者/ユーザーによって監督される AI ワーカーによって行われる可能性がある方法を垣間見ることができる新しいパラダイムを提供します。

幅広い開発タスクを処理できる

Wu 氏が共有したデモによると、Devin は現在の形式でさまざまなタスクを処理できるそうです。 これには、アプリ/ウェブサイトのエンドツーエンドのデプロイと改善、コードベースのバグの発見と修正などの一般的なエンジニアリング プロジェクトから、GitHub 上のリサーチ リポジトリへのリンクを使用した大規模な言語モデルの微調整のセットアップや学習などのより複雑なプロジェクトまでが含まれます。馴染みのないテクノロジーをどう使うか。

あるケースでは、ブログ投稿からコードを実行してメッセージが隠された画像を生成する方法を学びました。 一方、別のケースでは、コンピュータ ビジョン モデルのコードを作成してデバッグすることで、コンピュータ ビジョン モデルを実行する Upwork プロジェクトを処理しました。

実際のオープンソース プロジェクトからの GitHub の問題で AI アシスタントに挑戦する SWE ベンチ テストでは、AI ソフトウェア エンジニアは、人間の支援なしで、ケースの 13.86% をエンドツーエンドで正しく解決できました。 比較すると、Claude 2 はわずか 4.80% しか解決できませんでしたが、SWE-Llama-13b と GPT-4 はそれぞれ問題の 3.97% と 1.74% を処理できました。 これらすべてのモデルでは、どのファイルを修正する必要があるかを指示されるなど、支援も必要でした。

コア技術はまだ説明されていない

ソフトウェア開発における AI は新しい偉業ではありません。 この分野にはかなり前からツールが存在しており、人気の GitHub Copilot や StarCoder から、Hugging Face にいくつかの小規模な AI コーディング モデルを備えた Replit や、最近評価額 6,500 万ドルのシリーズ B 資金を獲得した Codeium に至るまで、さまざまなツールが存在します。 5億ドル。

ただし、これらのサービスのほとんどは、AI を使用してコーディングを支援することに主に焦点を当てています。 テキスト プロンプトからベアボーン コードを生成し、関連する IDE コンテキストで要約したり、スニペットを取得したりして、チームのワークフローを加速できます。 Devin の登場により、Cognition AI はさらに一歩 (または複数のステップ) 進んでおり、本格的な AI ワーカーがプロジェクト全体を担当できるようになります。

このツールはまだテストの余地がありますが、ソフトウェア エンジニアリング プロジェクトを完了するために、軌道に乗りながら複数のステップを処理できる機能が最大のユニークなセールス ポイントです。 コグニション社は、この偉業をどのように正確に達成したのか、また自社独自のモデルを使用しているのかサードパーティのモデルを使用しているのかについては明らかにしていないが、この研究が同社の「長期的な推論と計画の進歩」の結果であることには言及している。

現在、同社はキャパシティを増強し、選ばれたユーザーにのみ Devin への早期アクセスを提供する過程にあります。 エンジニアリング作業を強化したいと考えている関係者は、電子メールで連絡してアクセスできると述べています。 後の段階では、より広範なアクセスが可能になることが予想されます。

コグニション社はまた、コーディングは「ほんの始まり」であるとウェブサイトで述べており、これは推論の進歩を活用して他の分野でも同様のAIエージェント/ワーカーを立ち上げる可能性があることを示唆しているようだ。 同社はこれまでに2100万ドルの資金を受け取っている。