AIエージェントはひどいフリーランス労働者である

最高のものでも 人工知能 エージェント AIが会社員を一斉に置き換えるという考えに疑問を投げかける実験によると、オンラインでのフリーランスの仕事にはかなり絶望的だという。

データ アノテーション会社 Scale AI と非営利団体 AI Safety Center (CAIS) の研究者によって開発された新しいベンチマークである Remote Labor Index は、経済的に価値のある作業を自動化するフロンティア AI モデルの能力を測定します。

研究者らは、数名の有力な AI エージェントにさまざまなフリーランスの仕事を模擬して与えたところ、最も優れたエージェントであっても、仕事の 3% 未満しか遂行できず、143,991 ドルのうち 1,810 ドルを稼ぐことができることがわかりました。研究者らはいくつかのツールを検討した結果、同名の中国のスタートアップ企業の Manus が最も有能であることが判明し、次に xAI の Grok、Anthropic の Claude、OpenAI の ChatGPT、Google の Gemini が続きました。

「これにより、AI 機能で何が起こっているのかについて、より正確な印象が得られることを願っています」と CAIS ディレクターの Dan Hendrycks 氏は言います。同氏は、一部のエージェントは過去1年ほどで大幅に改善したが、それが同じ速度で続くことを意味するものではないと付け加えた。

AI の目覚ましい進歩により、間もなく AI が人間の知能を超え、膨大な数の労働者に取って代わるのではないかという憶測が生まれています。 3月、AnthropicのCEO、ダリオ・アモデイ氏は、コーディング作業の90パーセントは仕事であると示唆した。 自動化されるだろう 数か月以内に。

これまでの AI の波は、たとえば、 放射線科医の差し迫った交代 AI アルゴリズムを使用します。

研究者らは、検証済みの Upwork ワーカーを通じてさまざまなフリーランス タスクを生成しました。タスクは、グラフィック デザイン、ビデオ編集、ゲーム開発、データのスクレイピングなどの管理雑務など、多岐にわたります。彼らは、各ジョブの説明と、その作業を実行するために必要なファイルのディレクトリ、および人間が作成した完成したプロジェクトの例を組み合わせました。

ヘンドリックス氏は、AI モデルは改良されているが、 コーディング時、数学、そして 論理的推論 近年では、さまざまなツールを使用したり、多くの手順を伴う複雑なタスクを実行したりすることに依然として苦労しています。 「彼らは長期的な記憶を持たず、経験から継続的に学習することができません。人間のように仕事中にスキルを習得することができません」と彼は言います。

この分析は、OpenAI が 9 月に提供した経済指標と呼ばれる指標に対する対照を提供します。 GDP値、経済的に価値のある仕事を測定することを目的としています。 GDPval によると、GPT-5 などのフロンティア AI モデルは、さまざまなオフィス業務にわたる 220 のタスクにおいて人間の能力に近づいています。 OpenAIはコメントを出していない。