AI の発展があまりにも速いため、測定するのが難しくなっていると専門家は言う |英国のニュース

テクノロジー業界全体が 1 つのグラフの最新の更新に注目しているように見える日もあります。

問題のグラフは METR と呼ばれる非営利研究機関によって作成され、さまざまな企業のソフトウェア開発能力を評価しています。 AIモデル。

このグラフは、顕著な指数関数的傾向、つまり成長の 2 倍を示しているため、何ヶ月もの間、人工知能に注目する人すべてに興奮と不安を引き起こしてきました。

METR (Model Evaluation and Threat Research) によると、AI の性能はおよそ 7 か月ごとに 2 倍という驚くべき速度で向上しています。

最新の結果は、傾向が継続しているだけでなく、実際に加速していることを示したため、状況を熱狂的な状態からパニック状態に変えました。

METR は、ますます長時間にわたる人間のソフトウェア タスクを完了する能力を評価することによって AI をテストします。

最新モデルを解析したところ、 Anthropicのクロード作品4.6、これまでの記録をすべて破りました。

「驚異的な飛躍」

テクノロジー業界の多くは、倍増が一見小さな増加から途方もない飛躍に変わるという欺瞞的な方法のため、この状況を新型コロナウイルスのパンデミックと比較しています。

「何もない、何もない、何もない、すべて」とは、英国のテクノロジー起業家で AI 研究者が私にこの状況を説明した方法でした。数か月前、METR チャートがすでにかなりめまいを感じていた頃でした (とはいえ、振り返ってみると、私たちはかろうじて丘陵地帯に近づいているように感じます)。

それ以来の進歩により、多くの人は急速に「すべて」に近づいていると感じています。

このチャートの発表後、あるMETR研究者は大学時代の友人にメモを送り、それをソーシャルメディアに投稿し、次のように述べた。

これは現在のテクノロジー業界では珍しい感情ではありません。大手AI企業の最高経営責任者は、いつも同様の発言をしている。

「産業革命の影響の10倍」

AI リーダーの中で最も慎重なデミス・ハサビスでさえ、AI は産業革命の 10 分の 1 のタイムスパンで 10 倍の影響を与えるだろうと常々語っています。

METRチャートに反応して広く共有されたニュースレターは、それをより簡単に述べています：「それが起こっていると、いつ蹴ったり叫んだりし始めなければなりません。」

しかし、「それ」とは一体何なのでしょうか？よく見てみると、見分けるのが難しくなります。

まず、METR チャートが実際に何を測定しているかを見てください。

続きを読む：
AI によって生成されたパスワードをお持ちの場合は、変更する必要があります。
「人類は調理されている」: AI は独自のソーシャル ネットワークを持つようになりました

詳細は技術的なものですが、大まかに言うと、AI が 50% の確率で完了できるタスクの長さを測定します。つまり、AI は成功するのと同じくらい頻繁に失敗します。

完全自動化には程遠い

半分の時間でタスクを完了できる AI に業務を委ねたビジネスは、長くは続かないでしょう。

METR も測定している 80% の成功でさえ、企業環境で完全な自動化に近づくものには十分には届きません。

次に、チャート上の点の正確な位置がありますが、これについては METR の研究者ですら自信がないと認めています。

METRの技術スタッフの一員であるジョエル・ベッカー氏は、同グループのクロード・オーパス4.6の評価において、取り得る値（信頼区間）の範囲が非常に広いことについて言及し、「私たちが発表している測定値について、ますます神経質になっている」と語った。

「私たちはその背後に隠れたくありません。それが本当の不確実性だと思います。」

不確実性の背後にある主な理由は、METR のような組織が AI を適切にテストするのに十分難しいタスクを見つけることがますます困難になっていることです。

それ自体が物語を語ります。

それにもかかわらず、市場は AI 評価の小さな変化に基づいて動いているため、METR のテストにおけるいくつかの小さな調整が結果を意味のある形で変えた可能性があることを覚えておくことが重要です。

AI の進歩の速度は加速しているかもしれませんが、減速することも簡単にあります。

AI開発の傾向を理解して以来、年金の支払いをやめたとベッカー氏はスカイニュースに対し、AIはまだ自らを改善することができず、AIの能力が爆発的に爆発するというSFのような恐怖を引き起こしていると信じていると語った。

それでも同氏は、「AIツールがAI専門家によるより優れたAIの構築の進歩を大幅に加速させているのはおそらく今日のことだ」とし、それ自体は重要なことだと述べた。

ベッカー氏はスカイニュースに対し、「状況は深刻で、急速に進んでおり、減速しているようには見えず、加速しているということを伝えたい」と語った。

「それは非常に前向きな可能性を伴う可能性があります…そしてその一方で、その後に非常に危険なことが起こるかもしれません。」

AIは雇用にどのような影響を与えるのでしょうか?

現時点では、英国と米国の雇用統計にはAIによる影響の兆候はほとんど見られません。

実際、求人検索プラットフォーム Indeed でソフトウェア エンジニアリングの求人の広告は増加しています。

ベッカー氏は、少なくともしばらくの間は、プログラマーには未来があると考えていたと語った。

「研究所内にはAIの専門家が全員いて、彼らは実際の仕事をしています。おそらく彼らは、来年からおそらくそれよりもさらに何年もの間、それほど似ていない仕事をし続けるのではないかと思います。」

しかし同氏は、「経済統計は数カ月前に起こったことを指しており、正確に今日起こっていることではない。

「特にソフトウェア エンジニアリングだけでなく他の分野でも、AI の能力が向上するなど、私たちが見てきた驚くべき進歩の一部は、ここ数か月の間に起こったと思います。」

AIの発展のスピードは今では非常に速く、測定するのが非常に困難になっています。

その事実だけでも非常に重要です。