AIモデルも脳を腐らせる

結局のところ、AI モデルは人間に似ているのかもしれません。

新しい 勉強 テキサス大学オースティン校、テキサスA&M校、パデュー大学の研究チームは、大規模な言語モデルが、人気はあるものの低品質のソーシャルメディアコンテンツを大量に摂取することで、一種の「脳の腐敗」体験を与えていることを示している。これは、XやTikTokのドゥームスクロールに長時間を費やした人にはよく知られているかもしれない。

「私たちは、注意力の持続時間よりも早く情報が増加する時代に生きています。そしてその多くは、真実や深みを伝えるものではなく、クリックを捉えるように設計されています」と、シンガポール国立大学の次期助教授であり、UTオースティン校の大学院生として研究に携わったジュンユアン・ホン氏は言う。 「私たちは、AI が同じ内容でトレーニングされるとどうなるだろうかと考えました。」

ホン氏と彼の同僚は、事前トレーニングで 2 つのオープンソースの大規模言語モデルにさまざまな種類のテキストを供給しました。研究者らは、非常に「魅力的」な、つまり広く共有されているソーシャル メディアの投稿と、「すごい」「見てください」「今日だけ」などのセンセーショナルなまたは誇大宣伝されたテキストを含む投稿をモデルに与えたときに何が起こるかを調査しました。

次に研究者らは、いくつかの異なるベンチマークを使用して、この「ジャンク」ソーシャル メディア ダイエットが 2 つのオープンソース モデル、Meta の Llama と Alibaba の Qwen に及ぼす影響を測定しました。

ジャンクテキストを与えられたモデルは、推論能力の低下や記憶力の低下などの認知機能の低下を伴う、一種のAI脳の腐敗を経験しました。また、2 つの尺度によると、モデルは倫理的整合性が低くなり、より精神異常性が高くなりました。

この結果は人間を対象とした研究を反映しています。 ショー 低品質のオンライン コンテンツには、 悪影響 人々の認知能力について。この現象の蔓延により、オックスフォード辞書に「脳の腐敗」という名前が付けられた 2024年の今年の言葉。

モデル構築者はソーシャル メディアの投稿がモデルのトレーニング データの優れた情報源であると想定している可能性があるため、この結果は AI 業界にとって重要であるとホン氏は言います。 「バイラルなコンテンツや注目を集めるコンテンツのトレーニングは、データをスケールアップするように見えるかもしれません」と彼は言います。 「しかし、それは推論、倫理、そして長期にわたる文脈への注意を静かに蝕む可能性があります。」

AI 自体がソーシャル メディア コンテンツをますます生成しており、その多くがエンゲージメントのために最適化されているように見える場合、LLM が脳の腐敗に苦しんでいるという事実は特に懸念されるようです。研究者らはまた、低品質のコンテンツによって損なわれたモデルは、再トレーニングによって簡単に改善できないことも発見しました。

この調査結果はまた、Grok などのソーシャル プラットフォームを中心に構築された AI システムでは、ユーザーが作成した投稿が投稿の完全性を考慮せずにトレーニングに使用された場合、品質管理の問題が発生する可能性があることも示唆しています。

「AI によって生成されたスロップがソーシャル メディア全体に広がるにつれ、将来のモデルが学習するデータそのものが汚染されます」とホン氏は言います。 「私たちの調査結果は、この種の『脳の腐敗』が始まると、その後のクリーンなトレーニングではそれを完全に元に戻すことはできないことを示しています。」

これはのエディションです ウィル・ナイツ AIラボニュースレター。以前のニュースレターを読む ここ。