ニューラル ネットワークはどのようにして知ったかぶりをするのでしょうか?また、それに対して何をすべきでしょうか?

ユーザーに嘘をつくニューラル ネットワークの能力が、いかに私たちの予想を超えているかについてはすでに話しました。これは大したことではないように思えるかもしれませんが、科学者たちはこれに同意しません。実際、GPT-4 などの言語モデルは日常生活に不可欠な部分になっています。これらは教育、医学、科学でも積極的に使用されており、さまざまで非常に複雑な問題の解決に役立ちます。しかし、これらのインテリジェント システムの優れた機能にもかかわらず、最近の研究結果では、システムが開発され継続的に改善されるにつれて、ニューラル ネットワークの信頼性がますます低下し、事実をでっち上げる可能性が高くなっていることが示されています。

Новейшие ИИ-системы стремятся убедительно отвечать на все вопросы, даже когда не уверены в надежности информации. Это особенно опасно в областях, где точность и надежность критически важны, например, в медицине или юридической практике.

なぜニューラル ネットワークは事実をでっち上げるのでしょうか?

研究結果、 出版された Nature 誌では、人工知能を備えたチャットボットのグループの信頼性がますます低下していることを示しました。チャットボットが開発されるにつれて、ユーザーの質問に答える際に、大規模な言語モデルがますます事実を作り上げるようになっています。

この記事の著者は、OpenAI の GPT、Meta の LLaMA、BigScience 研究グループが作成したオープンソースの BLOOM モデルなど、業界をリードする AI システムの動作を調査することで、この結論に達しました。

ニューラルネットワークは、知ったかぶりをすることを学びました。画像: quantummagazine.org

従来、人工知能に基づくシステムの改善は 2 つの方法で達成されてきたことに注意してください。 スケーリング （パラメータの数、データ量、コンピューティングリソースの増加）および モデルを「研ぎ澄ます」 (特定のタスクのカスタマイズとユーザーからのフィードバックの使用)。これらのアプローチにより、チャットボットは指示をよりよく理解し、より複雑で一貫した応答を生成できるようになりました。

Больше по теме: Нейросети научились врать и делают это намеренно

しかし、この研究では、これらの強化方法が望ましくない結果を引き起こすことが判明しました。したがって、より大きく、より「研ぎ澄まされた」モデルは、エラーが最小限に抑えられるべき単純な問題を解決するのに必ずしも信頼できるとは限りません。さらに、改良されたモデルの不正解率は、一般に、以前のモデルよりも大幅に高くなります。

最近では、ニューラル ネットワークがほぼすべての質問に答えます。これは、正解と不正解の両方の数が増加していることを意味します。 言った 新しい研究の著者の一人は、バレンシア人工知能研究所（スペイン）のホセ・ヘルナンデス・オラロ氏です。

この研究には関与していないグラスゴー大学（英国）のマイク・ヒックス氏は、より厳しい評価を下している。同氏によれば、チャットボットのなりすましは改善されつつあるという。 「全体的に見て、状況は彼らがハッタリを掛けているように見える。」とヒックス氏は語った。

科学者たちはチャットボットが嘘をつくことをどのようにして知ったのでしょうか?

研究の一環として、科学者たちはチャットボットにさまざまなトピック（数学から地理まで）について質問し、また、情報を特定の順序でリストするなど、多くのタスクを実行するよう依頼した。その結果、一般に、より大規模で強力な AI システムが最も正確な答えを生成することがわかりました。ただし、より難しい質問に対する回答の精度は大幅に低くなりました。

この科学研究の著者らは、OpenAI の GPT-4 と GPT-o1 がほぼすべての質問に答えることができると指摘しました。同時に、LLaMA ファミリーのチャットボットは、最も単純な質問に答えるときに 60% の精度レベルを達成できたものは 1 つもありませんでした。

OpenAI は最近、科学論文を作成できる最も強力な ChatGPT-o1 モデルを導入しました。画像: ctfassets.net

一般に、パラメーター、トレーニング データ、その他の要素の観点から AI モデルが大規模になると、生成される不正確な答えも多くなります。 結論付けた 研究者たち。

ただし、ニューラル ネットワークは、開発が進むにつれて、より複雑な質問にうまく答えられるようになります。問題は、誤りの可能性のほかに、 簡単な質問にはまだ対応できません。

Хотите всегда быть в курсе последних новостей из мира науки и высоких технологий? Подписывайтесь на наш канал в Telegram – так вы точно не пропустите ничего интересного!

理論的には、このようなエラーの存在は科学者やユーザーに対する深刻な警告ですが、これらのインテリジェントシステムは複雑な問題を解決するのが得意であるため、おそらく私たちはその明らかな欠点を見逃しがちです。

チャットボットは簡単な質問に答えるのが困難です。画像: cnet.com

幸いなことに、新しい研究の結果は、人々がAIの反応をどのように認識するかについていくつかの厳粛な調査結果も明らかにしました。たとえば、研究参加者に、質問に対するチャットボットの応答がどの程度正確であると思うかを評価するよう求めたところ、被験者が間違っていたのは 10% ～ 40% のみでした。これは、チャットボットがそこまで知ったかぶりではないというユーザーの認識が高まっていることを意味します。

Это интересно: Создатель ChatGPT предсказал ближайшее будущее: мы будем жить как в раю?

何をするか？

この科学研究の著者らによると、「全知」AI システムに対処する最も簡単な方法は、AI システムを「再フラッシュ」することです。開発者は、すべての質問に一度に答えるために急いでいないような方法でモデルをプログラムする必要があります。たとえば、以前のモデルでは、難しい質問への回答を避け、その限界を認識していることがよくありました。

研究著者の一人であるヘルナンデス・オラロ氏は、チャットボットに「しきい値」を設定して、チャットボットが難しい質問に答えたときに「分かりません」と正直に答えるようにすることができると語った。

ただし、AI システムを開発および改善する企業にとって、そのような誠実さは利益にならない可能性があります。結局のところ、企業の主な任務は、自社の最新の開発にできるだけ多くの世間の注目を集める (同時に新規ユーザーも) ことです。このため、科学者たちは、開発者は AI システムの開発アプローチを再考する必要があると考えています。

チャットボットとの対話は意味のあるものでなければなりません。画像: ft.com

これは、チャットボットが答えを知っている質問のみに答えるように制限されていれば、一般の人々はすぐにニューラル ネットワークの限界に気づくことを意味します。しかし、これには何の問題もないように私には思えます。

Вам будет интересно: Нейросети уничтожат человечество. Правда или нет?

では、チャットボットと定期的に対話する一般の人は、上記のすべてを理解した上で何をすべきでしょうか?答えは簡単だと私には思えます – 「信頼するが検証する」。もちろん時間はかかりますが、データや情報をチェックするスキル（さらには習慣）は間違いなくあなたの人生と仕事をより良くします。

これを疑うなら、少し前までチャットボットのデータとアドバイスをチェックする習慣が家族全員の命を救ったことを思い出してください。この魅力的かつ恐ろしい物語について詳しく読む 私の同僚アンドレイ・ジューコフはこう言った。読むことをお勧めします！