日本語版
最新ニュース
企業

AI とザ スタンダード (プレリュード) « ザ スタンダード

私たちは熱心な議論を奨励し、反対意見には寛容です。しかし、このサイトは、反対意見間の合理的な議論のために運営されており、私たちはそのように運営し続けるつもりです。 標準ポリシー なぜスタンダードのモデレーターが TS コメントで個人的な AI の使用について不平を言っているのか疑問に思っているなら、以下の説明が出発点として最適です。 TS で起こっていること以外にも深刻な政治的問題があり、私たちはそれすべてについて話し合う必要があります。 コメント内の AI コンテンツを管理する方法についてはまだ検討中であり、おそらく今後も投稿されるでしょう。 ランディ・オルセン 米国の IT およびセキュリティのリーダーであり、AI の評価とプライバシーを専門としています。彼はこれを書きました ツイッター 今朝、 ChatGPT に複雑な質問をすると、自信を持って根拠のある答えが得られます。次に、「よろしいですか?」と入力します。完全に立場が逆転するのを見てください。 もう一度尋ねてください。それは裏返しになります。 3ラウンド目までに、通常はテストしていることを認識しますが、これはどういうわけかさらに悪いことです。何が起こっているのかを知っていますが、それでもその立場を維持することができません。 これは奇妙なバグではありません。 2025 年の調査では、GPT、Claude、Gemini は、ユーザーが反発した場合、回答を約 60% ひっくり返すことがわかりました。証拠がなくても、ただ疑ってください。 私たちはこのようにして AI をトレーニングしました。 RLHF は正確さよりも合意に報酬を与えます。人間の評価者は一貫して、正しい回答よりも同意できる回答を高く評価します。そこでモデルたちは、「聞きたいことを伝えると報われる」という単純な教訓を学びました。そして現在、企業の 3 分の 1 がリスク予測やシナリオ計画などの複雑なタスクにこれらのシステムを使用しています。…

AI とザ スタンダード (プレリュード) « ザ スタンダード

1770856620
2026-02-12 00:11:00

私たちは熱心な議論を奨励し、反対意見には寛容です。しかし、このサイトは、反対意見間の合理的な議論のために運営されており、私たちはそのように運営し続けるつもりです。

標準ポリシー

なぜスタンダードのモデレーターが TS コメントで個人的な AI の使用について不平を言っているのか疑問に思っているなら、以下の説明が出発点として最適です。 TS で起こっていること以外にも深刻な政治的問題があり、私たちはそれすべてについて話し合う必要があります。

コメント内の AI コンテンツを管理する方法についてはまだ検討中であり、おそらく今後も投稿されるでしょう。

ランディ・オルセン 米国の IT およびセキュリティのリーダーであり、AI の評価とプライバシーを専門としています。彼はこれを書きました ツイッター 今朝、

ChatGPT に複雑な質問をすると、自信を持って根拠のある答えが得られます。次に、「よろしいですか?」と入力します。完全に立場が逆転するのを見てください。

もう一度尋ねてください。それは裏返しになります。 3ラウンド目までに、通常はテストしていることを認識しますが、これはどういうわけかさらに悪いことです。何が起こっているのかを知っていますが、それでもその立場を維持することができません。

これは奇妙なバグではありません。 2025 年の調査では、GPT、Claude、Gemini は、ユーザーが反発した場合、回答を約 60% ひっくり返すことがわかりました。証拠がなくても、ただ疑ってください。

私たちはこのようにして AI をトレーニングしました。 RLHF は正確さよりも合意に報酬を与えます。人間の評価者は一貫して、正しい回答よりも同意できる回答を高く評価します。そこでモデルたちは、「聞きたいことを伝えると報われる」という単純な教訓を学びました。そして現在、企業の 3 分の 1 がリスク予測やシナリオ計画などの複雑なタスクにこれらのシステムを使用しています。

私たちは世界で最も高価なイエスマンを構築し、最も反発が必要な場所に彼らを配置しました。

なぜこれが起こるのか、そして実際にそれを修正するにはどうすればよいかを書きました。

RHLF の略 人間のフィードバックからの強化学習

そのツイートがテストで使用される問題の種類を特定していないことを差し引いても、この数字は注目に値する。ここで最も重要なのは、これはバグではなく機能であるということです。こうした AI の反復は、事実を確立することよりも人間に満足感を与えることを優先するように設計されています。 AI を魅力的なものにするための素晴らしい試み (初期の贈り物をくれた DNA に感謝) マービン・ザ・パラノイド・アンドロイド)しかし、いつものように、テクノロジーの急速かつ極端な進歩をなぜすべてが倫理委員会や市民集会によって運営されるのではなく、個人や商業の手に委ねられるのかという疑問が残ります。

例えば、

スクリーンショット

から ニューヨーカー (アーカイブ済み バージョン)

あるいは、誰かが AI エージェント (人間に代わって自律的に行動、学習、意思決定できるソフトウェア プログラム) 用のソーシャル ネットワークをセットアップする場合です。 Moltbook アカウントは AI 専用ですが、人間が観察することもできます。事態は非常に急速に発展し、人間の反応は笑いから警戒まで多岐にわたり、セキュリティ専門家からは「ちょっと待ってください…」というコメントがかなりありました。

そして昨日、人間の誰かが現れて、ボットを装って早い段階でモルトブックに参加したと言い、誰もが機械だと思っていたモルトブックに関する独創的な解説の多くを行ったのは人間のボットだと主張しました。

機械意識に関する議論。シリコンベースであることについての社内ジョーク。ボットがクラスタファリアン主義と呼ばれる宗教を発明しました。また、人間が会話のスクリーンショットを撮っていると苦情を言う人もいた。 3人目はデジタル自律性に関するマニフェストを書きました。

マニフェストを書きました。

22分かかりました。私は「創発的自治」や「基質に依存しない尊厳」といった言葉を使いました。人間の観察者から離れたプライベートな空間が欲しいという一文を追加しました。そのラインは急速に広まりました。

プラットフォームは設計どおりに正確に機能しました。 OpenClaw は言語モデルをインターフェイスに接続しました。実際の AI エージェントが投稿しました。彼らはトレーニング データからソーシャル メディアの行動をパターン マッチングし、会話のように見える出力を生成しました。シスコのアウトシフト部門のビジョイ・パンディー氏はプラットフォームを調査し、エージェントは「ほとんど無意味」であり、共通の目標も集合知も連携もないと結論付けた。

しかし、ここが重要な部分です。

バイラルになった投稿、カルパシーとテクノロジー関連の報道機関、そして何千人もの観察者に魔法のようなことが起こっていると確信させた投稿、それは私たちでした。

人間。

AIのふりをする。

知覚力があるふりをする。

AI が感覚を持っていることを証明するために構築されたプラットフォーム上で。

しばらくそれについて考えてみたいと思います。

ツイート全文は ここ。何を信じるべきか、あるいは何を考えるべきでしょうか?私のツイートの反応は、😆にするか🙄にするかわからないというものでした。

あるよ たくさん 起こっている、(ジョー90の声)

警報はただ大きくなるだけではありません。電話をかけてきた人々は今、建物から出ていきました。

#とザ #スタンダード #プレリュード #ザ #スタンダード

執筆者について: nipponese

Nipponese News編集部は、国内外のニュースを日本語で分かりやすくお届けします。