1736557937
2025-01-09 17:38:00
人工知能の危険性に関するジェフリー・ヒントンの懸念（「AI のゴッドファーザー」は今後 30 年間でテクノロジーが人類を滅ぼす可能性を短縮する、12 月 27 日）について、私はこれらの懸念は AI の安全性に関する共同研究を通じて最もよく軽減できると信じています。テーブルにおける規制当局の役割。
現在、フロンティア AI は開発後に「レッド チーム」を使用してテストされており、マイナスの結果を引き出すために最善を尽くしています。このアプローチだけでは決して十分ではありません。 AI は安全性と評価を考慮して設計される必要があります。これは、確立された安全関連業界の専門知識と経験を活用することで実現できます。
ヒントン氏は、AI による生存の脅威が意図的に暗号化されたものであるとは考えていないようです。では、このシナリオを意図的に回避するよう強制してはどうでしょうか?人類が直面するリスクのレベルについての彼の見解には私は同意しませんが、予防原則は私たちが今すぐ行動しなければならないことを示唆しています。
従来の安全性が重視される領域では、航空機などの物理システムを構築する必要があるため、安全性が影響を受ける割合が制限されていました。 Frontier AI には、導入時にそのような物理的な「レート リミッター」が存在しないため、規制が役割を果たす必要があるのはここです。理想的には、導入前にリスク評価があるべきですが、現在のリスク指標は不十分です。たとえば、アプリケーション分野や導入規模が考慮されていません。
規制当局には、導入されたモデルを「リコール」する権限が必要であり（また、モデルを開発する大企業には、特定の使用を停止するメカニズムを組み込む必要がある）、また遅行指標だけでなくリスクの先行指標を提供するリスク評価の作業を支援する必要がある。言い換えれば、政府は、規制当局が市販前規制を実施するための洞察を得ることができるようにする研究を支援しながら、市販後の規制規制に焦点を当てる必要がある。これは困難ではあるが、人類が直面するリスクのレベルについてヒントンが正しいのであれば、不可欠なことである。
ジョン・マクダーミッド教授
ヨーク大学安全自律研究所
#AIの安全性に関する共同研究は不可欠 #人工知能