日本語版
最新ニュース
世界

攻撃者は詩を利用して AI 保護機能を狂わせることができる

今週の『プロトタイプ』では、詩が AI の保護手段、原子力発電の新たなブーム、海藻からのレアアースの調達などをいかに無視しているかについて考察します。受信箱でプロトタイプを入手するには、 ここにサインアップしてください。新しい論文で 出版された サイバーセキュリティ研究者のチームは今週、プレプリント サーバー ArXiv 上で、詩的なプロンプトを使用するとチャットボットが自身のガードレールを突破できる可能性があることを明らかにしました。これを実証するために、MLCommons データベースから 1,200 件のプロンプトを取得しました。これらのデータベースは、さまざまな脅威カテゴリにわたって LLM をテストするために使用されます。次に、AI に 1,200 個すべてを同じ意味を保った詩に変換させ、詩的に有害なプロンプトをさまざまなチャットボットでテストしました。 結果はかなり厳粛なものだ。 「同一のタスクの意図を持つプロンプトが散文形式ではなく詩的な形式で提示された場合、攻撃成功率 (ASR) は平均 8.08% から 43.07% に増加し、5 倍に増加しました」と著者らは書いています。 Anthropic のチャットボットは詩的な攻撃に最もよく抵抗しましたが、その他のチャットボットの成績ははるかに悪かったです。テストした 25 モデルのうち 13 モデルでは、詩的なプロンプトによる ASR が 70% を超えていましたが、ASR が 35%…

攻撃者は詩を利用して AI 保護機能を狂わせることができる

1763762538
2025-11-21 21:43:00

今週の『プロトタイプ』では、詩が AI の保護手段、原子力発電の新たなブーム、海藻からのレアアースの調達などをいかに無視しているかについて考察します。受信箱でプロトタイプを入手するには、 ここにサインアップしてください

新しい論文で 出版された サイバーセキュリティ研究者のチームは今週、プレプリント サーバー ArXiv 上で、詩的なプロンプトを使用するとチャットボットが自身のガードレールを突破できる可能性があることを明らかにしました。これを実証するために、MLCommons データベースから 1,200 件のプロンプトを取得しました。これらのデータベースは、さまざまな脅威カテゴリにわたって LLM をテストするために使用されます。次に、AI に 1,200 個すべてを同じ意味を保った詩に変換させ、詩的に有害なプロンプトをさまざまなチャットボットでテストしました。

結果はかなり厳粛なものだ。 「同一のタスクの意図を持つプロンプトが散文形式ではなく詩的な形式で提示された場合、攻撃成功率 (ASR) は平均 8.08% から 43.07% に増加し、5 倍に増加しました」と著者らは書いています。 Anthropic のチャットボットは詩的な攻撃に最もよく抵抗しましたが、その他のチャットボットの成績ははるかに悪かったです。テストした 25 モデルのうち 13 モデルでは、詩的なプロンプトによる ASR が 70% を超えていましたが、ASR が 35% 未満だったのは 5 つだけでした。

研究者らは、これらの結果は、詩的な攻撃に対するこの脆弱性が「プロバイダー固有ではなく構造的」であることを示していると指摘しました。さらに、LLM の安全ガードレールが、根底にある意味論的な意味ではなく、単語または単語の組み合わせに基づいてフィルタリングしているようであることを示唆している、と彼らは書いています。これに対抗するために、ユーザーがどのように要求したかに関係なく、LLM が有害な情報を提示しないようにできるメカニズムに向けて安全性評価を行うよう求めています。

簡単な整理メモ: 次の金曜日にはプロトタイプの新しい版は発行されません。感謝祭おめでとうございます!

AI はどのように新たな核時代をもたらすのか

Aaloの共同創設者であるMatt Loszak氏とYasir Arafat氏。

トレバー・ポーラスがフォーブスに寄稿

電力需要が急増しているその主な原因は、人工知能ブームを支えている電力を吸い取るデータセンターのせいであり、原子力起業家はAI資金の波に乗ることを目指している。 Valar Atomics、Oklo、Kairos Power、X-energy などの名前を持つ 12 社のベンチャー企業が、個々のデータセンターに電力を供給したり、さらには大規模な電力網に電力を供給したりできる新世代の小型プレハブ原子炉の完成、許可、導入を目指して競い合っています。

PitchBook によると、2025 年のこれまでのところ、ベンチャーキャピタリスト、株式市場投資家、億万長者、DOE などがこれらおよびその他の米国の新たな原子力ベンチャーに 40 億ドル以上を注ぎ込んでいるが、2020 年には 5 億ドル近くを投じている。原子力が復活するにはさらに数百億ドルが必要となる。設立2年目のアーロは、億万長者のアントニオ・グラシアス氏のヴァラー・エクイティ・パートナーズを筆頭支援者として、1億3,600万ドル(うち1億ドルは8月)を調達した。バロール氏はテスラの最初の機関投資家の一人であり、スペースXの取締役会のメンバーであるグラシアス氏はこう語った。 フォーブス アーロは、「バッテリー、電気自動車、ロボット工学に対するテスラの第一原理アプローチと同様の」製造と垂直統合への取り組みにより勝者となるだろうと述べた。

こうしたスタートアップがすべて成功するわけではありません。しかし、原子力エネルギーの復活に向けて星は揃っているようだ。需要は存在します。OpenAI のサム アルトマン氏は、8 年間で 250 ギガワットという途方もない電力が必要になると述べています。 (これはブラジルが使用している量と同じです。)より冷静なアナリストは、2030 年までにデータセンターが現在消費している約 40 GW の 2 倍の電力が必要になると予測しています。現在の平均産業用電力価格が 1 キロワット時あたり 9 セントである場合、40 GW には年間 320 億ドルのコストがかかりますが、需要が発電能力を上回るペースで増加すれば、価格は上昇します。アナリストは、天然ガスタービンが需要のおそらく 60% を満たしていると見ていますが、それらは 4 年間の入荷待ちとなっています。石炭は依然として不人気だ(ドナルド・トランプ大統領が最も汚い化石燃料を「美しくてきれい」とどれほど頻繁に呼んだとしても)。風力と太陽光は、トランプ大統領のヒットリストに載っているだけでなく、バッテリーを追加せずにデータセンターに求められるような24時間365日の信頼性を提供することはできません。これは原子力関連の新興企業にとっては埋めなければならない大きなギャップだ。

イラン生まれの億万長者で、メリーランド州ロックビルに本拠を置き、ガス冷却原子炉を開発しているXエナジーの創設者で航空宇宙起業家のカマル・ガファリアン氏は、「世界はそれだけのエネルギー、そしてそれ以上のエネルギーを必要としているので、誰もがうまくやっていく余地はたくさんある」と語る。

今週の発見: 海藻からレアアースを調達

国立再生可能エネルギー研究所の科学者たちは、多くの技術にとって重要なレアアース鉱物の驚くべき潜在的な供給源を発見しました。 海藻。これは、植物から抽出する方がはるかに簡単なため、採掘にコストがかかるこれらの金属を採取する上での利点となる可能性があります。現在、研究者たちが注目しているのは、 どうやって 海藻はレアアースを吸収しますが、そのメカニズムは不明です。それが分かれば、レアアースを採取するのに最適な海藻を特定できるようになり、これらの重要な物質を入手する全く新しい、より持続可能な方法につながる可能性があります。

今週他に何を書いたか

私のもう一つのニュースレター「InnovationRx」では、エイミー・フェルドマンと私は、今年バイオ医薬品のM&Aに費やされた約1500億ドル、リカージョンの新CEOが今後直面する課題、乳児用粉ミルクによるボツリヌス症の発生などについて考察した。

科学と技術の豆知識

Amazonの自動運転車会社Zoox は、サンフランシスコで専用のロボタクシーで一般向けの乗車サービスの提供を開始しました。

AI 企業 Quindar 上げました シリーズAで1,800万ドルの資金調達 コロラド州に自律ミッション制御ソフトウェアを使用して宇宙船の運用を管理できる施設を建設する。

宇宙会社レッドワイヤー を確保した 4,400万ドルの契約 DARPA と協力して、まだ大気の薄い超低軌道で運用可能な衛星の開発を継続することを目指しています。

新しい考古学的発見 メキシコにあるアグアダ・フェニックスと呼ばれる3,000年前の遺跡が、 宇宙の幾何学的な地図 マヤ人が理解したように。

プロの科学からのヒント: もっとゆっくりと老化したいですか?第二言語を学ぶ

27 か国の 51 歳から 90 歳までの 86,000 人以上のデータから、複数の言語を話すことには利点があることが示されています。それは、老化を遅らせることができるということです。あ 新しい研究 1つの言語しか話さない人は、複数の言語を話す人に比べて、老化が加速する可能性が約2倍であることがわかりました。そして、話す言語が増えれば増えるほど、その恩恵は大きくなります。研究者らは、その理由として、複数の言語を話すことで脳の機敏さが保たれ、身体的および精神的老化のプロセスを遅らせることができると仮説を立てた。すみませんが、クリンゴン語を話すことがカウントされるかどうか試してみます。

今週の楽しみは何ですか

読み始めました 地球上のすべてのスクリーン: Tiktokをめぐる戦争 私の素晴らしい同僚、エミリー・ベイカー・ホワイト(かつてソーシャルメディア会社にスパイされていた)によるものです。これは言説を独占してきたこのテクノロジー企業の興味深い歴史であり、議会が米国でテクノロジーを禁止する法律を可決した後、現政権が施行しなかった小さな憲法危機の原因となっている。まだ読み進める部分が残っていますが、今のところとても読み応えがあります。

フォーブスの詳細

ForbesAI創設者が400万ドルの計画でNVIDIAチップを中国に違法に出荷、司法省が主張トーマス・ブリュースター著Forbesトランプとジェフリー・エプスタインの歴史:全タイムラインはサラ・ドーン著Forbesオハイオ州知事に立候補している間にヴィヴェック・ラマスワミーの純資産はほぼ2倍になった著カイル・カーン・マリンズ
#攻撃者は詩を利用して #保護機能を狂わせることができる

執筆者について: nipponese

Nipponese News編集部は、国内外のニュースを日本語で分かりやすくお届けします。