[2510.15511] 言語モデルは単射的であるため可逆的です

[Submitted on 17 Oct 2025 (v1), last revised 21 Oct 2025 (this version, v3)] Giorgos Nikolaou と他の 5 人の著者による、「Language Models are Injective and したがって Invertible」というタイトルの論文の PDF を表示します。 PDFを見る HTML (実験的) 抽象的な：非線形アクティベーションや正規化などのトランスフォーマー コンポーネントは本質的に非単射的であり、異なる入力が同じ出力にマッピングされ、モデルの表現からの入力の正確な回復を妨げる可能性があることを示唆しています。本稿では、この見解に異議を唱えます。まず、離散入力シーケンスを対応する連続表現シーケンスにマッピングするトランスフォーマー言語モデルは単射的であり、したがって可逆性があり、この特性は初期化時に確立され、トレーニング中に保存されることを数学的に証明します。次に、6 つの最先端の言語モデルでの数十億回の衝突テストを通じてこの結果を経験的に確認し、衝突は観察されませんでした。第三に、単射性を操作します。SipIt を導入します。これは、隠れたアクティベーションから正確な入力テキストを証明可能かつ効率的に再構築し、線形時間保証を確立し、実際に正確な可逆性を実証する最初のアルゴリズムです。全体として、私たちの研究は言語モデルの基本的かつ悪用可能な特性としての注入性を確立し、透明性、解釈可能性、安全な展開に直接的な影響を及ぼします。 投稿履歴 投稿者: アンドレア サンティリ…