言語を学ぶのはそれほど難しいことではありません。世界中の赤ちゃんは皆、数年以内になんとか習得できるようになります。プロセスがどのように機能するかを理解するのは別の話です。言語学者はそれを説明するために精緻な理論を考案しましたが、最近の機械学習の進歩により新たな問題が加わりました。コンピューター科学者が ChatGPT のような最新のチャットボットを強化する言語モデルの構築を開始したとき、彼らは言語学の研究に数十年を費やし、その賭けは報われたように見えました。しかし、彼らの作品は本当に学習しているのでしょうか？
「たとえ人間がやっているのと同じようなことをしているとしても、まったく異なる理由でそれをしている可能性があります」と述べた。 レンズ豆がたっぷり、ニューヨーク大学の計算言語学者。
定義についてただ屁理屈を言うだけの問題ではない。言語モデルが本当に言語を学習しているのであれば、研究者はそれがどのように行われるかを説明するために新しい理論を必要とするかもしれません。しかし、モデルがより表面的なことを行っている場合、おそらく機械学習には言語学を提供する洞察がありません。
ノーム・チョムスキー言語学の分野の巨人である彼は、後者の見解を公に主張している。痛ましい2023年に ニューヨークタイムズ 意見記事彼と2人の共著者は、言語モデルに対して多くの議論を展開しました。その中には、一見矛盾しているように聞こえるものも含まれています。言語モデルは学習が多すぎるため、言語学とは無関係です。具体的には、モデルは「不可能な」言語、つまり既知の人間の言語とは異なるルールに支配された言語を、可能な言語と同じくらい簡単に習得できると著者らは主張した。
最近、5人の計算言語学者がチョムスキーの主張を検証した。彼らは英語のテキスト データベースを変更して 12 の不可能な言語を生成したところ、言語モデルがこれらの言語を学習するのが通常の英語よりも難しいことがわかりました。彼らの論文は「ミッション: インポッシブルな言語モデル」が、2024 年の計算言語学協会会議で最優秀論文賞を受賞しました。
「素晴らしい紙ですね」 アデル・ゴールドバーグ、プリンストン大学の言語学者。 「これはまさにタイムリーかつ重要です。」この結果は、言語モデルが、結局のところ、赤ちゃんの喃語を理解しようとする研究者にとって有用なツールである可能性があることを示唆しています。
言語の壁
2023年、ノーム・チョムスキーは、ニューラルネットワークは現実の言語と同じように「不可能な」言語も学習できるため、ニューラルネットワークは言語学の研究とは無関係であると主張した。
ミロスラフ・ダコフ/アラミー ストックフォト
20 世紀前半、ほとんどの言語学者は世界の言語のカタログ化に関心を持っていました。そして 1950 年代後半、チョムスキーは別のアプローチの先頭に立ちました。彼は、すべての言語の根底にある普遍的な構造を明らかにするという野心的な試みにおいて、理論的なコンピューター サイエンスと数学的論理からアイデアを引き出しました。
チョムスキーは、人間には言語処理に特化した生得的な精神機構が備わっているに違いないと主張した。そうすれば、いくつかの単純な文法規則は既知の言語には決して現れないという観察を含む、言語学における多くの大きな謎が説明されるでしょう。
チョムスキー氏は、言語学習が他の種類の学習と同じように機能するのであれば、一部の文法規則が他の種類の規則よりも優先されることはないだろう、と推論した。しかし、言語が本当に特殊であるならば、これはまさにあなたが予想するとおりです。特殊な言語処理システムは必然的に人間を特定の言語に偏らせ、他の言語を不可能にするでしょう。
「人間は他のことを学ばないように組み込まれているとは言わずに、人間は特定のことを学ぶように組み込まれていると言うのは、あまり意味がありません。」 ティム・ハンター、カリフォルニア大学ロサンゼルス校の言語学者。
チョムスキーのアプローチはすぐに理論言語学研究の主流となった。それが半世紀も続いた。その後、機械学習革命が起こりました。
マシンの台頭
言語モデルは、構成ニューロン間の接続に従ってデータを処理するニューラル ネットワークと呼ばれる数学的構造に基づいています。各接続の強さは、重みと呼ばれる数値で定量化されます。言語モデルを構築するには、研究者はまず特定の種類のニューラル ネットワークを選択し、次に接続にランダムに重みを割り当てます。その結果、言語モデルは最初は意味のないものを吐き出します。その後、研究者はモデルをトレーニングして、文章がどのように続くかを一度に 1 単語ずつ予測します。これは、モデルに大量のテキストを供給することによって行われます。モデルはテキストのブロックを認識するたびに、次の単語の予測を出力し、この出力を実際のテキストと比較し、予測を改善するためにニューロン間の接続を調整します。小さな調整を十分に行うと、不気味なほど流暢な文章を生成できるようになります。
言語モデルと人間は明らかに異なります。ほんの一例を挙げると、最先端のモデルは、人間が生涯で目にする数よりもはるかに多い数兆の単語でトレーニングする必要があります。それでも、言語モデルは、人間の赤ちゃんを使った実験における倫理的制約を回避する、言語学習の新しいテストケースを提供する可能性があります。
「言語の動物モデルは存在しない」と彼は言った イザベル・パパディミトリウ、ハーバード大学の計算言語学者であり、新しい論文の共著者です。 「言語モデルは、介入的な方法で実験できる最初のものです。」
「あなたはただ『この言葉を見たことがあります』と言っているだけです。次に何が来るのか』ということは、言語についての非常に直線的な考え方です」と述べた。 ジェフ・ミッチェル、サセックス大学の計算言語学者。
2020 年、ジェフ ミッチェルは、ある種類のニューラル ネットワークが不可能な言語をどの程度学習できるかを研究しました。
2020年、ミッチェルと ジェフリー・バウワーズブリストル大学の心理学者は、言語モデルの異常な学習方法が、不可能な言語を習得する能力にどのような影響を与えるかを研究することに着手しました。新しい言語をゼロから発明すると、制御できない変数が多すぎます。モデルが人工言語の学習において優れているか劣っているとしても、その理由を特定するのは困難です。代わりに、ミッチェルとバウワーズは、英語のテキスト データ セットをさまざまな方法で操作して、奇妙なルールに支配される 3 つの独自の人工言語を作成するという実験の対照を考案しました。たとえば、1 つの言語を構築するために、すべての英語の文をランダムな位置で 2 つに分割し、2 番目の部分の単語の順序を反転しました。
ミッチェルとバウワーズは、トレーニングされていない言語モデルの 4 つの同一のコピーから始めました。次に、彼らはそれぞれを異なるデータセット (不可能な 3 つの言語と未修正の英語) でトレーニングしました。最後に、彼らは各モデルに、トレーニングに使用した言語の新しい文を含む文法テストを実施しました。
ありえない言語でトレーニングされたモデルは、複雑な文法にも動じませんでした。彼らはいた ほぼ同じくらい正確 英語の訓練を受けた人として。
陰謀は濃くなる
ジュリー・カリーニ あまり確信が持てませんでした。それは 2023 年 8 月のことで、彼女はスタンフォード大学のコンピューター サイエンスの大学院に入学したばかりでした。チョムスキーの言語モデルに対する批判は、学生同士の非公式な議論でよく話題になりました。しかし、カリーニが文献を調べたとき、3年前のミッチェルとバウワーズの論文以来、不可能な言語に関する実証研究が存在しないことに気づきました。彼女はこの論文は興味深いと感じたが、チョムスキーの広範囲にわたる主張にはさらなる証拠が必要だと考えた。これはすべての言語モデルに適用されるはずでしたが、ミッチェルとバウワーズは、今日ではあまり普及していない古いタイプのニューラル ネットワークのみをテストしていました。カリーニにとって、その使命は明白でした。それは、チョムスキーの主張を最新のモデルでテストすることです。
カリーニはアドバイザーと面会し、 クリストファー・ポッツ、そして今日の主要な言語モデルの中心である、いわゆるトランスフォーマーネットワークにおける不可能な言語習得の徹底的な研究を提案しました。ポッツさんは当初、カリーニさんの大学院生としての最初のプロジェクトとしては野心的すぎると思ったが、彼女はそれを追求する価値があると彼を説得した。
「ジュリーはかなり容赦なかった」と彼は語った。
#モデルは人々がどのように学習するかを示すことができるでしょうか不可能な言語が道を指し示す