「マインドキャプション」技術は脳スキャンから人間の思考を読み取ることができる

高度なテクノロジーを使用して脳の活動を読み取ることは、新しい概念ではありません。しかし、ほとんどの技術は、人が見たり考えたりしている物体や動作に関連する単一の単語を識別したり、話された単語に対応する脳信号を照合したりすることに重点を置いています。キャプション データベースやディープ ニューラル ネットワークを使用する方法もありましたが、これらのアプローチはデータベースの単語範囲によって制限されたり、脳に存在しない情報が導入されたりすることがありました。複雑な視覚的認識や思考の詳細で構造化された説明を生成することは依然として困難です。

最近の研究 出版された で 科学の進歩、新しいアプローチを採用します。この研究に参加した研究者らは、反復最適化プロセスを使用する「マインドキャプション」技術と呼ぶものを開発しました。この技術では、マスク言語モデル (MLM) が、テキストの特徴を脳でデコードされた特徴と一致させることによってテキストの説明を生成します。

この手法には、深層言語モデルから意味論的特徴をデコードするように訓練された線形モデルも組み込まれています。 脳活動 機能的磁気共鳴画像法（fMRI）による。その結果、参加者の脳内で見ている内容が詳細にテキストで説明されます。

人間の知覚に基づいてビデオキャプションを生成する

実験の最初の部分では、6人がfMRIで脳活動をスキャンしながら2,196本の短いビデオを視聴した。ビデオにはさまざまなランダムな物体、シーン、アクション、イベントがフィーチャーされており、6 人の被験者は日本語を母語とする人と英語を母語としない人でした。

以前、同じ動画には他の視聴者による一種のクラウドソーシングによるテキストキャプションが付けられ、特定の特徴を抽出する DeBERTa-large と呼ばれる事前トレーニング済み LM によって処理されました。これらの特徴は脳の活動と照合され、RoBERTa-large と呼ばれる MLM モデルによる反復プロセスを通じてテキストが生成されました。

「当初、説明は断片的で明確な意味がありませんでした。しかし、反復的な最適化を通じて、これらの説明は自然に一貫した構造を持ち、視聴したビデオの重要な側面を効果的に捉えるように進化しました。注目すべきことに、結果として得られた説明は、視聴したイベントの動的変化を含む内容を正確に反映していました。さらに、特定のオブジェクトが正しく識別されなかった場合でも、説明は複数のオブジェクト間の相互作用の存在をうまく伝えることができました。」と研究著者らは説明しています。

次にチームは、生成された説明を、さまざまな数の候補者にわたる正しいキャプションと不正確なキャプションの両方と比較して、精度を判定しました。彼らによると、その精度は約 50% でした。彼らは、このレベルの精度は他の現在のアプローチを上回り、将来の改善が期待できると指摘しています。

思い出を読む

その後、同じ 6 人の参加者に、視覚的な経験ではなく記憶を読み取るこの方法の能力をテストするために、fMRI の下でビデオを思い出すように依頼しました。実験のこの部分の結果も有望なものでした。

「分析では、リコールされたビデオの内容を正確に反映する説明を生成することに成功しましたが、精度には個人差がありました。これらの説明は、無関係なビデオよりもリコールされたビデオのキャプションに類似しており、熟練した被験者は100人の候補者からリコールされたビデオを識別する精度が40％近くに達しました」と研究著者らは書いている。

脳卒中を患った人など、話す能力が低下または喪失した人にとって、この新しいテクノロジーは最終的にコミュニケーションを回復する手段として役立つ可能性があります。このシステムが、単純な単語の連想ではなく、より深い意味や関係を認識できることが証明されたという事実により、これらの人々は、他の脳とコンピューターのインターフェース方法よりもはるかに多くのコミュニケーション能力を取り戻すことができる可能性があります。ただし、その点に到達する前にさらなる最適化が必要です。

倫理的配慮と今後の方向性

人間の思考を読み取ることができるマインドキャプションデバイスのいくつかのより積極的な用途とは関係なく、プライバシーと脳からテキストへの技術の潜在的な悪用に関する正当な懸念が確かに存在します。

この研究に参加した研究者らは、読心技術を採用する際には同意が今後も重要な倫理的考慮事項になると指摘している。これらのテクノロジーのより広範な使用が一般的になる前に、精神的プライバシーと脳とコンピューターのインターフェイスの将来に関する重要な問題に対処する必要があります。

それでも、この研究は、脳が複雑な経験をどのように表現し、非言語的な個人に潜在的な恩恵をもたらすかについての科学的研究のための新しいツールを提供する。

研究著者らは、「私たちのアプローチは共に、解釈可能性、一般化可能性、パフォーマンスのバランスを保ち、非言語的思考を言語に解読するための透明なフレームワークを確立し、構造化された意味論が人間の脳全体でどのようにエンコードされているかを体系的に調査する道を切り開くものである」と書いている。

© 2025 サイエンス X ネットワーク
お問い合わせ・広告・著作権・不具合に関するご連絡は [email protected] までメールでお願いします。