脳性麻痺のある人の発話を回復する神経塑性脳voz

アンは、彼女が話すように無力化した麻痺を抱えている人であり、研究者の研究者チームによって設計された脳から脳から声をリアルタイムで送信できるようにするために、再びそれを行うことができました。 UCバークレー y UCサンフランシスコ 彼は、重度の麻痺のある人々のためにスピーチを回復する方法を発見しました。

で公開された調査自然神経科学‘は、言語の神経プロテーゼの潜在性の持続的な問題、被験者が話そうとする瞬間、音が発生する瞬間の間の期間を解決します。人工知能に基づいたモデリングの最近の進歩を使用して、研究者は、ほとんどリアルタイムで可聴音声の脳信号を合成する伝播方法を開発しました。

この技術は、音声能力を失った人々とのコミュニケーションを促進するための重要なステップを表しています。

「私たちのストリーミングアプローチには、AlexaやSiriなどのデバイスの同じ迅速な音声デコード容量が神経プロテシスに組み込まれています」と彼は言います。 Gopala Anumanchipalli。 «同様のアルゴリズムを使用して、できることを発見しました ニューロンデータをデコードします そして、初めて、ほぼ同期音声の送信を許可します。結果は、より自然で流動的な音声合成です»。

「この新しいテクノロジーは、発話に影響を与える深刻な麻痺を伴う人々の生活の質を改善する大きな可能性を秘めています」と、研究の主要な共同投資家である脳神経外科医のエドワード・チャンは言います。

また、研究者は、電極が脳表面に浸透する微小電極マトリックス（MEA）、または顔のセンサーを使用して筋肉の活動を測定する非侵襲的記録（SEMG）を含む、そのアプローチが他のさまざまな脳検出インターフェースでうまく機能できることを実証しました。

「他のサイレント音声データセットにおける音声における脳の正確な合成を実証することにより、この手法は特定のタイプのデバイスに限定されないことを示します」とKaylo Littlejohn氏は言います。 「同じアルゴリズムをさまざまなモダリティで使用できますが、適切な兆候があれば」

この研究の主な共著者であるCheol Jun Choは、神経球菌であるCheol Jun Choは、音声生成を制御し、AIを使用して音声脳機能をデコードする脳の部分である運動皮質の神経データサンプルを採取することにより機能します。

«基本的に、思考が明確化に変換され、そのモーター制御の真っin中にあるシグナルを傍受します。だから、私たちがデコードした後、何を言ったらいいかを決定した後、声の筋肉をどのように使用し、どのように声の筋肉を動かすかを決定した後、

アルゴリズムをトレーニングするために必要なデータを収集するために、研究者は最初にアンに画面を見るように依頼しました（「こんにちは、お元気ですか？」というフレーズのように）。

「これにより、彼女が生成するニューロン活動の断片化された窓と、いつでも発声せずに彼女が言おうとしている客観的な祈りの間のマッピングが得られました」とリトルジョンは言います。

アンには残留発声がないため、研究者は客観的なオーディオまたは出口を持っていなかったため、ニューロンデータである入り口を割り当てることができました。彼らは、AIを使用してこの課題を解決して、欠落している詳細を完成させました。

«妊娠中の音声テキストモデルを使用してオーディオを生成し、目標をシミュレートします」とCho-は言います。

BCIに関する以前の研究では、研究者は1文の約8秒の遅延のデコードの長い遅延を持っていました。新しい伝送アプローチを使用すると、被験者が発言しようとしている間、可聴出力をほぼリアルタイムで生成できます。

遅延を測定するために、研究者は音声検出方法を使用したため、音声試行の始まりを示す脳信号を識別することができました。

«その意図の兆候に関連して、一瞬で、最初の音-Says Anumanchipalliを取得していることがわかります。そして デバイスは連続的にスピーチをデコードできますそのため、アンは中断せずに話し続けることができます»。

この高速は精度が低下しませんでした。最速のインターフェイスは、伝送なしで以前のアプローチと同じ高レベルのデコード精度を提供しました。

また、研究者は、トレーニングデータセットの語彙の一部ではない単語を合成するために、モデルの能力をリアルタイムでテストしました。この場合、「アルファ」、「ブラボー」、「チャーリー」など、NATOの音声アルファベットの26のまれな言葉。

«目に見えない単語を一般化し、アンの音声パターンを本当にデコードできるかどうかを確認したかったのです。私たちのモデルはそれをうまくやっていることがわかります。これは、音や声の基本的なコンポーネントが効果的に学習していることを示しています»。

2023年の研究にも参加したアンは、新しい伝送合成アプローチでの彼の経験が、テキストを解読する方法と以前の研究の音声と比較する方法を研究者と共有しました。

「アンは、ストリーミング合成は自発的なコントロールが大きいモダリティであると伝えました」とAnumanchipalli氏は言います。 ほぼリアルタイムであなた自身の声を聞くことがあなたの擬人化の感覚を高めました»。

この最後の作品は、研究者がBCIデバイスで自然主義的なスピーチを達成するためのもう1つのステップをもたらし、将来の進歩の基礎を感じます。

また、研究者は、誰かが興奮しているときなど、音声、音色、または音量の変化を反映するために、出力音声の表現力を高めることに集中し続けています。