先駆的な UPF ツールにより聴覚障害者がラジオを使用できるようになりました

SignarIA は、可能な限り自然な電子音声の構築に基づいています。聴覚障害者はカタルーニャ語手話で自分の考えを表現し、コンピュータービジョンと呼ばれるデバイスがメッセージを解読します。次に、音声提供者が登場しますが、多くの場合、聴覚障害者の家族であることが予想されます。基本的なアイデアは、聴覚障害者の潜在的な音の痕跡を、人工知能システムを訓練したドナーの韻律と調音と組み合わせるというものです。その結果、使用する人の潜在的な音色を備えたパーソナライズされた合成音声が生まれます。バータさんの同い年のいとこがドナーだった。

このシステムの主な貢献は、手話と音声の間の変換がライブかつリアルタイムで行われることです。そのため、人はラジオ番組に参加して、手話の音声がオーディオ、放送波、またはインターネットで聞くことができる音にどのように変換されるかを確認できます。同時に、ユーザーはラップトップを介して、プログラムの他の参加者の発言をライブで読むことができます。ここからはすべての準備が整い、来年 3 年生になるときに、ベルタさんは教育プログラムの一部である週 15 時間のラジオ ワークショップに 10 週間参加できるようになります。

この仕組みにより、メッセージを微調整することができます。署名された文ごとに、システムは 3 つのメッセージを提案します。1 つ目は文字通り、2 つ目は文脈を提供し、3 つ目はより創造性を含みます。ペダルマシンを使用すると、ユーザーは 3 つの中から自分の言いたいことに最も適したものを選択できます (または、それらを破棄して 3 つの新しい提案を生成することもできます)。ここから、人工知能はそれを使用する人のスタイルや物事のやり方を把握し、その予測のプロファイリングをますます適切に行っていきます。

このプロジェクトは UPF によって推進されていますが、それを可能にする技術を提供した会社である We Are Mortensen との提携によって行われました。現時点ではプロトタイプの段階にあり、大学はすでに 2 つのディスカッション グループを作成しています。1 つは手話聴覚障害者であり、このツールの潜在的な用途を分析し、その影響を評価しています。もう 1 つはコミュニケーション学部の教員で、教室とラジオのアナウンサーの両方でこのテクノロジーの応用を検討しています。最も直接的な用途としては、例えば、聴覚障害のある証人に、記録された内容が彼らの希望に忠実に応えていることを保証するために裁判で使用することが挙げられます。

その逆を行う作業も進行中です。つまり、他の参加者の声が人工知能によって作成されたアバターを通じて手話に変換されるということです。 UPF は、この点での進歩を促進するためにそこで活動している他の研究センターとの連絡を開始しました。基本的な考え方は、ベルタさんのような人々が母語であるカタルーニャ手話を放棄する必要がないようにすることです。

オープンアクセスデータ

SignarIA プロジェクトのもう 1 つの利点は、カタルーニャ手話 (LSC) の認識と合成に関する研究を促進することを目的として、自由にアクセスできる重要なデータ コーパスを生成したことです。このタスクの結果、同大学の翻訳言語科学学部の LSC Lab 研究グループとライファリ SCS 協同組合の研究グループの成果と組み合わせて、たとえばカタルーニャ語手話の動詞の活用を含む合成データを作成するための革新的な方法論が作成されました。したがって、体系的かつスケーラブルな方法で言語例を生成でき、この言語の学習を促進できます。

このツールは今週火曜日にカンファレンスで発表され、その中には主な研究者の 2 人である Marcel Mauri 氏と Roger Cassany 氏、およびプロジェクトのエンジニアである Xavi Vinaixa 氏と Inés Broto 氏によるプレゼンテーションが含まれていました。イベント中、言語学者のジェマ・バルベラとコーディネーターのセシリア・バルバがプロジェクトの定性的な結果を発表しました。この会議には「ジャーナリズムとインクルージョン、懸案事項」と題したラウンドテーブルも含まれており、その中でメディアにおける聴覚障害者の表現の欠如が取り上げられた。

「これは私たちに適応するテクノロジーであり、テクノロジーに適応しなければならない典型的なケースではありません」とキャサニー氏は評価します。 「したがって、技術主権の需要もあります。これは私たちのニーズから生まれ、大企業によって押しつけられるものではありません。だからこそ、技術主権は大学や研究センターに提供されるオープンテクノロジーなのです。」