オーディオ消しゴムの背後にある高度な研究の内部 – サムスングローバルニュースルーム

車の角が音楽を圧倒するだけで、バスキーキングのパフォーマンスをキャプチャするか、カフェでビデオブログを撮影することを想像してください。

Galaxy S25シリーズで導入されたAudio Eraserは、不要なバックグラウンドノイズを減らし、ユーザーがより没入型のビデオを作成できるように希望するサウンドを強化することにより、このような状況に対処するように設計されています。¹ Samsung Researchの積極的な取り組みとSamsung Electronicsのモバイルエクスペリエンス（MX）ビジネスの積極的な努力のおかげで、ユーザーのニーズを深く理解して開発されたAudio EraserなどのGalaxy AI機能が可能になりました。

Samsung Newsroomは、Samsung ResearchのAIソリューションチームのオーディオテクノロジーの専門家と一緒に座って、この革新的な機能の開発についてさらに学びました。

ソース検出：次世代オーディオテクノロジーの将来

オーディオ消しゴムを使用すると、ユーザーは不要なノイズを削除し、強調したいオーディオを強化することにより、ビデオ内でサウンドを調整できます。この機能は、タイプごとにサウンドを検出して分離するビデオをすばやくスキャンし、ユーザーが記録したクリップだけでなく、共有または受信したビデオでも使用できます。

Galaxy S21シリーズでのデビューにより、Object Eraserが画像の編集とユーザビリティを改善したように、オーディオEraserは、オーディオとビデオの両方でより高度でシームレスなマルチメディアエクスペリエンスを提供するために開発されました。

サウンドソースの検出および分離モデルの開発

オーディオ消しゴムは、声、音楽、風、自然の音、群衆のノイズ、周囲のノイズの6種類のサウンドを認識します。サウンドソース検出テクノロジーを使用して、この機能は、サウンドが存在するものとビデオのどこで発生するかを迅速に識別します。次に、サウンドソース分離テクノロジーを通じて、各サウンドを個別のカテゴリに分離および分類します。

これらのオーディオタイプを検出および分離できるAIモデルを構築するために、研究チームは堅牢なトレーニングデータを収集することから始めました。彼らは、多様なオーディオデータセットを生成するために、幅広い現実世界のビデオ録音シナリオをシミュレートし、日常の音を直接キャプチャするためにフィールドに入りました。

「ウィンドは特に協力するのが困難でした」と、Samsung ResearchのAIソリューションチームのHejung Yang氏は述べています。 「風のシミュレーションテクノロジーを改良することに加えて、仕事の後や週末にも強風が発生するたびに、実際の風の音を屋外で記録することでデータセットを強化しました。」

さらに、チームは、数え切れないほどのビデオクリップを複数回慎重にレビューすることにより、サウンドソース分離モデルのパフォーマンスを改善するために広範な時間を費やしました。

「各開発者は、さまざまな条件下で毎週1,000を超えるオーディオサンプルを比較して分析しました」とJiwon Kim氏は述べています。 「継続的な実験を通じて、一貫した高品質の結果を確保するために、最も効果的な音源分離モデルを特定するために取り組みました。」

新しいユーザー中心のリスニングエクスペリエンスを提供します

オーディオ消しゴムがオンデバイスを実行すると、リアルタイムの編集と改善されたプライバシー保護を備えたユーザーエクスペリエンスが強化されます。さまざまな機能にわたる競争上のデバイスAI機能の開発におけるサムスンの長年の専門知識は、オーディオ消しゴムの成功に重要な役割を果たしました。

「私たちは、高速でデバイス上の処理が可能なAIモデルとアルゴリズムの開発に焦点を当てました」とHosang Sung氏は述べています。 「低消費電力とともにスムーズに実行される最適化されたAIソリューションを作成することに多大な努力が払われました。」

Samsung Researchは、強力なAI研究インフラストラクチャにサポートされており、高度なオーディオテクノロジーの能力を強化し続けています。

「私たちは、モバイルデバイスの使いやすさを高める次世代ソリューションの開発に取り組んでいます」と、Samsung ResearchのAIソリューションチームの副社長兼責任者であるHoonyoung Cho氏は述べています。 「サウンドコントロールとオーディオ強化技術を通じて、私たちは真に選択的でパーソナライズされたリスニングエクスペリエンスを提供することを目指しています。」

製品開発チームとの統合コラボレーション

高度な研究を消費者対応のソリューションに変えることで、新しい課題がありました。たとえば、ビデオとオーディオを同時に編集するとき、再生はスムーズで途切れないままにする必要がありました。さらに、1時間より長いビデオの処理には、同じ時間内にタスクを完了することができる専門的なテクノロジーが必要でした。

これらの課題に対処するために、Samsung ResearchとMX Businessは、ユーザー中心のアイデアの提案からソフトウェアの最適化手法の繰り返しのテスト、オーディオ品質の評価まで、協力しました。一緒に、彼らは最も効果的なソリューションを決定するために複数のアプローチを調査しました。

機能を超えたコラボレーションは、Galaxy BUDS3シリーズ（BUDS3、BUDS3 Pro）の開発にすでに成功していることがすでに証明されていました。音楽やメディアエクスペリエンスからより明確な電話を聞くことまで、騒々しい環境でのリスニングのニーズが高まるにつれて、アクティブノイズキャンセル（ANC）は、ワイヤレスイヤホンのますます重要な機能になりました。 Samsungは、独自の適応的なANCテクノロジーを開発することでバーを育てました。 Galaxy Buds3シリーズは、さまざまなユーザーのフィッティング条件に適応し、最適化されたANCパフォーマンスを提供するために長時間の摩耗によって引き起こされる適合の変化に適応します。

イヤフォンは耳に直接着用されるため、製品仕様を完成させ、ANCテクノロジーを微調整するには、ハードウェアチームとソフトウェアチームの間の緊密な調整が不可欠でした。

「さまざまなハードウェア条件に対応するために、事前に複数のアルゴリズムを開発しました」とKyoungbo Min氏は述べています。 「広範なシミュレーションを通じて、チップセットやデバイスに迅速に適応できるソリューションを準備しました。開発プロセスには、反復的な改訂と改善が含まれていましたが、高度な研究と製品チームの緊密なコラボレーションは商業化の加速に役立ちました。」

サウンドソースの分離は、次世代のオーディオテクノロジーの中核領域であり、サムスンはこの分野での基本的な革新を進め続けています。オーディオ消しゴムがサウンドソース分離を最大限に活用しているため、同社はさまざまな新しいアプリケーションに拡大する準備をしています。 Galaxy AIの進行中の進化は、消費者にさらに実用的で直感的な機能を提供することが期待されています。

¹ 結果は、ビデオにどのように存在するかによって、ビデオごとに異なる場合があります。 Samsungアカウントログインが必要です。声、音楽、風、自然、群衆、ノイズなど、特定の種類の音を検出できます。実際のサウンド検出は、オーディオソースとビデオの状態によって異なる場合があります。結果の精度は保証されていません。