AI音源分離の実力と限界 — 歌声とピアノで8dB開く精度の差

完成した曲から歌声だけを抜き出す。ドラムだけを消して練習用の伴奏を作る。こうした音源分離（music source separation）は、いまや研究用のプログラムだけでなく、Logic ProやAbleton Liveのような音楽制作ソフト（DAW）の標準機能にもなりました。

ただ、「きれいに分かれる」という評判と、実際の精度のあいだには距離があります。Metaの研究チームが公開したHT Demucsの6分類モデルを88曲で評価した結果では、歌声のSDR（分離の精度を示す指標）が平均9.55dBだったのに対し、ピアノは1.60dBでした。同じモデルの中で、およそ8dBの開きがあります。

この記事では、公開された論文と評価データをもとに、音源分離がどこまでできるようになり、どこで止まっているのかを整理します。商用サービスの多くは内部を公開していないため、数値はすべて研究用モデルのものです。仕組みの全体像は 波形を読む技術 でも扱っています。内容は執筆時点（2026年11月）の情報です。

足し合わされた音を、なぜ元に戻せないのか

録音された音楽は、すべての楽器の波形を足し合わせた結果です。足し算の答えから元の数字を当てるようなもので、ステレオならチャンネルは2本しかないのに、未知の楽器は何十にもなり得ます。数学的には、方程式より未知数が多い不良設定問題です。答えを一つに絞るには、「歌声らしさ」「ベースらしさ」といった追加の知識が要ります。それを大量の音源から学ばせるのが、深層学習による音源分離です。

長く主流だった方法がマスクです。音を短時間ごとの周波数成分に分解したスペクトログラムを、時間と周波数の升目が並んだ表と考えます。そのうえで、歌声を取り出すなら各升目の音をどれだけ通すかを0から1の値で決めます。0か1だけで決めるものを理想バイナリマスク（IBM）、割合で決めるものを理想比率マスク（IRM）と呼びます。「理想」とは正解の音源を知っている場合に計算できる上限という意味で、オラクルとも呼ばれます。

マスクには弱点が二つあります。一つは、同じ升目に複数の楽器が重なると、割合でしか分けられないことです。もう一つは位相（波の山と谷の時間的な位置）です。初期の主流は、音の強さである振幅にだけマスクをかけ、位相は混ざった音のものを流用していました。振幅が正しくても位相がずれていると、音の質感は損なわれます。

この弱点に対して、二つの道が開かれました。一つは波形を直接扱う方法です。Facebook AI Research（当時）のアレクサンドル・デフォセ（Alexandre Défossez）らによるDemucs（2019年）は、波形を入出力とし、音の自然さで優位に立つと報告しました。一方で、歌声と「その他」のあいだの音の混入は残ると論文自身が述べています。もう一つは、振幅と位相をまとめて推定する複素マスクで、後述のBS-RoFormerが採用しています。

4年で約5dB — 精度を押し上げたのはモデルとデータ

音源分離の比較に長く使われてきたのが、公開データセットMUSDB18です。全150曲（学習用100曲、評価用50曲）、約10時間で、歌声・ドラム・ベース・その他の4分類の音源が付いています。Deezerが2020年に論文を発表したSpleeterも、この4分類を含む学習済みモデルを公開しました。

2019年のDemucsは、150曲を追加して学習した場合に平均SDRが6.8dBでした。2023年のBS-RoFormerは11.99dBです。追加した曲が異なるので単純には比べられませんが、4年で約5dB伸びたことになります。

（MUSDB18HQ評価用データでのSDR、単位dB。Rouardら2022年、Luら2023年の表から抜粋）

表で目を引くのはHT Demucsの2行です。Transformer（文章処理で発展した、離れた位置の関係を捉える仕組み）を組み込んだHT Demucsは、追加データなしでは従来型のHybrid Demucsをわずかに下回りました。ところが社内の3,500曲から選んだ800曲を足すと1.28dB伸び、同じ800曲で学習したHybrid Demucs（8.34dB）も上回ります。Transformerを生かすには多くのデータが要るということです。

BS-RoFormerは、周波数を62の帯域に分けて処理し、振幅と位相をまとめて復元します。同じ系統のMel-Band RoFormerは帯域の分け方を人の聴覚に近いメル尺度に変え、歌声・ドラム・その他で上回ったと報告しています。

学習データの「汚れ」と、マスタリングの差

正解データそのものも完全ではありません。2023年の競技会Sound Demixing Challenge（SDX23）は、この問題を正面から扱いました。ギターの音に「歌声」のラベルが付いているようなラベルの誤りと、別の楽器の音が録音に回り込むブリード（bleeding、かぶり）です。ブリードの典型としてはベースアンプのような低音が挙げられています。

標準の部門で最高の平均SDRは9.97dBでしたが、誤りのあるデータで学習する部門ではラベル誤りが7.46dB、ブリードが6.58dBにとどまりました。

もう一つの差はマスタリングです。MoisesDBの楽曲はマスタリングをしておらず、市販の音源より音量が小さく、音量差が大きいと論文は説明しています。MUSDB18など既存のデータでも同様です。同論文は、HT Demucsのようなモデルは市販の音源にも比較的よく適応するとしつつ、両者のずれへの懸念を挙げています。論文の数値が市販音源でそのまま出るとは限りません。

「10dB」は何を意味し、何を意味しないのか

SDR（Signal-to-Distortion Ratio、信号対歪み比）は、正解の音と分離結果の差のエネルギーを、正解の音のエネルギーと比べたものです。10dBなら誤差のエネルギーは正解の10分の1、約3dBなら2分の1になります。冒頭のピアノの1.60dBは、正解の約7割にあたるエネルギーの誤差が残っている計算です。

比べるときに揃えるもの

SDRの値は集計方法で変わります。MUSDB18での慣例では、1秒ごとのSDRの中央値を曲ごとに出し、さらに全曲の中央値を取ります。一方、MoisesDBの論文の表には平均値と中央値が並び、SDX23の結果は別の集計です。評価する曲も違います。BS-RoFormerの系統はMUSDB18HQで11.99dBでしたが、SDX23の評価データでは9.97dBでした。構成も異なるので単純比較はできませんが、測る曲が変われば数値は大きく動き得ます。

ジョナサン・ル・ルー（Jonathan Le Roux）らは2018年の論文で、音声分離を例に、同じシステムでもSDRと改良版のSI-SDRで値が0.3〜0.6dBずれることを示し、0.1dB程度の改善の主張は信頼しにくいと指摘しました。

数字と聴感は一致しない

SDRは誤差の量しか見ません。他の楽器の混入も、処理で生じた金属的な質感（アーティファクト）も、痩せた音も、すべて同じ「誤差」として足し合わされます。実際に聴いたときの印象とは別物です。

SDX23の論文は、この点を聴取実験で確かめています。受賞歴のあるソングライター、プロデューサー、エンジニアら7人が、上位3モデルの出力を一対ずつ比べ、計583回の比較を行いました。結果は、SDRで3位だったモデルが聴取評価では1位になり、SDR1位のモデルが3位でした。論文は客観評価と聴取者の判断のあいだに明確な相関は見られないと述べています。ただし3モデルの評価差はごく小さく、引き分けの確率は0.97以上とされています。

ツールを選ぶときは、小数点以下の差を追うより、自分の素材で聴き比べるほうが確実です。

楽器で差が開く — ピアノとギターが難しい

4分類から先へ進むと、精度は急に下がります。MoisesDB（240曲・14時間24分）は6分類の基準値を公開しました。論文の表から、88曲で評価した値を引きます。「MWF」は正解を知っている場合のマルチチャンネルウィーナーフィルタで、マスク型の手法が届く上限の目安です。

（Pereiraら2023年の表3から抜粋）

ベースとドラムでは、学習モデルが「上限」とされるマスク型の値を超えています。Demucsの2019年の論文でも、ベースは理想比率マスクを上回りました。この目安はあくまでマスク型の上限で、別の構造を持つモデルなら超えられることを示しています。一方、ピアノとギターはその目安にも届いていません。

ピアノの誤差のエネルギーは正解の約7割、ギターでも約5割です。Demucsの公式リポジトリも、この6分類モデルについて、ギターは許容できる品質だがピアノは「あまりうまく機能していない」、かぶりとアーティファクトが多いと説明しています。なお同リポジトリは2025年1月1日付でアーカイブされ、更新を終えています。

原因は論文で特定されていませんが、ピアノとギターは和音を弾く楽器で倍音が広い帯域に並び、他のパートと周波数が重なりやすいことが一因と考えられます。データの偏りも指摘されており、MoisesDBの論文は、ギター以外の撥弦楽器とギターの区別が難しくなるおそれに触れています。

「その他」の0.28dBも注意が必要です。これは4分類の「その他」（平均7.00dB）とは別物で、ピアノとギターが抜けた残りの雑多な音を指します。分類を細かくするほど、残る部分は小さく捉えにくい音になっていきます。

市販のDAWにもこの傾向は表れています。Ableton Live 12.3の分離機能は歌声・ベース・ドラム・その他の4分類で、処理はすべて手元のコンピュータで行います。Logic Proはギターとピアノも対象にしています。機能があることと、その楽器が高い精度で分かれることは同じではありません。

声が重なると分けにくい — 斉唱とコーラスの壁

「歌声」の高い精度は、歌声全体をまとめて取り出す場合の話です。一人ひとりの声に分ける問題には、別の難しさがあります。

この課題の評価用に作られたデータセットが、Chang-Bin JeonらのMedleyVox（2022年）です。23曲から381区間を切り出し、斉唱（ユニゾン）、二重唱、主旋律とそれ以外（メインとコーラス）などに分類しました。評価には、分離前からどれだけ改善したかを示すSI-SDRi（スケール不変SDRの改善量）が使われています。

論文の提案手法では、二重唱は14.2dBと高い値が出ました（理想バイナリマスクは15.9dB）。しかし斉唱は4.4dBで、二重唱の3分の1以下です。しかも斉唱では、正解を知っている理想マスクでも4.8dBにしか届きません。論文は、歌の混合では音の高さや発音の瞬間がそろい、同じ歌手が重ねて歌うこともあるため、声どうしの相関が強く、話し声の分離より難しいと説明しています。斉唱で理想マスクの値が低いことについては、位相の情報が重要だからだとしています。

実務で問題になりやすいのは「主旋律とそれ以外」です。メインボーカルだけ欲しいのにコーラスが混じる、ダブリング（同じ旋律を重ねて録る手法）の片方が残るといった結果が起こり得ます。提案手法の6.3dBは理想マスクの13.7dBの半分以下で、改善の余地が大きく残っています。

制作現場でどこまで任せられるか

ここまでの数値を踏まえた向き不向きの目安は次のとおりです。素材や品質基準によって変わります。

使いやすい場面は、分離音がそのまま作品の前面に出ないものです。

• 採譜や耳コピの補助、楽器練習用の伴奏づくり
• 新しいミックスを作るときの仮の素材、デモの共有
• ベースとドラムを軸にしたリズムの解析やDJでの利用

確認が要る場面は、分離音を単独で聴かせるものです。

• 歌声だけを前面に出す、残響の少ないアレンジにする
• ピアノやギターを主役として取り出す
• コーラスやダブリングを含む歌から、主旋律だけを使う

代表的な成功例として語られるのが、ザ・ビートルズが2023年11月2日に発表した「Now And Then」です。公式の発表によれば、1995年には技術的な制約で声とピアノを分離できず棚上げになっていたデモを、ピーター・ジャクソン（Peter Jackson）のチームが映像作品『The Beatles: Get Back』でも使った音声技術MALで分離しました。ただし、これは声とピアノの2つに分ける素材に専用の技術で取り組んだ例で、汎用ツールが同じ結果を返すとは限りません。修復の視点からは ノイズ除去と音源修復 で触れています。

分離に頼る前に確かめること

分離を前提に制作を依頼するなら、次の順に確認します。

1. 元のマルチトラックが残っていないか — あれば分離より確実です。書き出しの基本は ミックスとマスタリングを外注するとき何を渡し何を伝えるか にまとめています
2. 用途と品質の許容範囲 — 単独で聴かせるのか、他の音に埋もれてよいのかを、サンプルで合意します
3. 再演奏や再録音との比較 — ピアノやギターは、演奏し直したほうが速く高品質に済むこともあります

分離した素材の調整や再録音を頼める人は、音楽人材を探すページで職種や実績から探せます。案件として公募するなら仕事の掲載も使えます。依頼の進め方の全体像は企業の方へのガイドにあります。

分離できることと、使ってよいことは別

技術的に分けられても、権利は別の話です。以下は執筆時点（2026年11月）の日本の著作権法にもとづく一般的な整理で、個別の案件の判断ではありません。

一つの録音には、曲の著作権だけでなく、著作隣接権も関わります。著作権法は第96条で「レコード製作者は、そのレコードを複製する権利を専有する」と定め、第91条第1項で「実演家は、その実演を録音し、又は録画する権利を専有する」と定めています。市販音源から取り出した歌声のファイルを作品に使ったり配信したりするなら、作詞作曲の許諾だけでは足りないことが多いでしょう。権利の分担は 映像に音楽を使う権利処理 で詳しく説明しています。

第30条第1項は、「個人的に又は家庭内その他これに準ずる限られた範囲内」で使う目的の複製を認めています。ただ、これは個人の練習のような範囲の話で、SNSへの投稿、配信、業務での利用は通常この範囲に入りません。コピー防止の仕組みを回避して音源を取り込む場合にも、別途の制限があります。

実演家には人格権もあり、第90条の3第1項は、名誉または声望を害する実演の変更などを受けないとしています。声を抜き出して別の文脈に置くことがこれに当たるかは、個別の判断になります。

モデルの学習に音源を使う段階は、また別の論点です。第30条の4と、文化審議会の「AIと著作権に関する考え方について」（2024年3月15日）が関わります。詳しくは AIと音楽の著作権 をご覧ください。なお、MUSDB18は学術目的に限られ、MoisesDBも非商用の研究目的に限られています。

音源分離の精度は、この数年で確かに伸びました。一方で、ピアノとギターには弱い領域が残り、斉唱は理想マスクでも値が伸びず、SDRの数字は聴感を十分に代弁しません。分離結果は素材の一つと捉え、聴いて確かめ、権利を確認したうえで使うのが現実的です。

参考・出典

• Hybrid Transformers for Music Source Separation（Simon Rouard, Francisco Massa, Alexandre Défossez・2022年）
• Music Source Separation with Band-Split RoPE Transformer（Wei-Tsung Lu ほか・2023年）
• The Sound Demixing Challenge 2023 – Music Demixing Track（Giorgio Fabbro ほか・2023年）
• MoisesDB: A Dataset for Source Separation beyond 4-Stems（Igor Pereira ほか・2023年）
• MedleyVox: An Evaluation Dataset for Multiple Singing Voices Separation（Chang-Bin Jeon ほか・2022年）
• SDR – half-baked or well done?（Jonathan Le Roux ほか・2018年）
• Music Source Separation in the Waveform Domain（Alexandre Défossez ほか・2019年）
• MUSDB18 / MUSDB18-HQ（SigSep）
• The Beatles – Now And Then 発表（Apple Corps・2023年）
• 著作権法（昭和45年法律第48号）（e-Gov 法令検索・デジタル庁。第30条・第90条の3・第91条・第96条）