生成AIはどうやって曲を作るのか — 圧縮・予測・拡散を論文で読む

「雨の夜に聴く、静かなピアノトリオ」。そんな一文を入力すると、数十秒から数分の音楽が返ってくる。音楽生成AIは、2020年代に入ってから研究室の実験を離れ、誰でも試せるサービスになりました。

ただ、その中で何が起きているのかは、あまり語られません。曲を切り貼りしているのか、楽譜を書いてから演奏させているのか、それとも音そのものを描いているのか。答えはモデルごとに違いますが、公開された論文を読むと、共通する骨組みが見えてきます。音を記号や小さな数値の列に圧縮し、その列を予測または生成し、最後に音へ戻すという三段構えです。

この記事では、OpenAIのJukebox（2020年）、GoogleのMusicLM（2023年）、MetaのMusicGen（2023年）、Stability AIのStable Audio（2024年）、歌詞からの全曲生成に取り組むYuE（2025年）の論文を手がかりに、その仕組みを順に追います。商用サービスの多くは内部を公開していないため、数値はすべて公開論文のものです。内容は執筆時点（2026年11月）の情報です。

「楽譜を作るAI」と「音を作るAI」

コンピュータによる作曲の歴史は、生成AIよりずっと古いものです。よく起点に挙げられるのが、1957年の弦楽四重奏曲『イリアック組曲（Illiac Suite）』です。イリノイ大学のレジャレン・ヒラー（Lejaren Hiller）とレナード・アイザックソン（Leonard Isaacson）が同大学の計算機ILLIACで作曲したもので、全4楽章がそれぞれ作曲の実験に対応しています。ここで計算機が出力したのは音ではなく、人が演奏するための音符でした。

この系譜は記号的（シンボリック）生成と呼ばれます。音の高さ、タイミング、強さ、楽器といった「どの音をいつ鳴らすか」を扱う方法で、MIDI（電子楽器の演奏情報を記録する規格）やピアノロールがその代表的な表現です。2018年にGoogleの研究者らが発表したMusic Transformerは、バッハのコラールやピアノコンクールの演奏データを学習し、文章生成で発展した自己注意の仕組みを音楽の長い構造に応用しました。

記号的な方法は扱うデータが小さく、学習しやすいのが利点です。その代わり、音符で書けないものは生成できません。Jukebox の論文も、この方法では生成できる音楽が音符の列と決まった楽器の組み合わせに制約されると指摘しています。歌声の質感、エレキギターの歪み、部屋の響きは楽譜の外側にあるからです。

そこで、波形そのものを生成する音響領域（raw audio）の生成が研究されるようになりました。現在、文章から完成した音を返すサービスの基礎になっているのは、主にこちらの流れです。ただし、そこには情報量という大きな壁がありました。

1000万個の数値を、記号に圧縮する

CD相当の音質、つまり1秒あたり44,100回の標本（サンプル）で記録すると、4分の音楽はおよそ1000万個の数値になります。Jukebox の論文はこれを、1024×1024画素の画像の約300万個と比べて、音楽生成の計算の重さを説明しています。しかも曲の出来を左右する構造は、ミリ秒単位の音色から数分単位の展開まで、桁の違う時間に広がっています。

この壁を越えるための技術がVQ-VAE（ベクトル量子化変分オートエンコーダ）です。音を短い区間ごとにベクトルへ変換し、あらかじめ学習した「コードブック」という辞書の中で最も近い項目の番号に置き換えます。音を、限られた語彙の単語で書き取るようなものです。デコーダはその番号の列から音を復元します。

Jukebox はこの圧縮を三つの解像度で行いました。圧縮率はそれぞれ8倍、32倍、128倍で、コードブックはどの層も2048項目です。音の出来は圧縮率に正直で、論文の復元比較では、128倍の層で高域の情報が大きく失われることが示されています。最上層は「曲の骨格」、下の層は「細部」を受け持つ分担です。

1分の音は1万2千個の記号になる

MusicGen の圧縮はさらに分かりやすい例です。32kHzのモノラル音声を、EnCodecという音声コーデックで640サンプルごとにまとめ、1秒あたり50フレームにします。各フレームは残差ベクトル量子化（RVQ）で4個の記号に置き換えられます。RVQは、1段目で近似しきれなかった誤差を2段目が近似し、その残りを3段目が近似していく方式で、辞書はいずれも2048項目です。

計算すると、1分の音声は192万サンプルから、50×60×4で1万2千個の記号になります。2048項目の記号1個は11ビットなので、情報量は毎秒2.2キロビット程度です。元の16ビット音声の毎秒512キロビットと比べて、230分の1ほどに減る計算です。MusicLM が使うSoundStreamも、24kHzの音声を毎秒600個の記号（6キロビット）にまとめています。

ここまでは音を扱いやすくする準備です。作曲に当たるのは、この列を新しく作り出す次の段階で、方法は大きく二つに分かれます。

次の記号を当てる — 自己回帰という作り方

一つ目は、文章生成AIと同じ考え方です。これまでの記号を読んで次の記号の確率を計算し、1個選んでは列に加えていく方法を自己回帰と呼びます。楽曲の続きを、1文字ずつ書くように生成するわけです。

Jukebox はこの方法を3段重ねで使いました。まず最上層の粗い記号を作り、それを条件に中間層、さらに最下層へと細部を足していきます。最上層のモデルだけで50億パラメータあり、512基のGPUで4週間学習しています。公開された実装の説明によれば、当時のGPUであるV100で20秒の音楽を仕上げるのに約3時間かかりました。論文の著者たちも、最上層の文脈が約24秒分しかないため、繰り返すサビのような長い構造は聞こえないと認めています。

MusicLM は段階の分け方を変えました。まず毎秒25個の「意味トークン」で曲の流れを決め、次に毎秒600個の「音響トークン」で音色を作ります。選択のばらつきを決める温度という設定も、意味の段階では1.0、音響の粗い段階で0.95、細かい段階で0.4と変えています。流れには変化を許し、細部は慎重に、という設計です。

4本の記号列を少しずつずらす

MusicGen の工夫は、モデルを1個にまとめたことです。4本の記号列を同時に予測するとき、すべてを1本に並べる「平坦化」なら正確に順序を扱えますが、30秒で6,000ステップかかります。そこで、2本目以降を1ステップずつ遅らせて並行に予測する「遅延パターン」を採用し、1,500ステップに減らしました。

聴取実験の総合評価は、遅延パターンが79.69、平坦化が79.71とほぼ同じです。文章との一致度は平坦化の82.03に対して79.67と差が残るものの、計算量は4分の1になります。RVQでは1段目の記号が最も重要なので、1段目を先に決めてから残りを合わせていく順序が、音の組み立てと噛み合うと考えられます。

候補の選び方も出力を左右します。MusicGen は確率の高い上位250候補から確率に応じて選ぶ設定で、適度な偶然を残します。同じ指示でも結果が変わる一因です。

雑音から音を削り出す — 拡散モデル

もう一つの方法が拡散モデルです。2020年にジョナサン・ホー（Jonathan Ho）らが発表したDDPMが、画像生成で高い品質を示して広まりました。学習データに少しずつ雑音を加えていく過程を考え、その逆、つまり雑音を少しずつ取り除く方法をモデルに学ばせます。生成するときは純粋な雑音から出発し、段階的に音や絵へ近づけていきます。

自己回帰が左から右へ書き進めるのに対し、拡散は全体をぼんやりした状態から同時に整えていきます。粗い塊から彫り出す彫刻に近い作り方です。ただ、波形に直接適用すると計算が重いため、圧縮した空間で拡散を行う潜在拡散が使われます。

2022年のRiffusionは、音をスペクトログラム（周波数の時間変化を表す画像）に変換し、画像生成モデルのStable Diffusionを追加学習させるという発想で注目されました。音を文字どおり絵として描く方法で、最後に画像から波形へ戻す工程が別に必要です。

Stable Audio は95秒を8秒で作る

Stable Audio は潜在拡散の代表的な実装です。44.1kHzステレオの波形をVAE（オートエンコーダの一種）で時間方向に1024分の1へ縮め、64チャンネルの連続した数値の列にします。Jukebox のような番号への置き換えは行いません。この表現の上で約9億パラメータのU-Netが雑音を100段階で取り除き、デコーダが波形に戻します。

速さの差は明確です。論文の比較では、A100 GPU 1基で95秒のステレオ音声を8秒で生成したのに対し、自己回帰の MusicGen-large は同じ長さに242秒かかりました。

もう一つの特徴が、長さの指定です。学習時に「切り出した区間が曲の何秒目から始まるか」と「元の曲の全長」を条件として与えるため、曲の始まりと終わりを学べます。19人が参加した評価では、イントロがあると判定された割合が92.1%、アウトロが89.4%でした。MusicGen-large の36.8%と26.3%を大きく上回りますが、人数の少ない実験であることには注意が必要です。

言葉とメロディはどうやって音に届くのか

ここまでの説明に、文章の入力はまだ出てきません。文章をモデルに伝える役を担うのが、文章を数値のベクトルに変換するテキストエンコーダです。MusicGen は主に汎用の言語モデルT5を、Stable Audio は文章と音を同じ空間に写像するよう学習したCLAPを使います。得られたベクトルは、クロスアテンションという仕組みで生成の各段階から参照されます。

MusicLM の学習方法は独特です。文章と音楽を128次元の同じ空間へ写すMuLanを間に置き、学習中は音から作ったベクトルを、生成時は文章から作ったベクトルを入力します。こうすれば説明文のない大量の音声でも学習できます。評価用には、10人の音楽家が10秒の音源に説明を書いたデータセットMusicCaps（約5,500件）を公開しました。

指示への忠実さを調節する手法が分類器不要ガイダンスです。学習時に一定の確率で条件を隠し、「条件なし」の予測も学ばせます。生成時に両者の差を拡大すると、指示に沿った出力が強まります。MusicGen は学習時に20%の確率で条件を外し、生成時の強さを3.0に、Stable Audio は10%で強さを6にしています。

鼻歌を渡すとメロディが残る

言葉だけでは旋律を正確に指定できません。そこで MusicGen は、音の高さを12の音名ごとにまとめたクロマグラムを条件に加えました。ただしそのまま与えると原曲を再現してしまうため、約0.13秒ごとに最も強い音名だけを残し、情報をあえて減らしています。旋律の一致度を示す類似度は、条件なしの0.10から0.66に上がりました。

MusicLM も、口笛や鼻歌から旋律を取り出して、文章で指定した曲調に仕立てる拡張を示しています。一方で同論文は、否定（「〜なし」）や時間の順序（「途中で〜」）の指定が苦手だと明記しています。文章は曲全体に緩くかかる条件であり、精密な設計図ではありません。

歌と曲の構成が最後まで難しかった理由

音楽生成の中でも、歌は別格の難しさがあります。Jukebox の初期モデルは旋律を歌っても、聞き取れる英単語をほとんど発しない、いわば喃語のような状態でした。歌詞の文字列には、どの単語をいつ歌うかの情報がないからです。歌い方も曲ごとに違い、伴奏とも混ざっています。

Jukebox は24秒の区間ごとに対応する歌詞を与えました。最初は歌詞が曲全体に均等に分布すると仮定しましたが、速いヒップホップでは破綻します。そこで音源分離ツールのSpleeterで歌声を取り出し、単語単位の位置合わせを行いました。学習後のモデルの注意の向きを調べると、歌っている箇所の文字を実際に参照する様子が確認できます。

YuEは歌と伴奏を別々に数える

2025年のYuEは、この問題を二つの工夫で扱います。一つは歌声と伴奏を別の記号として交互に予測する方法です。密度の高い伴奏に歌声が埋もれにくくなるとされます。もう一つは曲を「イントロ」「Aメロ」「サビ」のようなラベル付きの区間に分けることで、1曲は平均14区間、多くは30秒未満です。文章の条件は音の列が長くなるほど効きにくくなるため、区間ごとに歌詞を与え直して、最長5分の曲で歌詞を保とうとします。

規模の効果も示されています。歌詞の誤り率（単語誤り率）は、5億パラメータの約70%から70億パラメータの約20%まで下がりました。

Suno のような商用サービスがどう解いているかは、外から確かめられません。2026年9月9日のv6の発表は、歌詞の一部だけの変更や、文章・音声・画像・動画からの生成といった機能を説明していますが、モデルの構造は明らかにしていません。

学習データと「丸暗記」をどう測っているか

モデルの性質は学習データで大きく変わります。論文に書かれた範囲を並べると、データの規模も調達方法も一様ではありません。

データの偏りは音楽の幅にも直結します。MusicLM の論文は、学習データに十分含まれない文化の音楽に適切に対応できるのかという疑問と、文化の盗用の懸念を挙げ、MusicGen の論文も西洋音楽の比率が高いことを課題としています。

学習した曲をそのまま出してしまう記憶（memorization）についても検証があります。MusicLM は、学習データの一部を10秒まで与えて続きの5秒を生成させ、元の記号列と比べました。完全一致は0.2%未満でした。ただし、与える長さを増やすほど近似一致は増えます。MusicGen の2万件の実験でも、図から読むと10秒を与えた場合で完全一致が1%弱、80%以上の一致が2%弱です。

この数字の読み方には注意が要ります。比べたのは最初の段階の記号列だけで、完成した音の類似を網羅的に判定したものではありません。少なくとも、これらの結果をもって「学習元に似ることはない」とまでは言えません。

権利処理の面では、2025年から動きが続いています。Universal Music Group と Udio は2025年10月に和解とライセンス契約を発表し、Warner Music Group と Suno も同年11月に和解してライセンス済みモデルへの移行を掲げました。同じ報道は、ドイツのGEMAやデンマークのKodaの請求が当時なお続いていたと伝えています。著作権の整理はAIが作った音楽は誰のものかで段階ごとに解説しています。

仕組みから分かる、使いどころと人の出番

仕組みを知ると、使うときの判断もしやすくなります。ただし論文の数値は研究モデルのものなので、商用サービスがすでに克服している可能性もあり、あくまで目安です。

まず、指示の書き方です。文章は全体にかかる緩い条件なので、「〜しない」と否定で書くより、欲しい楽器やテンポ、ジャンルを肯定形で具体的に挙げるほうが素直に働くと考えられます。確率的に候補を選ぶ以上、同じ指示から何本か生成して選ぶのも理にかなっています。

次に、苦手な部分です。特定の小節でブレイクを入れるといった時間の精密な指定は、文章の条件だけでは難しい部類です。映像の尺に音楽を合わせる仕事では、編集や作曲の手作業が残ると考えられます。

逆に、方向性を探る段階では強みがあります。「こんな雰囲気で」というイメージを音にして関係者で共有すれば、発注時の認識のずれを減らせます。そのうえで仕上げやアレンジを人に頼む場合は、発注ガイドの手順で要件を整理し、音楽人材のポートフォリオから依頼先を探すこともできます。仕事の掲載で広く募る方法もあります。

波形の解析技術そのものの流れは波形を読む技術で整理しています。

音楽生成AIは、音を数値へ圧縮し、学習した統計に沿って列を組み立て、再び音に戻す計算の連なりです。何を学んだかが何を作れるかを決め、圧縮で捨てたものは戻らず、言葉で指定できないことは届きません。その限界の形を知ることが、使うかどうかを判断する出発点になります。

参考・出典

• Jukebox: A Generative Model for Music（Dhariwal ほか・OpenAI・2020年）
• MusicLM: Generating Music From Text（Agostinelli ほか・Google Research・2023年）
• Simple and Controllable Music Generation（Copet ほか・Meta AI・2023年）
• Fast Timing-Conditioned Latent Audio Diffusion（Evans ほか・Stability AI・2024年）
• YuE: Scaling Open Foundation Models for Long-Form Music Generation（Yuan ほか・2025年）
• Denoising Diffusion Probabilistic Models（Ho ほか・2020年）
• Music Transformer（Huang ほか・2018年）
• Introducing v6（Suno・2026年）
• Illiac Suite（Illinois Distributed Museum・イリノイ大学）
• Warner Music Group strikes 'landmark' deal with Suno（Music Business Worldwide・2025年）