音声・音楽を扱うAI

音声認識は音から文字を推定し、音声合成は文字などから声を作ります。音楽生成はさらに旋律・和声・リズム・音色の時間的な関係を扱います。似た音の入出力を持っていても、学習の目標と使う表現は異なります。

波形と時間周波数表現

デジタル音声は、時間に沿う振幅を標本化した列です。標本化周波数48kHzの10秒の音なら、1チャンネルで48万個の標本があります。16bit・2チャンネルの圧縮しないPCMでは、音データ部分は48,000×10×2×2で192万バイトです。モデルはこの波形を直接扱う場合も、短い時間区間ごとに周波数成分をまとめたスペクトログラム等を使う場合もあります。時間分解能と周波数分解能、圧縮の細かさが、残せる情報や計算量に関係します。

音の高さは波形が繰り返す速さと関係し、標本化周波数は記録する回数を表します。48kHzで記録した音が、48kHzの高さで鳴るわけではありません。圧縮後のビットレートも別の量で、音源の標本化周波数だけから保存容量は決まりません。

認識と合成を逆向きの別課題と見る

音声認識では、音から単語や文字の列を推定します。Whisperは音声と文字列の対応を学習する研究の例です。一方、音声合成では、同じ文章でも読む速さ、抑揚、間の取り方が複数あり得ます。VITSのような方式は、この一対多の関係や発話時間の変動を扱います。文字が正確に転写されたことと、話し方が自然な合成音を作れることは別の能力です。固有名詞、数値、雑音、話者の重なりなど、課題ごとに難しい条件を確認します。

音を圧縮したトークンで生成する

ニューラル音声コーデックを使う構成では、音の特徴を有限個のコードの列へ圧縮できます。MusicGenは、圧縮した音楽表現の複数の列を、文章や旋律の条件を参照しながら生成する研究の一例です。ここでのトークンは文章の単語とは異なり、音の時間的な特徴を表します。生成したコード列をデコーダーへ渡すと波形へ戻せます。音色や残響などの細部を多く残すほど、表現の量や生成の負担が増える場合があります。

短い自然さと長い構成を分ける

数秒の音が自然でも、長い音楽として主題が戻る、拍子が保たれる、歌詞が意図どおり続く、といった構造まで整うとは限りません。音声なら発音の明瞭さ、言葉の正しさ、抑揚、話者の一貫性を分けて評価します。音楽ならリズム、音の重なり、展開、つなぎ目も確認します。出力の音量が大きいだけで迫力があると評価されないよう、比較条件をそろえます。自動指標だけで判断せず、目的を決めた聴き比べも必要です。

公開研究と実際のサービスの範囲

音声生成には自己回帰モデル、拡散、フローなど複数の方式があり、サービスの見た目から内部を一意に推測することはできません。MusicGenの構造を、そのまま別の非公開の音楽生成サービスの構造とみなすこともできません。利用時は、読み上げ用の文章、入力音源、声の使用について権利と本人の同意を確認します。また、認識結果を文字にした後も、聞き間違えた数値や否定表現が残る可能性があります。重要な内容は元の音と照合します。

関連項目