こんにちは。愛知県に本社をおく人工知能（AI）技術を扱う企業、株式会社N2iで非エンジニアとしてビジネス全般を担当している伊禮（いれい）です。
社員の約3分の1が楽器経験者という謎に音楽好きが集まっているN2i。
オフィスにギターやドラムスティックが常備されていたり、スマートスピーカーから常に音楽が流れていたりします。
今回は、2019年6月現在、「音楽」においてAI活用がどこまで進んでいるのかをまとめてみました。
楽器なり、作曲なり、DJなり、音楽に携わっている方は一度お目通し頂けると、驚きと少しばかりの恐怖？感動？が味わえるのではないでしょうか。
作曲編
Flow Machines
Flow Machinesは、ソニーCSLが株式会社ソニー・ミュージックエンタテインメントと共同開発を行なっているプロジェクト。
Flow Machinesという機械学習や信号処理技術を用いた「AIアシスト楽曲制作ツール」を元に、クリエイターがアイデアとインスピレーションを得て、より創造性を発揮できる「能力拡張」のためのツール。
いくつかの条件を入力すると、メロディー、コード、ベースを生成してくれる。
人工知能が1曲全てを作曲する訳ではなく、クリエイターをサポートするツール。
上に紹介した2016年発表の『Daddy's Car』という曲の場合は、フランス人作曲家のブレア・カレ氏が曲のアレンジと作詞を行った。
3年を経てさらに進化したFlow Machinesの最新情報はこちらをチェックされたい。
AIVA
仏AIVA社によるクラシック音楽作成ツール。
AIVAは、膨大なMIDI音源のデータベースから、再帰型ニューラルネットワークを駆使して曲の中にパターンを発見、曲の基本的なスタイルを理解する。
そして、楽曲内の音の遷移を予測し、次にどのような音がくるか、予測と改善を繰り返す。予測精度が向上したら、目的とする音楽のスタイルでルールを作成、オリジナル曲を作る準備が完了する。
2017年の時点ではオーケストラ用の編曲、演奏は人が行っているようだが、その後は、よい音かどうかを聞き分ける機能、最初からオーケストラ用として作曲する機能、映画やゲームのシナリオを読んで自ら感情を音楽で表現する機能の搭載を目指しているというから、目が離せない。
ecrett music
Dmet Products（ディーメットプロダクツ）株式会社によるロイヤリティフリーのAI作曲ソフト「ecrett music」。
「シーン」や「ムード」を選ぶだけで、AIが動画にぴったりの音楽を作曲してくれる。サービスは年額だけでなく、月額課金にも対応しているため、自作の動画に音楽をつけたいと考えるクリエイターに最適だ。
AI × 作曲
作曲の分野は、MIDI音源や楽譜データが豊富にあること、デジタルでの作曲環境が整っていることから、比較的AI化が進んでいる。
（出典： https://nissenad-digitalhub.com/articles/ai-for-composition/）
特に最近は、Spotifyを筆頭に様々なシチュエーション別に音楽を提案してくれるムーブメントがあり、感情とコード進行が対になってデータが取れる。
これを活用すると、「怒った時に聞く曲」や「泣きたい時に聞く曲」など、シチュエーションや感情を入力するだけで、その状況にあった音楽が生成されることになるだろう。
機械的だと批判する音楽家とAIの対決の終着点はどこになるのか興味深い。
作詞編
仮面女子 - 電☆アドベンチャー
『電☆アドベンチャー』は、メンバー全員が仮面をつけて活動するアイドルグループ「仮面女子」と電気通信大学の坂本真樹教授による合作。
仮面女子メンバーが各々、担当パートのイメージをイラストに起こし、それをAIが数値化して意味付けをし、言葉（オノマトペ）を学習しつつ組み合わせて歌詞を生成した。自然言語処理だけではない発想が秀逸。
生成された歌詞には、いたるところに意味のない文字や擬音が見受けられ、人間が発想しえない表現も多く見られるところから、人の想像力を拡張する効果が期待されている。
しかし、AIによる歌詞生成はまだまだ未発達の領域だ。加えて日本語の生成における自然言語処理の難易度を考えると、浸透するのはまだまだ先になりそうだ。
ボーカル編
りんな
以前こちらの記事でも紹介した日本マイクロソフト株式会社のチャットボットAI「りんな」。
ボーカロイド（ボカロ）のように、パーツ（波形）をつなぎ合わせて歌声を作るのではなく、人間が声を出す仕組みをAIに模倣させるために統計的アプローチを用いているのが特徴。
声を出す際に重要な特徴として、「音の長さ」「強弱」「音程」「声色」の4つのパラメータを調整することで歌声を実現しており、そうしてモデル化された音を使うことで、人間の声に近い音を生成できるという。
「人を感動させること」を目的とするこのプロジェクト。AIの歌声に我々の感情を揺さぶられる時代はすぐそこまで来ているのかもしれない。
演奏編
ヤマハ人工知能演奏システム
ヤマハが開発した人工知能演奏システム。
プログラムされた動きのみをする演奏ロボットはすでに多く発明されているが、このシステムには今までにない3つのシステムが組み込まれている。
- 演奏者がどう弾きたいかを理解する
- 周囲の音をリアルタイムで検知し、タイミングを合わせる
- 無音時も周囲を検知し、演奏を始めるタイミングを測る
人間が修練を必要とする技術を再現できるとんでもないシステムだ。
このシステムにどんな技術が使われているのか気になる方は、是非この論文を読んでみてほしい。
前澤 陽: 自動合奏のためのタイミング結合モデル. 第112回情報処理学会音楽情報科学研究会 (2016-MUS-112)
この技術を活用すれば、既に亡くなった巨匠らの演奏に合わせて練習することが可能になるかもしれない。
また、ピアノ以外の伴奏ロボットにプログラムすれば、様々なケースで応用することも可能になるだろう。完全に未来だ。
ミックス／マスタリング編
Neutron3
音楽を配信する際にミキシングの作業はかかせない。
iZotopeが発表したNeutron3には、世界発のAIが最適なミキシングをしてくれる機能がついている。
楽曲を解析すると、
- Focus（最初に選択した中心としたいトラック）
- Voice（声）
- Bass（低音楽器）
- Percussion（打楽器）
- Musical（Pad、ストリングスなどの周りを囲むインストゥルメント）
という5つのステムに分類され、それぞれに最適なミックスを膨大なミキシング情報から探し出し、最適なバランスを提案してくれる。
各ステムのバランスを手動で再調整することも可能なので、細かいニュアンスの調整も可能だ。
LANDR
LANDRは、膨大なマスタリングデータを学習し、解析をかけた楽曲に適切なマスタリングを行なってくれるサービスだ。
- 高音圧（High）
- 中音圧（Medium）
- 低音圧（Low）
の中からアウトプットを選べる事が特徴だ。
スタジオで行うマスタリングと異なり微調節がきかないため、流通する音源では物足りないかもしれないが、デモクラスやサウンドクラウドにあげる音源レベルなら充分活用できそうだ。
非常に便利だし、私もいつもお世話になっている。
DJ編
Qosmo AI DJ Project
Qosmo AI DJ Projectは、Nao Tokuiによる人間とAIが交互に曲をかける｢バック・トゥ・バック｣スタイルでDJを行うプロジェクト。
畳み込みニューラルネットワーク（CNN）を用いて楽曲のスペクトログラム（音を「時間」「周波数」「信号成分の強さ」の3次元でグラフ化したもの）に基づいた特徴を学習させている。
楽曲の特徴量をリアルタイムで検知し、近しい特徴量の楽曲をレコメンドしてくれる。人が行う作業はターンテーブルにレコードを乗せて針を落とすだけ。後はビートマッチングまでしてくれる。
フロアの状況は、CNNがカメラの映像から人間の骨格を推定する仕組みをテストとして行なっている。
フロアの人がどれくらい踊っているかを定量化する事で、選曲を行うアルゴリズムである。つまり、リアルタイムでフロアを読んで完璧な選曲を行うDJシステムが完成されつつあるのだ。
私事で恐縮だが、私自身DJを8年程続けている。
が、「フロアの空気を読み、選曲を行う」という行為は、経験による勘としか説明できない。前職時代にこの記事を見てAIへの興味が沸き現職へ転職をしたという経緯がある。それくらい感銘をうけたプロジェクトであるし、今後のTokui氏の動向に期待したい。
まとめ
今回は、「音楽」においてAI活用がどこまで進んでいるのかを
- 作曲
- 作詞
- ボーカル
- 演奏
- ミックス／マスタリング
- DJ
の各分野ごとにまとめ、AI技術の事例を紹介した。
思っていたより進化していた、進化していなかった、色々な感想があると思うが、音楽に携わる方々には、明日のランチタイムのネタにでもしていただけたら幸いだ。
