南スーダンでのPKOの経験が基に
続いては、AI連携コンサートの舞台裏を見てみよう。相原さん、上塚さんの間で、コンサートの最初のコンセプトが固まったのは2018年の夏ごろ。この時点で、「0歳からのコンサート」と「パソコンによるオーケストラ演奏」という方針が決まっていたという。
ホルンの相原さんは自衛隊の音楽隊の出身。PKO（国連平和維持活動）の後方支援要員として、2014年に南スーダンに派遣された経験がある。その際、現地にいた3人の音楽隊のメンバーだけで演奏する機会が多くあったそうだ。ただ、3人で演奏できる楽器は、キーボード、フルート、オーボエ、ホルンだけ。そこで、パソコン上で作成した音楽データを日本から送ってもらい、スマートフォンとスピーカーをつないで再生。これによって、さまざまな曲を表現力豊かに演奏することができたという。この経験から、「今回のコンサートを企画した時に、南スーダンでの経験を基に、パソコンでオーケストラの演奏を再現したいと考えた」（相原さん）。
演奏者二人の依頼を受けてオーケストラの演奏データを作成したのは、作・編曲家の大西由峰さん。複数の楽器の音色をコンピューターで組み合わせて、生のオーケストラのような演奏データを作り上げた。
2018年10月からの3カ月間で準備
コンサートでの「ふくまろ」との連携というアイデアが生まれ、演奏者二人とFCCLとの間で最初のミーティングを開催したのは2018年10月17日。ここからの3カ月間で、コンサートに向けた準備を進めることとなった。
「ふくまろ」との連携について、最初に方針として決まったのは「音声認識やオーケストラの演奏は『ふくまろ』の機能で実現する」ということ。舞台裏でスタッフが操作するのではなく、演奏者とのやり取りはパソコンの中の「ふくまろ」が担う。本番で、演奏者の声を認識できなかったり、画像や動画などの再生が滞ったりすると、コンサートが台無しになりかねない。コンサートホールの環境の中で、どうやって演奏者と「ふくまろ」とのスムーズなコラボを実現するかが課題だった。
通常、「ふくまろ」はパソコンの内蔵マイクで音声を認識し、パソコンのディスプレイとスピーカーで画像や動画などを再生する。本番では、舞台上のマイクから会場の音響装置を介してパソコンに音を入力、パソコンからはUSBオーディオ経由で音響装置に音声を出力し、ホールのスピーカーから音を流した。映像は、パソコンのHDMI出力をプロジェクターに接続し、ステージ後方のスクリーンに投射した。
