管風琴演奏結合生成式AI 工研院顛覆古典音樂會體驗

工研院顛覆傳統古典音樂會聽衆體驗，設計由GAI所生成適合樂曲意境的景象，讓觀衆享受樂曲的同時可看到更具意象的畫面，提升沈浸感。（工研院提供／邱立雅竹縣傳真）

工研院與知名福爾摩沙管風琴演奏家餘曉怡合作，運用生成式AI技術（Generative AI；GAI）讓演奏家化身虛擬人像，在1日登場的「2023 福爾摩沙國際管風琴藝術節閉幕音樂會」，管風琴演奏家餘曉怡的虛擬偶像造型將首度亮相外，在亞洲最大管風琴音樂廳衛武營的舞臺上，透過GAI隨樂曲變換生成不同動畫，打造與古典音樂高度融合的影像體驗。

工研院產業科技國際策略發展所所長林昭憲表示，數位原生的虛擬偶像受歡迎，真人偶像如足球明星Neymar、NBA明星球員Luka Dončić、美國歌手小賈斯汀和Ariana Grande、韓國女團aespa都打造了虛擬化身，在MV、虛擬演唱會、社羣網站、時裝展和NFT中亮相，在虛擬世界替代本身，擴大與粉絲的互動。

工研院服務系統科技中心執行長鄭仁杰表示，這次工研院與福爾摩沙管風琴演奏家餘曉怡合作，將 GAI文生圖（Text to Image）實際應用到音樂表演現場，主要可分爲兩個部分，一是在前臺設置透明投影螢幕，讓演奏家餘曉怡虛擬分身，透過大量照片訓練後，由AI生成專屬於餘曉怡且像她的虛擬模型，搭配GAI語音轉動畫自動生成與工研院前瞻計劃的語音風格轉化技術，只要提供文稿或一段語音，虛擬偶像便會以各種不同的造型及聲音。

鄭仁杰表示，另一亮點在舞臺上，過去演奏家表演時，舞臺背景顯示的音景通常是與畫家配合，針對演奏曲目去挑選或創作合適意境的畫，而這次工研院針對古典樂特性，去對GAI下指令（prompt）生成相對應的景象，並顯示在管風琴的後上方，讓觀衆享受樂曲的同時可以看到更具意象的畫面，進而提升沈浸感。