2023/07/05

IDEAL LIFE

是誰讓「AI陳珊妮」開口唱歌？專訪Taiwan AI Labs杜奕瑾

6年前，自美國回到台灣成立台灣人工智慧實驗室的杜奕瑾，看中台灣在文化藝術音樂領域的多元潛力，從成立之初便投入相關領域研究，並以AI技術開發歌曲生成、歌聲生成，希望創造人機介面的新可能。

Taiwan AI Labs創辦人杜奕瑾。（攝影／安比）

AI是全球科技研究最前端的範疇，並在去年底從少數人的專業領域開始進入大眾的生活。而在六年前，自美國回到台灣成立台灣人工智慧實驗室的杜奕瑾，看中台灣在文化藝術音樂領域的多元潛力，從成立之初便投入相關領域研究，並以AI技術開發歌曲生成、歌聲生成，希望創造人機介面的新可能。

打開YouTube，輸入「AI」，搜尋建議就會跳出孫燕姿、周杰倫、陳奕迅等著名歌手，點進其中一首最熱門的孫燕姿唱王菲的〈紅豆〉，只聽見喇叭傳出孫燕姿的聲音唱著：「有時候，有時候，我會相信一切有盡頭⋯⋯」留言區網友評論：A段很像，但下一段就聽出來是AI了、沒有孫燕姿的味道⋯⋯。

原來，這是一首AI模仿孫燕姿嗓音「唱」出的歌。

知道答案再回頭檢視歌曲時，或許可以看到破綻，但是當今（2023）年3月，歌手陳珊妮和台灣人工智慧實驗室（Taiwan AI Labs）創辦人杜奕瑾在記者會上宣布，陳珊妮最新發表的單曲〈教我如何做你的愛人〉實際上為AI演唱，引起譁然，杜奕瑾指出，從單曲發布到記者會的這一個禮拜中，沒有人發現這首歌不是陳珊妮親自所唱的。

為台灣的AI產業帶回空氣

走進台灣人工智慧實驗室位於台北當代藝術館附近一間商辦大樓的辦公室，其中一個作為show room的空間，牆壁上投影各種互動遊戲，體驗者可以隔空在牆壁上畫出一棵大樹，也能在敲擊鍵盤間，與AI共譜一首歌。

台灣人工智慧實驗室的showroom，讓人實際體驗AI的運用。（圖片／台灣人工智慧實驗室）

不同領域的團體專家都曾來到這裡拜訪，包括：城市治理、醫療、媒體傳播、音樂、電影，討論與人工智慧的跨領域合作，顯見AI技術應用範圍之廣泛。

由杜奕瑾成立於2017年的台灣人工智慧實驗室，是亞洲第一個開放型的人工智慧研究機構，目前擁有近兩百位AI工程師，目標是以人工智慧的技術與創新思維解決問題，創造新的價值鏈。以此發展出「智慧醫療」、「智慧城市」以及「人機介面」三大項目。

曾擔任微軟人工智慧團隊（AI.R.）首席亞太區研發總監的杜奕瑾，觀察到台灣數位產業缺乏具發展性的環境，人才一旦出了國就很難回到台灣，「台灣的數位人才並沒有比國際落後，只是我們沒有很系統地建立產業。」杜奕瑾比喻，要建立科技數位產業，需要備齊陽光（政策）、空氣（思維）、水（資金），「台灣人工智慧實驗室想要做的事情是將空氣帶回台灣。」

台灣人工智慧實驗室的宗旨為：「在台灣解決台灣特有的問題，並且讓全世界能夠使用。」（Innovate AI in Taiwan and for the world.）

以智慧醫療為例，杜奕瑾看中台灣醫療水準高，擁有發展已久的電子履歷數據，透過這些資料，便能成為精準醫療的一份助力，因此於2020年帶動成立「台灣聯合學習醫療聯盟」，廣邀全國醫學中心、區域醫院、地區醫院加入，使醫院能夠在符合法規保障隱私的前提下，透過去中心化的聯合學習演算法，讓AI進入各家醫學中心學習最頂尖醫師的專業，提供各醫療院所使用。

當AI陳珊妮開口唱歌

而看似與科技軟體截然不同領域的音樂藝術，在杜奕瑾眼中同樣擁有發展AI的潛力，「台灣是華語體系中非常自由的地方。有自由表達的空間，因此產生多元豐富的文化藝術。」

台灣人工智慧實驗室的團隊深入研究音樂辨識和理解技術，分析每首歌的節奏、調性、風格以及樂器演奏方式，並邀請北藝大的團隊加入，共同指導人工智慧的學習。2020年推出的台灣第一張AI專輯《武漢肺炎》，就是透過AI蒐集百萬首音樂，分析、理解情緒後，以AI演算法建構出武漢肺炎病毒基因與藥物分子合成的模擬預測圖，再用圖像譜出音樂旋律。2021年，台灣人工智慧實驗室在全球最主要的人工智慧學術會議（The National Conference on Artificial Intelligence）上，發表全球第一個以AI譜寫完整曲子的成果〈AI全曲生成技術〉，獲得相當大的肯定。

與陳珊妮合作〈教我如何做你的愛人〉，則進一步將台灣人工智慧實驗室在音樂領域的研究帶到一般民眾面前。

陳珊妮單曲〈教我如何做你的愛人〉的音樂、單曲封面，皆為AI創作。（圖片／台灣人工智慧實驗室）

2019年杜奕瑾因出任文化內容策進院董事而結識陳珊妮。「當時決定加入文策院，是因為我認為台灣過去較多是專注在生產製造的領域，如果能在文化藝術領先發展，也能帶動科技創新。」此一想法和喜歡嘗試新科技的陳珊妮一拍即合——此前她便曾經在演唱會《調教Ｘ教條》，運用AI繪畫應用軟體Midjourney製作影片內容。

陳珊妮加入製作團隊，不僅提供過去的作品，還親自調整AI唱歌的方式，「有時候我們工程師覺得唱的很好聽，但是專門做音樂的人一聽就有很多問題。」杜奕瑾解釋。

AI歌手是創作者將人聲樣本輸入開源語音轉換模型，訓練模型學習掌握音色、音質和發音特點，就可以用AI生成與目標相同音色的歌聲。研究團隊花費約莫一年的時間，讓AI唱出擬真又充滿感情的的歌聲。後期再由陳珊妮耗時一個月，從唱法、唱腔、呼吸、換氣的方式，將過去唱歌的經驗教導AI如何唱得更加「真實」。〈教我如何做你的愛人〉的歌名，便是隱含了「AI學習唱歌」的含義。

直面AI的創作者

過去音樂產業不乏使用AI作為創作工具，AI作詞、作曲的網站不勝枚舉，台灣索尼音樂娛樂音樂總監JerryC（張逸帆）便曾在訪問中提到，自己很早就將AI作詞工具列入創作流程中，為不擅長寫詞的他節省大量時間。

然而陳珊妮與台灣人工智慧實驗室合作的特別之處在於——這不只是一次打造AI歌手的合作，也是在過程中直接面對AI創作所產生的問題。

台灣人工智慧實驗室旗下的「雅婷智慧」開發AI歌聲生成工具，使用者以文字描述意境，就可以自動生成相關歌曲，唱歌給你聽。（圖片／台灣人工智慧實驗室）

包括智慧財產權的歸屬、金曲獎的報獎資格、經濟模式的分潤、實際的應用場景⋯⋯都是陳珊妮和團隊不斷討論的問題。以這次合作所產出的model來說，即為台灣人工智慧實驗室與陳珊妮共有，不過為了鼓勵創作者台灣人工智慧實驗室也公開生成工具，只要在網站上輸入歌曲情境，網站就能生成一段歌詞，再由AI陳珊妮演唱。而後續創作者所生成的創作，就會與原本model的擁有者無關。

然而與不同創作者合作，面臨的問題又會不同，「即使唱歌像你、講話像你，但AI不是你，以人的本位來說還是會有很多抗拒。」杜奕瑾提到，過去在尋找創作者提供聲音資料時，有些創作者對於AI唱出來的聲音和自己過於相似而感到不舒服、中途提出刪除所有資料，或是與音樂從業者對談時，對方提出音樂創作應該是人的東西，不應該讓AI學起來。

面對這些疑問，陳珊妮過去曾在受訪時表示，自己與AI的關係「目前尚處於支配者角色，但未來會如何很難說。」台灣人工智慧實驗室首席音樂科學家楊奕軒則在演講中提到，如同電鋼琴的發明，許多人已經能接受電腦進入創作音樂的流程，將部分工作交給電腦，當創作流程越方便、門檻越低，人類改變跟音樂互動的方式，就能把精力放在更有創造力或是有藝術性的地方。

AI對於文化藝術究領域究竟會帶來多少衝擊，杜奕瑾回歸到人類本身的能力，相信藝術文化的創作主軸是思想的主體和創作的靈魂，「感情互動是不容易被取代的，人類在未來的音樂藝術創作中可以扮演什麼樣的角色？台灣人工智慧實驗室只是打開這個可能性，答案我們要一起思考。」

｜延伸閱讀｜