AI技術在音樂類產品中的應用場景:你聽的歌是AI寫的? | 人人都是產品經理

編輯導讀:你有沒有想過,也許有一天,我們聽的音樂都是AI作曲作詞演唱的。隨著AI人工智慧的發展,它在各行各樣的應用也越來越深度。在未來,AI在音樂類的產品會有怎樣的應用場景呢?本文將從四個方面展開分析,希望對你有幫助。

自動標註、平滑過渡、音樂鑒權、AI創作,當AI技術應用於音樂行業為人類的精神文化與娛樂生活帶來便利和更多選擇時,也是一件讓人激動不已的事情。

隨著深度學習演算法的出現、大數據和5G技術的成熟,AI人工智慧已逐漸融入我們的生產生活中,在教育、醫療、政務辦公、城市管理等多個方面發揮作用。

隨著AI技術在音樂行業研究及應用的深入,音樂人工智慧已經不新鮮,很多新的應用和產品已經驚艷亮相。

基於對於音樂技術及產品的了解,簡單梳理一下目前AI技術在音樂類產品的各類應用場景。

一、自動標註

當平台曲庫量達到⼀定量級時,如果再依賴傳統的⼈為打標籤模式就會花費⼤量成本且受到主觀影響較⼤。⾳頻⾃動標註相關技術就受到⼴泛關注,⾃動標註的作⽤不僅僅只是能替代⼈⼯標註以達到節省成本,同時可以客觀評價⾳樂內容,因此還可以拓展到流媒體播放的⾳樂推薦⽅⾯。

例如:Spodify、KKBOX都有利⽤深度學習做推薦,其中KKBOX采⽤⾳頻⽂件、歌詞以及⽤戶相關標註和評論等數據作為輸⼊從曲⻛、場景及情緒等多個維度來判斷⾳樂是否滿⾜推薦的條件。⼀般的⾃動標註功能也和KKBOX的推薦維度類似,從曲⻛、應⽤場景、器樂和情緒等維度來進⾏標註。

(示例:筆者所在公司旗下平台,關於音樂標註的標籤)

對於⾃動標註,筆者也在⽹上聽到過一些不太專業的吐槽,比如之前有看到說音頻自動標註可能會出現將一首歌曲的情緒同時標註為「歡樂」和「悲傷」兩種情緒。

在解釋這⼀原因之前,可以簡單普及⼀下機器學習中分類器、單標籤多分類任務和多標籤多分類任務。

簡單來說,分類器就是利⽤已知的輸⼊和輸出數據來訓練,然後該分類器就會對未知的輸⼊數據進⾏分類或輸出⼀個值。對於⼀個分類器模型,它預測的結果是2個或⼤於2個以上的(結果只有1個代表結果確定就不需要分類模型了)。如果可能的結果數為2稱之為⼆分類任務⼤於2就是多分類任務;對於情緒可能有:⾼亢、歡快、安靜、悲傷等多個結果,因此情緒分類是⼀個多分類任務。

如果認為情緒模型是⼀個單標籤多分類任務,那麼絕對是不可能出現」歡樂「和”悲傷”同時出現的情況。如果同時出現「歡樂」和「悲傷」,則只能存在於多標籤多分類任務。

⽽「歡樂」和「悲傷」同時出現就⼀定是錯誤的嗎?也不⼀定!

基於深度學習的⾳樂處理⽅式⼀般是分段處理,也就是將⼀⾸⾳樂劃分為多個⽚段然後對每⼀個⽚段進⾏預測判斷它可能的標籤。如果⼀⾸歌曲情緒存在波動,比如一首歌曲的情緒從開始的「歡樂」轉向了「悲傷」,那麼這種情況也是完全可能出現,現實⽣活中很多歌曲的確是存在多個情緒甚⾄互斥的標籤存在的情況。

二、平滑過渡

平滑過渡功能是近⼏年新出現的「炫酷」功能。

簡單理解,就是當⼀⾸歌曲快要播放完畢時下⼀⾸歌曲可能⽆縫接⼊,這種歌曲間的平滑過渡,不會讓聽眾覺得非常突兀。

這種功能的實現,也有依賴於基於深度學習的技術。

⼤致原理是將歌曲的末尾⽚段和可能平滑過渡的其他歌曲的頭部⽚段作為訓練樣本。訓練出來的模型可以預測當前輸⼊⽚段可以過渡的下⼀個⽚段,然後當播放器播放⾄歌曲尾部⽚段的時候利⽤該模型得到可平滑過渡的下⼀⾸歌曲。

三、音樂鑒權

互聯網上的音樂侵權一直存在,但音樂版權方要在互聯網上維護自己的權益,往往比較困難。

因為互聯網具有海量的內容,而且內容形式具有複合性,比如音樂內容僅僅作為視頻的背景音樂,靠人工去發現和識別,難度太大。

在這方面,AI技術的運用,已經能夠實現實時監控視頻、直播或⼴播節⽬中是否有存 在歌曲的侵權情況。

其中的原理是,將版權⽅的曲庫中歌曲提取出關鍵特徵保存在集群資料庫,然後提取待檢測的⾳頻特徵,並通過⼤數據技術進⾏快速檢索資料庫中是否存在相似數據。

目前,擁有類似技術的公司,除了筆者所在公司外,ACRCloud也較具有代表性。

四、AI創作

當AI進入到音樂創作層面,在互聯網行業也已有不少AI音樂創作工具,Amper Music、AIVA、Jukedeck、Ecrett Music、Melodrive、等ORB Composer等。

公司層面,索尼、谷歌、百度以及人工智慧非營利組織OpenAI等均在AI作曲領域有所嘗試。

2016年,索尼公司使用一種名為「流機器」(Flow Machines)的軟體,創作了一首披頭士(Beatles)風格的旋律,然後作曲家伯努瓦卡雷(Benoit Carre)將其製作成一首完整的流行歌曲《Daddy ‘s Car》(爸爸的車)。

2018年,微軟宣布第四代小冰加入到虛擬歌手市場競爭當中,並「演唱」了一首《隱形的翅膀》。

AIVA科技開發的AI作曲家「Aiva」創作搖滾樂曲《On the Edge》並與歌手Taryn Southern合作創作流行樂曲《Love Sick》;

在國內,筆者所在公司的相關產品在AI智能創作上,能夠實現識曲(識別音樂作品中的音樂元素)、作詞、作曲等功能,並已實現了商業化授權和應用。

在具體的AI智能音樂創作層面,AI作曲工具可輔助創意生成。

如英國音樂製作人Alexa Da Kid利用IBM沃森認知計算平台中的機器學習音樂生成演算法創作出單曲《Not Easy》、歌手Taryn Southern與AI作曲公司Amper Music開發的工具共同創作出《Break Free》與Aiva合作創作流行樂曲《Love Sick》。這些作品都曾一度成為熱播曲目。

隨著越來越多AI音樂創作工具的誕生,充當音樂人的輔助,協助創作出更多優質的作品,AI作曲家的音樂創作能力也在逐漸得到認可。

五、結語

當AI遇上音樂,音樂被注入了越加鮮活的生命力,智能化大潮來襲,AI+音樂,未來值得期待!

 

本文@HIFIVE嗨翻屋 原創發佈於人人都是產品經理。未經許可,禁止轉載。

題圖來自 Unsplash ,基於 CC0 協議

給作者打賞,鼓勵TA抓緊創作!