腾讯发布多模态音乐生成模型M2UGen
📰🤖📢AI新鲜事
一方面,随着各平台商业模式的成熟,以及人才基础的完善,越来越多品牌选择布局矩阵号。
以鸿星尔克为例,2021年爆火后,为了承接住野性消费的流量,鸿星尔克加速布局了矩阵账号。截至发稿前,鸿星尔克在抖音至少有74个蓝V账号,其中千万粉账号1个,百万粉4个。此外,鸿星尔克董事长吴荣熙的抖音账号粉丝数也高达912万。
除了可以从文字生成音乐外,它还支持图像、视频和音频生成音乐,并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解,ViT进行图像理解,ViViT进行视频理解,并使用MusicGen/AudioLDM2模型作为音乐生成模型(音乐解码器)。用户可以轻松移除或替换特定乐器,调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。