首页前沿资讯 > 正文

30 分钟音频当数据,任何音色零门槛生成,产品免费体验

2023-06-08 16:02:18来源:量子位

这年头,万物都可以是 AI 生成的,


(相关资料图)

从文字,到图片,亦或是目前火热的虚拟主播,

设想下,你在直播平台看到的虚拟主播背后,有可能是这样的画面。

连声音都可以是 AI 生成的,什么时候变声器已经能做到这个地步了,带着一丝震惊,我们深入了解了这款产品背后的技术团队,并得知了一个更加惊人的事实:

免费使用

仅需 30 分钟音频

任何人就可复刻任何人声

这意味着在未来声音合成的门槛几乎为零,而这项技术是由国内一家年轻的 AI 初创公司格子互动自研的大饼 AI 变声,基于深度学习实现的声音转换(Voice Conversion)。

以往我们使用的传统变声器需要根据输入声源不断调整参数,而 Voice Conversion 可以提供更稳定的声音输出,让任何输入人声都高质量的转换成目标音色(Any to One)。

在 Diffusion(图像)和 GPT(文字)卷到飞起的同时,AI 语音生成这片蓝海正在逐渐成为 AIGC 领域的下一个热点。

近期山东文旅宣布为旗下主持人海蓝生成了数字分身,并使用大饼声音引擎的产品为其定制了声音皮肤,引发了大量关注。

抑扬顿挫,委婉洒落。通过 VC 输出的声音极其细腻地还原了真人的语气、情绪和声音特征。

并且相较于非实时场景下对完整音频的声音转换,实时声音转换有着更加丰富的落地场景。在 RTC 领域,如直播、虚拟人等场景,变声的结果需要在很短的延迟内实时流式的生成,才能保证音画同步。

大饼团队针对这一点,通过对模型进行不断优化,使得实时转换延迟低于 50ms,在实际使用过程中几乎感受不到。

大饼实时变声流程示意

大饼已经以插件形式登录声网云市场,在 RTC 领域受到了不少关注和讨论。

微信 Steam 都能用

目前,大饼变声已经适配了市面上大部分社交娱乐应用和游戏。

不仅可以接入到微信、腾讯会议等社交办公软件中,同样支持在英雄联盟、CSGO、狼人杀、Steam等游戏和游戏平台中同步使用。

无论游戏还是社交,都可以用各种声线来戏弄好友。

当然,这不一定是 " 大饼变声 " 最正确的打开方式…

一方面,变声带来了更丰富的可玩性和趣味性,另一方面,变声也保障了用户在线上社交时的隐私安全性,免去不必要的骚扰和歧视。

例如不少女性玩家曾经在玩游戏因为性别而被对手,甚至队友攻击,选择 Carry 角色却被认为不够格。

在线上游戏尤其是 MMORPG 等角色扮演游戏中,人们往往展现出和现实生活里截然不同的性格和人格,而这正是因为这些玩家游玩网络游戏的本质是希望在游戏里找到并扮演最完美、最理想的自己。

AI 变声的出现可以让玩家在游玩过程中使用符合自己虚拟人设的声音皮肤,从而更好的带入角色,沉浸于游戏世界中。

拥有萝莉、御姐、正太等 200+ 音色

我们上手体验了一番,无需任何前置调试,一键就能完成变声。

客户端演示

所以,这样一款好用易上手的 AI 变声工具背后究竟用到了哪些技术,而相比于以往传统的变声器,又有哪些不同呢?

AI 变声将取代传统变声器

传统软件变声是对语音信号进行处理,通过改变输入声音频率,进而改变声音的音色、音调。

由于每个人的音色特征不同,需要不断调整声音参数,而这也难以保证输入音色效果稳定。

传统变声器的工作原理

而声音转换(Voice Conversion)是根据发声者的说话音频,将音频中的音色转换到目标发音人上,并保持说话内容、韵律情感等一致。将发声者的情感、抑扬顿挫、停顿等一并保留并输出:

输入样例—中文:

声音转换—中文:

换一种语言也能自然地转换,以日语为例:

输入样例—日语:

声音转换—日语:

通过 AI 输出音色相较于传统变声器,有几大明显的优势:

能获得实时变声 + 声音克隆的效果,不需要使用者夹着嗓子发声,不需要因为声音不同而重新调试参数。任何人开启引擎,都可以实时稳定变声目标声音。

并且在输出声音的质量上,也远远优于传统变声器。保留情感,抑扬顿挫的同时,支持多语种、方言的声音转换。

并且 AI 变声不再需要物理机架以及声卡这些额外的专业设备支持,大饼自带虚拟声卡,保证了傻瓜式的操作流程,将使用门槛和成本降到了最低。

不仅仅能换音色,还能消除口音,增强情感,甚至模仿各式各样的腔调。

事实上,不少科技大厂和巨头纷纷组建 AI 语音研究团队,朝着语音合成的方向暗暗发力。

大饼声音引擎,则是目前为止最集中在数字声音资产方向的生成式模型产品。其背后的 AI 初创公司格子互动,成立于 2021 年。

创始人凌天格是一位毕业于美国卡耐基梅隆计算机系的 00 后,团队的 CTO徐颖则是前阿里巴巴语音算法专家,而 CMO刘建俊曾任职于新浪、盛大及恺英网络 VP,有多年的互联网经验。

这支新老搭档的团队在短短一年半的时间内前后获得源码资本奇绩创坛的两轮投资。

团队专注于声音领域,语音合成的研究与商业化。在 AIGC 还未成为热点的 2021 年就已经决定专注做声音的 AI 生成。而这个颇具魄力,在业内已经小有名气,极有 " 少年感 " 的团队,平均年龄只有 26 岁

短短半年时间,大饼变声引擎完成了多项技术的突破和上线,发布了 PC 实时变声客户端、以 SDK 形式登录声网云市场。

AIGC 的价值就是把创作的门槛降到最低。试想在虚拟与现实逐渐交融的未来,每个人都可以免费、零门槛地拥有自己想要的声音,并在游戏、元宇宙等场景中使用符合自己虚拟人设的声音进行社交互动,自由开口,或许我们距离真正的 " 沉浸式 ",又更近了一步。

* 本文系量子位获授权刊载,观点仅为作者所有。

量子位 QbitAI

" " 追踪 AI 技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~

关键词:

便民

  • 上海公布1例本土确诊病例涉及的轨迹

      记者1月24日从上海市新冠肺炎疫情防控新闻发布会上获悉,上海新增1例本土新冠肺炎确诊病例。该病例涉及的轨迹为上海市奉贤区奉城镇幸福

  • 冰雪运动热申城 “冰雪奇缘”共赴“冬奥之约”

      (北京冬奥会)冰雪运动热申城 “冰雪奇缘”共赴“冬奥之约”  中新网上海1月24日电 题:冰雪运动热申城 “冰雪奇缘”共赴“冬奥之

  • 上海市奉贤区一地调整为中风险地区

      记者1月24日从上海市新冠肺炎疫情防控新闻发布会上获悉,奉贤区奉城镇幸福村8组调整为中风险地区。  (总台记者 梁志玮 王殿甲 杨

  • 上海新增本土确诊1例

      今天,记者从上海市新冠肺炎疫情防控新闻发布会上获悉,截止到发稿,上海市新增1例新冠肺炎本土确诊病例。该病例为浦东机场西区货运站

点击加载更多

频道推荐

  • 服饰
  • 时尚
  • 物流
  • 灯饰
  • 养老