勇立潮头!高品质SFT语音数据实现Zero-Shot语音复刻大模型

2023-09-22 14:10:52

文本到语音合成(Text to Speech,TTS)作为生成式人工智能(Generative AI 或 AIGC)的重要课题,在近年来取得了飞速发展。为了实现高效合成既自然又高质量的人类语音,有不少机构及企业都进行了相关项目的研究,包括微软亚洲研究院机器学习组和微软 Azure 语音团队去年推出的NaturalSpeech(https://speechresearch.github.io/naturalspeech2/)还有Meta今年发布的Voicebox(https://voicebox.metademolab.com/),都是利用大数据、大模型和零样本(zero-shot)合成技术,实现语音合成的音色、韵律、风格的多样性的代表。

语音TTS已经走向了AIGC大模型模式,利用大规模预训练数据,加上高品质的SFT数据,实现zero-shot的声音复刻正成为越来越火热的技术趋势。同时零样本语音合成在娱乐产业、云平台、通用AI平台及AIGC领域都有广泛的应用场景,包括电影电视配音及解说、有声书、游戏角色配音、虚拟主播、语音导航等。

在此背景下,晴数智慧前瞻性地推出“高品质语音大模型SFT数据集”,此数据具备48KHz高采样率,采集人数上万,环境纯净,内容自然多样,近万小时,是语音SFT的绝佳数据。

数据集参数:

话题分布:涉及休闲娱乐等15个话题

说话人信息:为保证语音的多样性,此数据集由来自中国各方言地区超3万人参与录制,男女近似比1:1,以中青年为主,地域分布广泛。

说话人性别分布
说话人年龄分布
说话人地域分布

 

此数据已被数家娱乐产业头部企业运用于AIGC语音合成研发及应用,数据质量经过实践检验。更多数据详情,资讯我们的数据专家。

更多推荐

智能网联驾驶测试与评价工业和信息化部重点实验室“车载智能计算基础平台参考架构2.0专家研讨会”圆满结束

近日,智能网联驾驶测试与评价工业和信息化部重点实验室在北京市召开“车载智能计算基础平台参考架构2.0专家研讨会”,本次会议由智能网联驾驶测试与评价工业和信息化部重点实验室、中国软件评测中心(工业和信息化部软件与集成电路促进中心)、国家智能网联汽车创新中心主办,北京经纬恒润科技股份有限公司承办。会议主要包括两个环节,一是

redis 事务

1.什么是Redis事务提到事务,我们可能马上会想到传统的关系型数据库中的事务,客户端首先向服务器发送BEGIN开启事务,然后执行读写操作,最后用户发送COMMIT或者ROLLBACK来提交或者回滚之前的操作。但是Redis中的事务与关系型数据库是不一样的,Redis通过MULTI命令开始,之后输入一连串的操作,最终以

LeetCode 363 期周赛

2859.计算K置位下标对应元素的和题目给你一个下标从0开始的整数数组nums和一个整数k。请你用整数形式返回nums中的特定元素之和,这些特定元素满足:其对应下标的二进制表示中恰存在k个置位。整数的二进制表示中的1就是这个整数的置位。例如,21的二进制表示为10101,其中有3个置位。示例1:输入:nums=[5,1

端接电阻的阻抗匹配

差分的匹配多数采用终端的匹配;时钟采用源段匹配传输线的端接通常采用两种策略:(1)使负载阻抗与传输线阻抗匹配,即并行端接(2)使源阻抗与传输线阻抗匹配,即串行端接。(1)并行端接并行端接主要是在尽量靠近负载端的位置加上拉和/或下拉阻抗以实现终端的阻抗匹配。(2)串行端接串行端接是通过在尽量靠近源端的位置串行插入一个电阻

零基础学前端(五)HTML+CSS实战:模仿百度网站首页

1.该篇适用于从零基础学习前端的小白2.初学者不懂代码得含义也要坚持模仿逐行敲代码,以身体感悟带动头脑去理解新知识一、实战:将百度网站首页补全上一篇零基础学前端(三)重点讲解HTML-CSDN博客我们已经将顶部两侧内容已经写完。1.接下来我们的目标如下图:分析对应的标签已经写在下面图片(我将百度logo涂上马赛克,主要

看板系统如何异地电脑手机访问?主机内网ip端口映射域名外网访问

看板系统是一种可视化管理系统平台,如生产管理看板、项目管理看板、APP运营看板等将企业或工厂本地项目具体数据转换成图表模式,方便实时管理和汇总,有效提升工作效率和助力生产实践。单位内部服务器部署了看板管理系统,由于无公网IP原因,无法直接让手机访问,也无法让异地外网电脑查看。这时,我们可以利用快解析端口映射方法,一步将

【藏经阁一起读】(69)__《阿里云视频云产品手册2023版》

【藏经阁一起读】(69)__《阿里云视频云产品手册2023版》目录一、概述阿里云视频云全产品矩阵二、数字人视频制作以下是人工智能虚拟人物的一些优秀代表作品及其特点:阿里云视频云数字人视频制作产品优势▶高还原度的拟真效果▶场景化智能AI联动处理▶丰富的衍生制作能力▶灵活的应用方案阿里云视频云数字人视频制作产品能力▶数字人

前端录入音频并上传

目录纯js实现(有问题)使用插件`recorder-core`(没问题)纯js实现(有问题)上传音频文件时blob数据中size一直是0,导致上传之后音频不可播放(本地录制后本地是可以播放的)<template><div><buttonv-if="!isRecording"@click="startRecording"

计算机丢失mfc140u.dll怎么办,mfc140u.dll丢失的解决方法分享

随着科技的飞速发展,计算机已经成为了人们日常生活和工作中不可或缺的工具。然而,在使用计算机的过程中,用户可能会遇到各种问题,其中计算机丢失mfc140u.dll无法运行的问题就是一个比较常见的困扰。小编将从以下几个方面对这个问题进行详细的探讨。一、mfc140u.dll文件的作用Mfc140u.dll是Microsof

linux相关知识以及有关指令3

在linux的世界中我们首先要有万物皆文件的概念,那么在系统中有那么多的文件,我们该怎么区分呢?文章目录1.文件分类2.文件的权限1).拥有者和所属组以及other2).文件的权限3).粘滞位4).对于权限修改的拓展知识点a.修改权限b.修改拥有者所属组c.权限掩码1.文件分类在linux中文件大致分为以下几类:-:普

windows安装npm教程及生成DEMO

在使用之前,先类掌握3个东西,明白它们是用来干什么的:npm:nodejs下的包管理器。webpack:它主要用途是通过CommonJS的语法把所有浏览器端需要发布的静态资源作相应的准备,比如资源的合并和打包。vue-cli:用户生成Vue工程模板。(帮你快速开始一个vue的项目,也就是给你一套vue的结构,包含基础的

热文推荐