阿里推出国内首个AI语音平台CosyVoice Studio，将语义理解融入语音能力

允中 发自 凹非寺 量子位 | 公众号 QbitAI

8月7日，阿里巴巴正式推出国内首个一站式AI语音生产力平台CosyVoice Studio。该平台基于阿里推出的自研语音模型Qwen-Audio打造，在全球权威AI评测平台Artificial Analysis上，该模型斩获语音识别（ASR）、实时交互（RealTime）和语音合成（TTS）三个赛道的全球第一。CosyVoice Studio含有三个主要功能，其中语音键盘能够把说完的话变成去掉口语填充词逻辑更清晰的结构化文本，音频内容创作工具能把用户想讲的内容变成播客和有声书，语音智能体能够根据企业需求创建实时对话的语音智能体。该平台可全面满足企业、开发者和用户的AI语音需求。

语音正在成为AI时代人机交互的核心界面。随着大模型能力的成熟，用户在使用AI产品时越来越自然地选择语音对话而非文字输入。行业的技术架构也在随之演变，早期散点化的语音转写和语音合成工具，正在向端到端的语音Agent靠拢。CosyVoice Studio将阿里的语音模型能力第一次以聚合产品的形态对外开放：企业用户可以在平台上直接体验效果，再按需调用API，个人用户也能通过该产品直接使用。

语音键盘CosyVoice不仅具备通用的语音转文字能力，而且在转写之上叠加了语义理解和文本生成能力。在日常交流场景中，CosyVoice会自动过滤“那个”“嗯”等口语填充词，将零散的想法整理为清晰有逻辑的表达。用户说话时的自我修正，比如“不对不对，我意思是”，不会留下改口痕迹，只保留最终意图。在正式工作场景中，口述一段话即可直接生成邮件、工作汇报、会议纪要的格式与话术。

面向专业场景，CosyVoice支持数字、公式等特殊文本的智能转写，“三点五八亿”“百分之十二点六”可以直接输出为3.58亿、12.6%。金融分析师口述行情速报、科研人员描述实验数据、媒体记者整理采访要点，都可以直接得到可用的结构化内容。

除了一对一的语音输入，CosyVoice还内置了“随记”模式，专门面向会议、访谈、课堂等需要长时间持续记录的场景。开启随记后，系统实时将语音转为逐字稿；根据声纹智能区分不同发言人，谁说了什么一目了然；录音结束后，自动生成结构化章节。开完会，纪要和待办已经躺在那里了。随记同样支持一键多语言翻译，跨国会议和海外客户访谈不再需要事后人工整理。已有的录音文件也可以直接上传转写，单次最长支持6小时的连续录音。

语音智能体CosyAgent是一款AI Agent搭建工具。用户可通过自然语言快速创建具备企业知识、工具调用和实时语音交互能力的智能体，支持prompt与workflow深度配置，面向智能客服、电话营销等场景。

音频内容创作工具CosyCreative内置上千种音色，也支持声音复刻，生成的音色十分接近真人。用户上传文档、网页链接或直接输入一句话，就能快速生成一段对话播客或多角色有声书，覆盖音频内容创作的全链路。

即日起，用户可在iOS、Android、Mac和Windows各大应用商店搜索“CosyVoice”下载体验，不限量免费使用。CosyAgent和CosyCreative目前以白名单邀请制面向企业用户测试，近期将全面开放，详情见CosyVoice Studio官网（cosyvoice.net）。

12月14日，国家市场监管总局对阿里巴巴投资收购银泰商业股权、阅文集团收购新丽传媒股权、丰巢网络收购中邮智递股权等三起未依法申报违法实施经营者集中案作出行政处罚。

量子位 QbitAI 版权所有 北京极客伙伴科技有限公司 京ICP备17005886号-1