OpenAI推出实时语音模型:可同声传译,趋近真人交流
以下是星海娱苑整理的详细内容。
当地时间7月8日,OpenAI推出可同步听说的实时语音模型GPT-Live,让人类与AI的对话更趋近真人交流。新推出的GPT-Live模型涵盖GPT-Live-1和GPT-Live-1 mini两个版本。新的语音模型可以不再等用户说完每个句子或等到清晰的停顿才有回应,而是可以同时听和说。OpenAI称,它还会在用户说话过程中适时发出“嗯”“对”“明白了”等简短回应。
在演示中,用户让ChatGPT核实即将到来的会议日期,同时查询路线上的天气和交通状况。ChatGPT会一边用“嗯”、“明白”等短句回应,一边接着解决请求,即使用户中途追加更多需求,它也没有丢失对话脉络。对于需求网页搜索、更深入推理或更错综工作的提问,它会在幕后委派给OpenAI的其他模型,并在成果准备好后带回对话中。在解决这些任务时,GPT‑Live仍可以接着与用户交谈,保持对话流畅。
OpenAI展示模型的实时翻译功能。(00:15) OpenAI还展示了模型的实时翻译功能,让AI语音助手不再像接力式聊天机器人那样对话。以往的AI助手必须等用户讲完才能着手翻译,现在新模型可以做到“同声传译”,在对话加快中实时翻译,更自然地跟上节奏。OpenAI总裁格雷格·布罗克曼(Greg Brockman)形容这次更新是“与计算机交互的一种更自然的方式”。
据OpenAI介绍,最初的ChatGPT语音将三个模型串联在一起,语音转文本模型用于转写用户语音,大语言模型用于生成回应,文本转语音模型用于将回应再转换成语音。这种级联式语音系统让人类能够首次与AI模型对话,但其错综性也带来了代价,即信息可能在模型之间流失,回应也缓慢而生硬。另外,以往的轮次式语音模型在单个模型内解决并生成音频,但模型也必须等用户停止说话后才能回应,导致来回交流显得僵硬。
短暂的停顿或背景噪声也可能被误觉得一轮结束,因此模型会在不自然的时机插话。GPT‑Live凭借两项架构变化破解了这些限制。OpenAI表示,他们基于全双工架构构建了GPT‑Live,以支持连续交互。GPT‑Live不再解决一连串彼此独立的消息,而是在生成输出的同时连续解决输入。因此,模型可以在每秒内多次做出交互决策,决定说话、接着倾听、暂停、打断或调用工具,这让模型能够更自然地来回交流甚至执行实时翻译。
与此同时,当用户的问题需求搜索、推理或更具智能体特性的能力时,GPT‑Live可以将任务委派给 GPT‑5.5等模型。这让GPT‑Live能够在后台解决多个任务时,也能保持对话接着进行。这一架构变化让GPT‑Live能够连续使用最新的模型和智能体,将前沿智能与自然交互相结合。今年5月,由OpenAI前首席科技官米拉·穆拉蒂(Mira Murati)领导的AI实验室Thinking Machines也展示了类似科技。
该公司表示,其交互模型设计为可跨音频、视频和文本连续输入与输出,而非依赖传统聊天机器人的停顿式节奏。更新后的模型能够“原生解决交互”,让人机交互更加顺畅,“而不是强迫人类去迁就AI界面的使用方式”。
更多精彩内容,敬请关注星海娱苑。