GPT-4o 重磅发布 RTC 成为大模型关键能力

  【天极网IT新闻频道】北京时间5月14日凌晨,OpenAI 发布了新一代旗舰生成模型 GPT-4o,这是一款真正的多模态大模型,可以「实时对音频、视觉和文本进行推理」。核心亮点包含:支持与 AI 实时语音对话,且响应时间达到毫秒级;交互中可识别人类情绪并以相应的情感做出回应;多语言能力的提升。

  包括 OpenAI CEO 山姆·奥特曼在内的很多人都联想到了科幻电影《Her》里那个幽默风趣、善解人意、似有心灵感应一般的 AI,GPT-4o 在语音视频上的交互能力,让科幻正在加速走向现实。

  大模型的实时音视频交互成趋势 RTC成关键能力

  相比于 GPT3.5、GPT4,GPT-4o *核心的区别在于文本、视觉和音频由同一个神经网络处理,不仅降低了延时,还捕捉到了更多的信息。此前基于 GPT3.5或 GPT4的 AI语音助手是通过 STT 将语音转成文字再输入给大模型,大模型生成文本响应后再通过 TTS 输出语音给到用户,平均延时达到2.8秒(GPT-3.5)和5.4秒(GPT-4)。而GPT-4o 直接将语音实时输入给大模型,并大幅提升响应时间,*终实现了与真人聊天一样自然流畅,AI的处理反应已经达到人类的高度和速度,而实现这一跨越式技术进步的关键,一是大模型的进化,二是RTC能力的应用。

  GPT-4o 的发布引起了业界的广泛关注与强烈讨论,也透露出一个重要的信号: 支持端到端实时多模态将成为当下大模型发展的新趋势,实时文本、音视频传输能力,将成为实时大模型的标配。在 GPT-4o 的推动引领下,未来其他大模型厂商或将快速跟进,提供端到端实时多模态能力。

  未来大模型的AI交互将更具真实感

  GPT-4o 还有一大核心亮点就是支持实时视频输入,通过前置摄像头设别你周围的环境,观察用户的面部表情,分析其情绪,再根据场景生成多种音调 Tones,带有人类般的情绪和情感,如兴奋、冰冷、含羞等,通过实时视频输入还能让它在线解答各种问题,支持数学运算、游戏输赢判断等。

  通过实时语音、视频输入信息的理解和高度拟人化的语音输出,GPT-4o 所呈现的 AI 交互 更具真实感与沉浸感,这也是所有大模型一直在发力的方向,未来借助低延时、高音质的 RTC 技术,有望打造更极致的人与 AI 交互体验。

  图:相比 Whisper-v3,GPT-4o 在语音识别性能方面有了大幅提升

  图:GPT-4o 的视觉理解评估能力也遥遥*

  在大模型的应用场景方面,除了已经在应用的AI口语老师、AI电话客服、AI社交陪聊场景,未来实时互动+AI+智能硬件也有望诞生新的场景。想象一下,一款加载了GPT4o 的智能眼镜或耳机可以变成你工作中的助手,解答各类难题,也可以是生活中的“倾听者”陪你聊天,也可以是旅游中的虚拟导游,为你提供视觉攻略,这很可能是下一个时尚与科技兼具的爆款硬件。

  在GPT-4o 发布后,很多网友也提到了 GPT-4o 的社会公益价值,例如大模型通过智能眼镜的摄像头开启视觉能力后,可以给盲人带来精准的路线导航,盲人通过与搭配大模型的智能眼镜对话问路,智能眼镜在识别人周围的环境后,做出*精准的路线指引。

  声网 AIGC 一站式音视频解决方案

  针对大模型的交互能力,声网目前已可以提供 基于大模型的全链路实时音视频方案,可以帮助大模型厂商构建实时音视频互动的能力,用户可通过麦克风与 AI 进行语音、视频形式的实时互动,并且对话中做到行业内遥遥*的低延时对话体验。

  声网的 AIGC 一站式音视频解决方案也可以实现像 GPT-4o 的音频对话能力。声网提供封装完整的 SDK,并支持模块化能力的灵活拼装,包含 RTC 实时音视频、实时消息等多种能力,并支持 API 快速调用,提供开箱即用的场景化 Demo,*快 3h 即可实现方案快速验证。尤其对于想快速验证新场景的企业与开发者而言,可以节省很多开发时间。

  如您想进一步了解声网的 AIGC一站式音视频解决方案,可以在声网公众号找到这篇文章,扫描文章底部的二维码进一步咨询。