噪音消除：NVIDIA Broadcast 强效助力直播和远程工作

【天极网IT新闻频道】编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 NVIDIA RTX PC 和工作站用户展示全新硬件、软件、工具和加速特性。

AI 为计算领域带来了深远的改变。虽然*近的焦点是生成式 AI,但多年来,由 NVIDIA RTX 提供支持的 AI 加速工具也在改善游戏、内容创作和工作效率方面起到了关键作用。

NVIDIA Broadcast 应用程序就是一个例子,它可使用本地 RTX GPU 上的 Tensor Core 不间断地提升音频和视频质量。通过将这款应用与 GeForce RTX 和 NVIDIA RTX GPU 内置的 NVIDIA 编码器 (NVENC) 搭配使用,您可轻松上手直播,或在视频会议通话中尽展专业风范。

助力实现“直播梦”

一直以来,要实现高质量的直播,就离不开昂贵硬件的支持。许多主播常用 x264 软件库的软件 CPU 编码,而这通常会影响游戏质量。这便导致许多主播使用双 PC 设置:一台 PC 专注于游戏和内容,另一台负责串流编码。这种设置组装起来很复杂,还很难进行故障排除,而且其价格对于新人主播来说通常过于高昂。

NVENC 可应对上述问题。它是 NVIDIA GPU 上的专用硬件编码器,负责处理音视频编码,以便释放系统的其余部分来专注于游戏和内容的性能。Open Broadcaster Software (OBS) 等行业*的直播应用正在添加对 NVENC 的支持,为 Twitch 和 YouTube 等热门平台上的新一代主播铺平道路。

同时,NVIDIA Maxine 还可帮助解决设备昂贵的问题。它包含免费的 AI 赋能功能,例如虚拟绿幕和基于网络摄像头的增强现实追踪。有了这些功能,用户便无需使用物理绿幕或动作捕捉套件等特殊设备。主播们在 2019 年的 TwitchCon 大会上首次体验到了上述绿幕技术,他们使用 GeForce RTX 2080 GPU 上的 AI 加速绿幕,在展厅中现场测试了该绿幕在 OBS 上的效果。

Maxine 的 AI 赋能效果*初在 RTX Voice 测试版中向 RTX 用户开放,随后又在名为 NVIDIA Broadcast 的独立应用中提供。

探索 NVIDIA Broadcast

NVIDIA Broadcast 提供各类 AI 赋能功能,可提升各种用例中的音频和视频质量。它易于使用,适用于任何其他应用,而且设置起来非常简单。

这款应用包含:

● 噪音和回声移除:只需点击一个按钮,即可让 AI 消除麦克风和输入音频中多余的背景噪声。

● 虚拟背景:通过背景去除、替换和模糊处理等功能,用户无需使用价格不菲的设备或复杂的照明布置即可自定义背景。

● 目光接触:AI 可让主播看起来像是在直视摄像头,即使他们正在看向别处或记笔记。

● 自动聚焦:实时动态追踪对象的移动,无论移动对象位于何处,均可自动裁剪和缩放画面,以跟拍对象。

● 虚光效果:AI 可对摄像头图像的角落应用暗化效果,以提供鲜明的视觉对比,从而将观众的注意力吸引到视频中央,同时增添风格特色。

● 视频降噪:消除弱光环境下的视频噪点,使画面更清晰。

NVIDIA Broadcast 技术的工作原理是在 Windows 中创建虚拟摄像头、麦克风或扬声器,这样用户只需设置一次设备即可在任何直播、视频会议或语音聊天应用(包括 Discord、Google Meet、Microsoft Teams、OBS Studio、Slack、Webex 和 Zoom)中使用这些设备。

NVIDIA GeForce RTX、TITAN RTX、NVIDIA RTX 或 Quadro RTX GPU 用户可使用其 GPU 专用的 Tensor Core 协助 NVIDIA Broadcast 的 AI 网络实时运行。

NVIDIA Broadcast 技术中的所有 AI 赋能技术也能以软件开发套件的形式提供给应用开发者。视听技术公司 Elgato 在其 Wave Link 软件中添加了 Maxine 的 AI 音频噪声移除技术,而 VTube Studio (一款热门应用,用于将 3D 模型连接到网络摄像头,以便使用动画角色进行直播) 则提供了可以免费下载的经 RTX 加速的模型追踪器插件。独立开发者 Xaymar 在其 VoiceFX 插件中使用了 NVIDIA Maxine。

在使用 Adobe Premiere Pro 等视频编辑套件或 Ableton Live 及 Adobe Audition 等数字音频工作站进行后期处理时,内容创作者可以使用 VoiceFX 插件或 Elgato 的虚拟工作室技术 (VST) 过滤器消除录制内容中的噪声和回声。

耳听 (未必) 为实

自 NVIDIA Broadcast 发布以来,已有数百万人使用了这款应用。

Twitch 知名主播 Mr_Vudoo 表示:“我*常使用的是视频降噪和背景替换功能。目光接触功能非常有趣,老实说,这项功能的效果让我感到惊喜。”

YouTube 频道 PiXimperfect 的主持人 Unmesh Dinda 在极端情境下演示了 NVIDIA Broadcast 的噪声消除和回声移除 AI 功能。他将一台呼呼作响的电风扇正对麦克风,还戴上头盔并让人持续敲击头盔。即便背景中充斥着很大的噪声,在打开 NVIDIA Broadcast 应用的噪音消除功能后,Dinda 的声音依然清晰可闻。这段视频的观看次数已超过 1200 万次。

对于日益增多的远程工作人员来说,NVIDIA Broadcast 应用也是一款实用的工具。Tom’s Hardware 网站的总编 Avram Piltch 在一篇文章中详细介绍了他对这款应用的降噪功能的测试,测试对象包括呼呼作响的空调、修剪草坪的邻居,乃至一个发脾气挥舞着机器人的孩子。NVIDIA Broadcast 的 AI 音频效果每次都能大显神通:

Piltch 表示:“我让我八岁的孩子在我身后假装发脾气,当我启用噪声移除功能后,每一声‘我不去睡觉’的抱怨都消失了(至少在录制内容中是这样)。为了增加挑战性,我们让他一边发脾气,一边拿着一辆嗡嗡作响的机器人汽车走来走去。这一次,NVIDIA Broadcast 依然移除了所有多余的声音。”

NVIDIA Broadcast 的 AI 赋能背景去除功能也可以在日常情境中发挥作用,例如与医疗专业人员进行视频通话。