NVIDIAMaxine是一个云AI视频流平台，将使用GAN来提高带宽性能。 Ming-YuLiu和ArunMallya正在视频通话中，其中一张图片开始冻结，直到图片冻结为止。这是一种常见且令人反感的情况。但是与大多数人不同，Liu和Mallya可以做出一些改变。他们是NVIDIA AI研究人员，专门研究计算机视觉。在与Ting-ChunWang一起工作时，他们意识到神经网络可以用来代替称为视频编解码器的软件，该软件通常在网络传输期间用于视频压缩和解压缩。到目前为止，他们的工作成果已将视频通话期间用户所需的网络带宽压缩到原始带宽的十分之一，并且有望将带宽消耗减少几个数量级。 Mallya说：“我们希望通过AI提供更好的视频通信体验。即使在带宽极低的情况下，也可以将其从语音升级为视频通话。即使用户的脸被遮挡（例如，戴着帽子，眼镜，耳机或口罩），GAN仍可以使连接质量更好，该技术也适用。为了增加乐趣，他们在演示文稿中使用了一些装饰，以便用户可以更改其发型或衣服或在线创建头像。更重要的是，如上图所示，借助神经网络定位，您不再需要盯着显示屏上方的摄像头看对方，从而增强了面对面交谈的感觉。王说：“借助计算机视觉技术，我们可以从多个角度定位头部。我们认为这将帮助人们进行更自然的对话。”满足最先进的AI技术，使虚拟生活更加真实。支持AI的视频通话的原理AI支持的视频通话的工作机制非常简单。与使用压缩视频流的当前系统类似，在发送参考图像后，仅发送用户眼睛，鼻子和嘴巴周围的几个关键点的位置数据，而不是发送大量压缩后的视频。像素图像。接收端的生成对抗网络通过初始图像和面部关键点在本地GPU上重建后续图像。因此，通过网络传输的数据比以前少得多。 Liu在GAN领域的工作GauGAN引起了人们的注意。 GauGAN是一种AI工具，可以将涂鸦转化为现实的艺术品，并已创建了超过一百万张图像。 AIPlayground中提供了此工具。刘说：“流行期间频繁的视频会议启发了我们，因此我们开始探索突破带宽瓶颈的方法，以便供应商可以同时为更多人提供服务。”突破带宽瓶颈方法的GPU符合当前行业趋势。网络瓶颈已转化为计算任务，因此可以使用本地或云资源更轻松地解决此类问题。 NVIDIA Media Group高级产品总监Andrew Page说：“如今，许多公司希望将带宽问题转变为计算问题。这是因为带宽通常难以增加，并且相对容易地增加计算能力。 NVIDIAMaxine配备了一组视频会议和流媒体。媒体服务工具AI工具优化视频服务GAN视频压缩是NVIDIA Maxine推出的多项功能之一，NVIDIA Maxine是一种云AI视频流平台，用于提高视频会议和电话的质量。它在工具包中集成了音频，视频和对话式AI功能，并支持多种设备。在上周的GTC会议上，NVIDIA宣布推出Maxine平台。基于此平台，服务提供商可以提供实时翻译，噪声消除和上下文感知的隐藏式字幕，同时提供超高分辨率的视频。用户可以在头像中享受诸如面部校正，虚拟助手和逼真的动画角色等功能。佩奇说：“视频会议正在复兴。在流行病期间，它的缺点给每个人带来了不愉快的经历，但是回到视觉动物的属性之后，视频最终将成为未来人们生活的一部分。” Maxine基于具有TensorCore核心的NVIDIAGPU，可以运行NVIDIAJarvis之类的软件。 NVIDIAJarvis是用于对话式AI的SDK，提供了一组语音和文本功能。它们共同提供了当今有用的AI功能，并成为未来视频产品和服务的基石。 q