英伟达发布Jarvis:可汇聚语音视频等传感器信息的多模AI SDK

摘要:

在近日召开的 5G 移动世界大会上,英伟达(Nvidia)联合创始人兼首席执行官(CEO)黄仁勋宣布了 Nvidia Jarvis 。作为一种多模式人工智能(AI)开源软件的开发套件(SDK),它能够将语音、视觉和其它传感器,整合到一个 AI 系统中。换言之,借助 Nvidia Jarvis,开发者能够构建和部署融合视觉、语音和其它传感器的 AI 应用程序。

访问购买页面:

京东NVIDIA系列商品汇总

image.png

(来自:Nvidia,via Neowin

据悉,Nvidia Jarvis 提供完整的工作流,来构建、训练和部署基于 GPU 加速的 AI 系统。这套系统用于手势、凝视等视觉提示,以及情境语音。

如前所述,Jarvis 是该公司试图同时处理来自不同传感器的多个输入的尝试。这种方法的背后,旨在帮助构建上下文,在基于对话的 AI 应用程序中,准确地预测和生成响应。

为此,英伟达在其博客文章中举例说明了可能会有所帮助的一些案例。比如将语音输入和唇语识别相融合,凝视讲述人是否正在与现场的 AI 代理、或其他人员进行交流。

此外,Nvidia Jarvis 包含了可根据用户需求而进行调整的模块。对于视觉类应用,Jarvis 具有用于人员检测和跟踪、手势、唇部活动、注视、以及身体姿势检测的模块。

1571727860_jarvis-banner-tw-li-2048x1024-768x384_story.jpg

对于语音类应用,Jarvis 可以分析情感、对话建模、以及意图和实体分类。为将这些功能集成到系统中,Nvidia 已采用融合算法来同步这些模型的工作。

Nvidia 声称,基于 Jarvis 的应用程序,在与 Nvidia 神经模块(NeMo)结合时效果最佳。NeMo 是一个与框架无关的工具包,用于创建围绕神经模块构建的 A I应用程序。

基于云的应用程序,亦可使用 EGX 平台,部署和使用基于 Jarvis 开发的服务。Jarvis 在 Nvidia EGX 堆栈上运行,该公司自诩为全球首个边缘计算超算平台,且与 Kubernetes 基础架构兼容。

最后,Jarvis 现已开放早期访问,感兴趣的朋友可注册并登录 Nvidia 账户,以申请早期访问。

活动入口:

天翼云 - 0元体验数十款云产品

阿里云大使推广活动(推荐产品可获高达31%返利)

查看评论
created by ceallan