Baidu Create 2019丨百度技术开放平台 DuMix AR 全面升级5.0

7月3-4日，我们与数千位开发者相逢在 Baidu Create 2019百度 AI 开发者大会，一起见证 AI 力量催化产业智能化变革。

会上，百度 AR 宣布技术开放平台 DuMix AR 全面升级5.0，带来一体化人机交互与大场景物理世界交互两大 AR 技术系统级革新；并以持续构建的虚实融合基础设施和不断变革的人机交互创新体验，推出六大行业解决方案。

▲百度视觉技术部、增强现实技术部总监吴中勤

两大AR交互系统创新发布 

2017年，百度 AR 在百度 AI 开发者大会上首次发布技术开放平台 DuMix AR ，将 AR 技术赋能广大开发者。两年后，百度 AR 交出新的成绩单 —— 全面升级 DuMix AR 5.0平台，发布两大 AR 交互系统，实现从认识物到理解人，到探知世界的智能感知能力进阶，将 AR 技术应用的边界从眼前的空间扩展至物理世界大场景。

由人脸、人体、手势等相关视觉技术，及完备的环境特效能力共同构成的一体化人机交互系统，实现了人与周遭环境的实时跟踪互动，目前正广泛应用于视频拍摄和游戏互动场景，为人们带来持续创新的交互体验。

为实现人脸特征点和轮廓点的精准定位，百度 AR 从自建人脸数据库的海量数据中提取东方人脸型基底，并以此为基础构建了一套稳定高效的用户脸型三维重建算法，使得在进行人脸驱动表情估计时，能够提取到更精确的表情结果。

此外，基于百度飞桨 Paddle Paddle 高性能深度学习框架，人脸关键点检测在大姿态、极端表情、遮挡等复杂场景下都表现出可靠的鲁棒性和准确性。在这之上，拓展出人脸美型、美妆、 3D 道具及 3D 动画表情等十余项丰富的⼈脸特效能力，为全民小视频、好看视频等应用和华为、魅族等企业级合作伙伴提供了视频特效拍摄方案。

百度 AR 还建立了一系列业内领先的超轻量级（计算量小，体积小）手部交互算法能力矩阵，涵盖手势识别、指尖点检测和手势关键点检测，除了常见的控雨等手势控制操作，还能自定义手部特效、空间作画等多种创意玩法。

在移动端，百度率先实现了肢体骨骼点/轮廓点检测跟踪，支持人体实时定位与动作捕捉；同时以18点/59点两种不同输出方式，跨平台兼容各主流终端设备。包含人像分割、天空分割、头发分割、物体检测等多项算法能力在内的环境特效能力矩阵，致力于打造人像与虚拟环境的自然融合，可以任意选择背景替换、染发、天空特效、动画叠加等 AR 效果。

同时，我们将一体化人机交互系统全面接入百度智能云平台，支持为企业提供更全面、更易用的智能化能力和更完善的视频解决方案。

 VPAS-视觉定位与增强服务首发，复现圆明园大水法盛景 

未来是什么？是无数个过去和现在叠加在一起。当我们站在此时此刻，能否借一双未来的眼去回看历史的景象？

在开发者大会上，百度 AR 首次发布 VPAS （视觉定位与增强服务），通过视觉定位与 AR 技术的突破性结合，将虚拟信息与真实地理位置准确重合，实现大场景物理世界的 AR 交互。当你跟随百度地图导航走进圆明园西洋楼景区， VPAS 将自动“找到”大水法遗址，在这片残垣断壁上重现100多年前雕栏玉砌、“猎狗逐鹿”的恢宏奇景。

VPAS 主要包含离线高精地图构建、在线定位与融合跟踪三大基础模块，相比 GPS 具备更稳定的实时跟踪能力，支持室外大场景及室内场景厘米级高精度定位。

百度 AR 在视觉信息要素积累的基础上实现了一套完整的视觉地图构建方案，即实行众源数据采集模式，对用户通过手机收集反馈的图像数据进行处理分析，结合百度地图的地理位置信息持续更新完善视觉地图。

目前，百度 AR 已打通常见三维重建数据导入接口，并且兼容相同格式下的第三方数据，具备易集成特性和数据批量化生产能力。

VPAS 采用了最具前瞻性的视觉技术方案，以及兼容 Google 、 Apple 平台的持续跟踪能力与独有自研跟踪能力共同构成的融合跟踪方案，能够支持当前市场主流机型的全场景体验需求。同时结合百度视觉语义化能力，持续提升在线定位与实时跟踪的稳定性和精准度。

在 AI+5G 论坛上，通过 VPAS 复现圆明园大水法为大家展现了百度 AI 能力与 5G 结合的一大可落地应用场景，随着 5G 时代到来， AI 与 5G /边缘计算相互赋能不断深化，我们将以大水法为起点，拓展景区、商圈等更多室内外场景，结合 VPAS 为物理世界可视化导航服务带来体验式变革。

 六大行业解决方案，助力产业智能化升级 

在技术能力持续积累的同时，百度 AR 与开发者和生态伙伴一起不断探索 AR 在各个行业的实用场景和解决方案。

本次 AI 开发者大会上，百度 AR 发布全新 DuMix AR 5.0平台，针对娱乐互动、智能营销、智能设备、景区行业、教育行业及汽车行业，发布六大解决方案，覆盖从 AR 内容生产到消费应用全场景。

01. 娱乐互动解决方案

百度 DuMix AR 聚焦精细美化方向，在人脸特效、美化特效、人体及环境特效方面都带来了出色表现，实现了虚拟特效贴纸、动画表情、美化滤镜等与人脸/人体的精准贴合，人像与虚拟环境的自然融合。

在兼容性方面，百度 DuMix AR 人机交互能力进行全机型覆盖，兼容市场上绝大多数高中低端移动设备，支持和满足各类视频、直播、实时通话等应用需求。

此外，百度 AR 还将内容平台服务向视频特效方向延伸，为广大开发者/设计师提供低门槛的 AR 特效内容制作工具，扩大 AR 内容规模和开发效率；平台提供内容的管理与存储服务，开发者也可以通过平台将自己的作品上传至全民小视频等接入百度 AR 能力的应用，形成从内容生产、管理到分发的一站式解决方案，打造 AR 娱乐互动领域的开放闭环。

02. 智能营销解决方案

在智能营销领域，百度将 AR 的趣味性与交互性融入虚实结合的全新场景，定义创意表达的不同形态，更多元化地向用户传递品牌价值，提升营销转化率。

百度 AR 拥有专业的内容生产团队和高效的内容制作体系，提供 AR 内容的个性化定制和一站式模板服务，帮助开发者实现创意内容的快速 AR 化。此外，百度还拥有高效的分发优势，线上依托生态亿级分发矩阵和大数据资源，精准触达目标人群；线下通过 AR “扫一扫”入口延伸至线上场景，形成打通的营销闭环。

03. 智能设备解决方案

2018年，百度将肢体互动能力与智能大屏结合， AR 打太极项目落地全球首个 AI 公园-海淀公园，独特的健身互动方式受到了大家的广泛关注，天津南翠屏公园、福州飞凤山公园等先后引入，每天都有络绎不绝的游客前来体验。

通过将人机交互，智能感知和跟踪等领先技术能力及视觉定位与增强服务（ VPAS ），与智能大屏、 AR 眼镜、 PAD 等更多智能设备结合，AR 技术将突破手机的约束为人们带来解放双手的 AR 交互新体验，在公园、景区、商圈、店铺等挖掘丰富的使用场景。

04. 景区行业解决方案

基于端云一体化的视觉定位与增强服务（ VPAS ），融合百度地图场景化能力，百度 DuMix AR 为景区打造了覆盖行前、行中、行后的全流程交互解决方案。用户可以通过线上 AR 导览进行实景体验，依托 VPAS 探索景区知名地标并将关联信息在现实空间叠加呈现，丰富的人机交互能力为线下提供了多样化的娱乐互动形式，而通过设备摄像头采集分析呈现的用户画像，将为景区管理和优化提供可靠依据。

05. 教育行业解决方案

百度 DuMix AR 以领先 AR 技术为图书/出版物进行数字化改造，将 AR 内容应用于丰富的教学场景。面向教育行业开发者和从业者，提供从 SDK 接入到内容生产制作全流程的平台级解决方案，针对不同年龄段定制化 AR 内容，推动教育领域应用的快速规模化落地。

人才培养方面，百度 DuMix AR 平台与高校和教育培训机构共同编撰专业 AR 教育课程，并携手百度云智学院推出 AR 技术认证资质体系，强化国内 AR 领域人才队伍建设。百度拥有丰富的生态产品矩阵与线上教育平台，百度 DuMix AR 将联动国内优质教育出版资源，携手专业教育垂类合作伙伴，建立更完善的 AR 教育生态。

06. 汽车行业解决方案

百度将 AR 技术应用于汽车行业，可广泛用于线上 AR 展示、产品说明及工业维修等各类产业相关场景，助力汽车产业上下游企业实现智能化转型。同时，百度 DuMix AR 还将针对不同需求端场景，定制化提供从 SDK 到分发的整套嵌入式应用方案。

以上六大解决方案涵盖了当前 AR 技术应用的核心场景和领域。本次大会的 DuMix AR 解决方案应用与实战公开课，百度 AR 资深研发工程师、百度 AI 交互设计院资深用户研究工程师及百度 AR 生态合作伙伴，为开发者解读两大交互系统背后的核心算法与技术，比较分享 AR 内容制作的交互设计逻辑。

百度 AR 始终以开放心态将全栈 AR 核心技术、平台产品与开发者共享，探索共建更多行业解决方案。依托视觉技术优势所构建的虚实场景融合的基础设施，不断弥合虚拟世界与物理世界的间隙，携 AR 能力拥抱 5G 时代与产业智能化时代的来临。