单目双目多目视觉SLAM深度解读

近年来,SLAM技术取得了惊人的发展,领先一步的激光SLAM已成熟的应用于各大场景中,视觉SLAM虽在落地应用上不及激光SLAM,但也是目前研究的一大热点,今天我们就来详细聊聊视觉SLAM的那些事儿。

视觉SLAM是什么?

视觉SLAM主要是基于相机来完成环境的感知工作,相对而言,相机成本较低,容易放到商品硬件上,且图像信息丰富,因此视觉SLAM也备受关注。

目前,视觉SLAM可分为单目、双目(多目)、RGBD这三类,另还有鱼眼、全景等特殊相机,但目前在研究和产品中还属于少数,此外,结合惯性测量器件(Inertial Measurement Unit,IMU)的视觉SLAM也是现在研究热点之一。从实现难度上来说,大致将这三类方法排序为:单目视觉>双目视觉>RGBD。

单目相机SLAM简称MonoSLAM,仅用一支摄像头就能完成SLAM。最大的优点是传感器简单且成本低廉,但同时也有个大问题,就是不能确切的得到深度。

一方面是由于绝对深度未知,单目SLAM不能得到机器人运动轨迹及地图的真实大小,如果把轨迹和房间同时放大两倍,单目看到的像是一样的,因此,单目SLAM只能估计一个相对深度。另一方面,单目相机无法依靠一张图像获得图像中物体离自己的相对距离。为了估计这个相对深度,单目SLAM要靠运动中的三角测量,来求解相机运动并估计像素的空间位置。即是说,它的轨迹和地图,只有在相机运动之后才能收敛,如果相机不进行运动时,就无法得知像素的位置。同时,相机运动还不能是纯粹的旋转,这就给单目SLAM的应用带来了一些麻烦。

而双目相机与单目不同的是,立体视觉既可以在运动时估计深度,亦可在静止时估计,消除了单目视觉的许多麻烦。不过,双目或多目相机配置与标定均较为复杂,其深度量程也随双目的基线与分辨率限制。通过双目图像计算像素距离,是一件非常消耗计算量的事情,现在多用FPGA来完成。

RGBD相机是2010年左右开始兴起的一种相机,它最大的特点是可以通过红外结构光或TOF原理,直接测出图像中各像素离相机的距离。因此,它比传统相机能够提供更丰富的信息,也不必像单目或双目那样费时费力地计算深度。

 

视觉SLAM框架解读

1.传感器数据

在视觉SLAM中主要为相机图像信息的读取和预处理。如果在机器人中,还可能有码盘,惯性传感器等信息的读取和同步。

2.视觉里程计

视觉里程计的主要任务是估算相邻图像间相机运动以及局部地图的样子,最简单的是两张图像之间的运动关系。计算机是如何通过图像确定相机的运动的。在图像上,我们只能看到一个个的像素,知道他们是某些空间点在相机的成像平面投影的结果。所以必须先了解相机跟空间点的几何关系。

Vo(又称为前端)能够通过相邻帧间的图像估计相机运动,并恢复场景的空间结构,称它为里程计。被称为里程计是因为它只计算相邻时刻的运动,而和再往前的过去信息没有关联。相邻时刻运动串联起来,就构成了机器人的运动轨迹,从而解决了定位问题。另一方面,根据每一时刻的相机位置,计算出各像素对应的空间点的位置,就得到了地图。

3.后端优化

后端优化主要是处理slam过程中噪声的问题。任何传感器都有噪声,所以除了要处理“如何从图像中估计出相机运动”,还要关心这个估计带有多大的噪声。

前端给后端提供待优化的数据,以及这些数据的初始值,而后端负责整体的优化过程,它往往面对的只有数据,不必关系这些数据来自哪里。在视觉slam中,前端和计算接视觉研究领域更为相关,比如图像的特征提取与匹配等,后端则主要是滤波和非线性优化算法。

4.回环检测

回环检测也可以称为闭环检测,是指机器人识别曾到达场景的能力。如果检测成功,可以显著地减小累积误差。回环检测实质上是一种检测观测数据相似性的算法。对于视觉SLAM,多数系统采用目前较为成熟的词袋模型(Bag-of-Words, BoW)。词袋模型把图像中的视觉特征(SIFT, SURF等)聚类,然后建立词典,进而寻找每个图中含有哪些“单词”(word)。也有研究者使用传统模式识别的方法,把回环检测建构成一个分类问题,训练分类器进行分类。

5.建图

建图主要是根据估计的轨迹建立与任务要求对应的地图,在机器人学中,地图的表示主要有栅格地图、直接表征法、拓扑地图以及特征点地图这4种。而特征点地图是用有关的几何特征(如点、直线、面)表示环境,常见于视觉SLAM技术中。这种地图一般通过如GPS、UWB以及摄像头配合稀疏方式的vSLAM算法产生,优点是相对数据存储量和运算量比较小,多见于最早的SLAM算法中。

 

视觉SLAM工作原理

大多数视觉SLAM系统的工作方式是通过连续的相机帧,跟踪设置关键点,以三角算法定位其3D位置,同时使用此信息来逼近推测相机自己的姿态。简单来说,这些系统的目标是绘制与自身位置相关的环境地图。这个地图可以用于机器人系统在该环境中导航作用。与其他形式的SLAM技术不同,只需一个3D视觉摄像头,就可以做到这一点。

通过跟踪摄像头视频帧中足够数量的关键点,可以快速了解传感器的方向和周围物理环境的结构。所有视觉SLAM系统都在不断的工作,以使重新投影误差(Reprojection Error)或投影点与实际点之间的差异最小化,通常是通过一种称为Bundle Adjustment(BA)的算法解决方案。vSLAM系统需要实时操作,这涉及到大量的运算,因此位置数据和映射数据经常分别进行Bundle Adjustment,但同时进行,便于在最终合并之前加快处理速度。

 

视觉SLAM与激光SLAM有什么区别?

在业内,视觉SLAM与激光SLAM谁更胜一筹,谁将成为未来主流趋势这一问题,成为大家关注的热点,不同的人也有不同的看法及见解,以下将从成本、应用场景、地图精度、易用性几个方面来进行详细阐述。

1.成本

从成本上来说,激光雷达普遍价格较高,但目前国内也有低成本的激光雷达解决方案,而VSLAM主要是通过摄像头来采集数据信息,跟激光雷达一对比,摄像头的成本显然要低很多。但激光雷达能更高精度的测出障碍点的角度和距离,方便定位导航。

2.应用场景

从应用场景来说,VSLAM的应用场景要丰富很多。VSLAM在室内外环境下均能开展工作,但是对光的依赖程度高,在暗处或者一些无纹理区域是无法进行工作的。而激光SLAM目前主要被应用在室内,用来进行地图构建和导航工作。

3.地图精度

激光SLAM在构建地图的时候,精度较高,思岚科技的RPLIDAR系列构建的地图精度可达到2cm左右;VSLAM,比如常见的,大家也用的非常多的深度摄像机Kinect,(测距范围在3-12m之间),地图构建精度约3cm;所以激光SLAM构建的地图精度一般来说比VSLAM高,且能直接用于定位导航。

 
视觉SLAM的地图建立

4.易用性

激光SLAM和基于深度相机的视觉SLAM均是通过直接获取环境中的点云数据,根据生成的点云数据,测算哪里有障碍物以及障碍物的距离。但是基于单目、双目、鱼眼摄像机的视觉SLAM方案,则不能直接获得环境中的点云,而是形成灰色或彩色图像,需要通过不断移动自身的位置,通过提取、匹配特征点,利用三角测距的方法测算出障碍物的距离。

总体来说,激光SLAM相对更为成熟,也是目前最为可靠的定位导航方案,而视觉SLAM仍是今后研究的一个主流方向,但未来,两者融合是必然趋势。

本文来源于:http://www.slamtec.com/en/News/Detail/237

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

新闻聚焦
猜你喜欢
热门推荐
  • 亚洲目前是世界上最大的工业机器人

    亚洲目前是世界上最大的工业机器人

    据国际机器人联合会(IFR)最新发布的《全球机器人2019——工业机器人》报告数据,2018年全球工业机器人出货量42.2万台,比上年增长6%;年销售额达到165亿美元,创下新...

    2019-12-07 来源:未知 浏览:89 次

    分享
  • 12345人工智能机器人人工智能机器人

    12345人工智能机器人人工智能机器人

    人工智能机器人人工智能机器人...

    2019-11-26 来源:未知 浏览:161 次

    分享
  • 智能巡检机器人,下一片“掘金热土

    智能巡检机器人,下一片“掘金热土

    伴随社会经济发展和人民生活水平的提高,社会用电量不断提升,对电网运行稳定性提出了更高的挑战,变电、输电、配电等电力系统各环节的巡检工作量急剧上升,传统...

    2019-11-25 来源:未知 浏览:126 次

    分享
  • 技术与场景双驱动,2020年三大AI应用

    技术与场景双驱动,2020年三大AI应用

    AI技术首先在智能安防、智能零售和智能家居三大领域落地,与这些场景的现状和市场需求有密切的关系。...

    2019-11-25 来源:未知 浏览:99 次

    分享
  • YOLO算法的原理与实现

    YOLO算法的原理与实现

    当我们谈起计算机视觉时,首先想到的就是图像分类,没错,图像分类是计算机视觉最基本的任务之一,但是在图像分类的基础上,还有更复杂和有意思的任务,如目标检...

    2019-11-25 来源:未知 浏览:81 次

    分享
  • 一文看懂YOLO v2目标检测算法

    一文看懂YOLO v2目标检测算法

    新的YOLO版本论文全名叫“YOLO9000: Better, Faster, Stronger”,相较于YOLO主要有两个大方面的改进: 第一,作者使用了一系列的方法对原来的YOLO多目标检测框架进行了改进,在...

    2019-11-25 来源:未知 浏览:134 次

    分享
  • 一文看懂YOLO v1目标检测算法

    一文看懂YOLO v1目标检测算法

    从R-CNN到Faster R-CNN一直采用的思路是proposal+分类 (proposal 提供位置信息, 分类提供类别信息)精度已经很高,但由于two-stage(proposal耗费时间过多)处理速度不行达不到...

    2019-11-25 来源:未知 浏览:118 次

    分享
  • 一文看懂YOLO v3 目标检测算法

    一文看懂YOLO v3 目标检测算法

    YOLO系列的目标检测算法可以说是目标检测史上的宏篇巨作,接下来我们来详细介绍一下YOLO v3算法内容,v3的算法是在v1和v2的基础上形成的...

    2019-11-25 来源:未知 浏览:0 次

    分享
  • 超强干货,机器视觉基础应用知识详

    超强干货,机器视觉基础应用知识详

    随着工业4.0时代的到来,机器视觉在智能制造业领域的作用越来越重要,为了能让更多用户获取机器视觉的相关基础知识,包括机器视觉技术是如何工作的、它为什么是实...

    2019-11-20 来源:未知 浏览:114 次

    分享
  • 中国的性爱机器人已领先世界了:白

    中国的性爱机器人已领先世界了:白

    话说,我们之前曾经介绍过人工智能的发展现在正如何推动着色情业的改革.. 现如今由充气娃娃霸占的市场,恐怕在不远的将来将会被高度模仿真人的性爱机器人替代了...

    2019-11-20 来源:未知 浏览:127 次

    分享
  • MIT的双足科学机器人模组?这个机器

    MIT的双足科学机器人模组?这个机器

    麻省理工大学认为,机器人研究应该更注重实用化,机器人技术能得到快速发展在于其能用来解放和拯救生命。...

    2019-11-20 来源:未知 浏览:195 次

    分享
  • 解析人形机器人难点,拥有多重身份

    解析人形机器人难点,拥有多重身份

    近10年以来,中国在各方面都步伐飞快,尤其在AI、通信等行业更是取得了令世界为之瞩目的傲人成绩。从90年代日本开始不断更新ASIMO的研发成果,到近几年美国波士顿动...

    2019-11-20 来源:未知 浏览:91 次

    分享
  • 京东发布配送机器人4.0,2020年将在开

    京东发布配送机器人4.0,2020年将在开

    11月19日,在2019京东全球科技探索者大会上,京东集团副总裁、X事业部总裁肖军正式对外介绍京东物流X事业部最新研发的两款智能设备——配送机器人4.0和室内移动通用...

    2019-11-20 来源:未知 浏览:121 次

    分享
  • EeIE2019全球机器人产业峰会·世界机器

    EeIE2019全球机器人产业峰会·世界机器

    EeIE2019智博会展期11月4日下午,2019全球机器人产业峰会·世界机器人高峰论坛在深圳国际会展中心举行。作为2019智博会主题活动的重头戏之一,邀请了英国国家工程院院士...

    2019-11-20 来源:未知 浏览:198 次

    分享
  • 15部门印发制造业和服务业重要文件,

    15部门印发制造业和服务业重要文件,

    发改委新闻发言人孟玮15日表示,近日,国家发展改革委等15部门联合印发了《关于推动先进制造业和现代服务业深度融合发展的实施意见》,今天通过发改委门户网站正...

    2019-11-20 来源:未知 浏览:179 次

    分享
  • 2019年机器人行业十月融资大盘点

    2019年机器人行业十月融资大盘点

    随着自动化需求的持续释放,机器人产业发展正在步入加速阶段,我国机器人市场已成为全球火热的竞争风口之一。在通往自动智能生产的道路上,传统机器人企业、科技...

    2019-11-20 来源:未知 浏览:69 次

    分享
  • 2019年国外机器人巨头加快在华布局

    2019年国外机器人巨头加快在华布局

    2019年,由于全球经济局势持续不稳定,机器人市场的发展受到了一定的制约和影响。对不少企业来说,可谓是进入了一场“寒冬”。但另一方面,依然有不少优秀头部企...

    2019-11-20 来源:未知 浏览:118 次

    分享
  • 148智能机器人网-最前沿的人工智能机

    148智能机器人网-最前沿的人工智能机

    ...

    2019-11-19 来源:未知 浏览:62 次

    分享
  • AI人工智能机器人8

    AI人工智能机器人8

    ...

    2019-11-19 来源:未知 浏览:170 次

    分享
  • 152智能机器人网-最前沿的人工智能机

    152智能机器人网-最前沿的人工智能机

    ...

    2019-11-19 来源:未知 浏览:151 次

    分享
  • 151智能机器人网-最前沿的人工智能机

    151智能机器人网-最前沿的人工智能机

    ...

    2019-11-19 来源:未知 浏览:95 次

    分享
  • 144智能机器人网-最前沿的人工智能机

    144智能机器人网-最前沿的人工智能机

    ...

    2019-11-19 来源:未知 浏览:192 次

    分享
  • 147智能机器人网-最前沿的人工智能机

    147智能机器人网-最前沿的人工智能机

    ...

    2019-11-19 来源:未知 浏览:189 次

    分享
  • AI人工智能机器人4

    AI人工智能机器人4

    ...

    2019-11-19 来源:未知 浏览:93 次

    分享
  • AI人工智能机器人6

    AI人工智能机器人6

    ...

    2019-11-19 来源:未知 浏览:143 次

    分享
  • AI人工智能机器人3

    AI人工智能机器人3

    ...

    2019-11-19 来源:未知 浏览:126 次

    分享
  • AI人工智能机器人1

    AI人工智能机器人1

    ...

    2019-11-19 来源:未知 浏览:160 次

    分享
  • AI人工智能机器人2

    AI人工智能机器人2

    ...

    2019-11-19 来源:未知 浏览:94 次

    分享
  • 143智能机器人网-最前沿的人工智能机

    143智能机器人网-最前沿的人工智能机

    ...

    2019-11-19 来源:未知 浏览:73 次

    分享
  • 142智能机器人网-最前沿的人工智能机

    142智能机器人网-最前沿的人工智能机

    ...

    2019-11-19 来源:未知 浏览:136 次

    分享
  • 智能机器人网-最前沿的人工智能机器

    智能机器人网-最前沿的人工智能机器

    ...

    2019-11-19 来源:未知 浏览:105 次

    分享
  • AI人工智能机器人7

    AI人工智能机器人7

    ...

    2019-11-18 来源:未知 浏览:175 次

    分享
  • AI人工智能机器人5

    AI人工智能机器人5

    ...

    2019-11-18 来源:未知 浏览:91 次

    分享
  • AI人工智能23

    AI人工智能23

    美国海军海上巡逻机群是一支十分强大的海上作战力量。尽管历史上几经缩编,直到十多年前,它还拥有37个巡逻机中队(包括17个后备中队)。 但随着苏联解体冷战结束,...

    2019-11-18 来源:未知 浏览:70 次

    分享
  • AI人工智能22

    AI人工智能22

    研制背景 20世纪60年代末,由于苏联军事空运主力机型安-12已经显得载重小和航程不足,苏联为了提高其军事空运能力,决定研制一种近似于类似于美国C-141重型运输机的...

    2019-11-18 来源:未知 浏览:141 次

    分享
  • AI人工智能21

    AI人工智能21

    P3C型,装有4台T56-A-14涡桨发动机,单台功率为4000千瓦(5438马力),采用45H60型四叶恒速螺旋桨。机长35.061米,翼展30.37米,机高10.27米,机翼展弦比为7.064,螺旋桨直径4.011米...

    2019-11-18 来源:未知 浏览:107 次

    分享
  • AI人工智能20

    AI人工智能20

    诺斯罗普格鲁曼公司的RQ-4A全球鹰是美国空军乃至全世界最先进的无人机。作为高空持久性先进概念技术验证(ACTD)计划的一部分,包括全球鹰和暗星两个部分在内的全球鹰...

    2019-11-18 来源:未知 浏览:145 次

    分享
  • AI人工智能19

    AI人工智能19

    猎食者远程无人机,是作为高级概念技术验证而从1994年1月到1996年6月发展起来的。它是加利福尼亚州圣地亚哥的通用原子公司得到了第一份合同。它首飞于1994年,并于当...

    2019-11-18 来源:未知 浏览:83 次

    分享
  • AI人工智能18

    AI人工智能18

    AH-64武装直升机是1973年提出的先进武装直升机计划(Advanced Attach Helicopter,AAH)的产物。在AAH计划之前,美国陆军执行过先进空中火力支援系统(AAFSS)计划,参与竞标的三种机...

    2019-11-18 来源:未知 浏览:152 次

    分享
  • AI人工智能17

    AI人工智能17

    研制背景 贝尔UH-1休伊系列直升机在越南战场证明了自身的价值,在越战不断升温的60年代中期UH-1在战场上也暴露出不少缺陷,美国陆军开始考虑该机的后继机型。随着战...

    2019-11-18 来源:未知 浏览:86 次

    分享
  • AI人工智能16

    AI人工智能16

    F-22战斗机发展自上个世纪七十年代末的美国先进战术战斗机计划,旨在为美国空军开发下一代空优战斗机,以对付新出现的全球威胁,取代F-15鹰式战斗机,并要在性能上...

    2019-11-18 来源:未知 浏览:84 次

    分享
  • AI人工智能15

    AI人工智能15

    研制背景 F-35起源自美国联合攻击战斗机(Joint Strike Fighter JSF)计划,该计划是20世纪最后一个重大的军用飞机研制和采购项目,亦为全世界进行中的最庞大战斗机研发计...

    2019-11-18 来源:未知 浏览:73 次

    分享
  • AI人工智能14

    AI人工智能14

    上世纪90年代,俄罗斯和中国联合研制了双座版苏-30战机,即苏-30MKK战机,并又于十年前升级为苏-30MK2战机。中国接收了约百架苏-30MKK战机,但现在几乎相同的歼-16战机出...

    2019-11-18 来源:未知 浏览:194 次

    分享
  • AI人工智能13

    AI人工智能13

    无人驾驶飞机最早产生于20世纪30年代,当时主要被用作靶机,如美国的OQ-19和英国的蜂后等靶机。在第二次世界大战中,首次出现了执行轰炸任务的无人驾驶飞机。 二战...

    2019-11-18 来源:未知 浏览:165 次

    分享
  • AI人工智能12

    AI人工智能12

    1974年初,中国海军在西沙对越自卫反击战中取得了击沉击伤敌四艘巡逻艇的战绩,但也暴露出缺乏海军航空兵空中支援的问题。这主要是因为当时海航装备的歼击机基本...

    2019-11-18 来源:未知 浏览:111 次

    分享
  • AI人工智能11

    AI人工智能11

    据报道,2012年10月31日上午10时32分,由中航工业沈飞研制的AMF五代战机(歼-31)成功首飞。中国成为世界第二个同时试飞两种五代机原型机的国家,此前,只有美国同时研制...

    2019-11-18 来源:未知 浏览:53 次

    分享
  • AI人工智能10

    AI人工智能10

    外界一直在猜测中国正在发展至少两种第五代隐形战机,而且正在积极发展一种隐形的垂直起降战斗机,歼-18战斗机是为网络流传中国新一代的垂直起降战斗机,被外国媒...

    2019-11-18 来源:未知 浏览:162 次

    分享
  • AI人工智能9

    AI人工智能9

    研制背景 苏联解体时,1143.6项目航空母舰(苏联以航空巡洋舰编列)库兹涅佐夫级次舰瓦良格号的建设仍在船台上,完工度仅68%,苏联解体后在分家时出于因地制宜的考...

    2019-11-18 来源:未知 浏览:85 次

    分享
  • AI人工智能8

    AI人工智能8

    歼20战斗机中国在成功研制出歼-15重型舰载机之后,已经基本掌握了重型舰载机的关键技术,但歼-15相对于美军的F-35C舰载机已经相差一代,中国第二代舰载战斗机必须达...

    2019-11-18 来源:未知 浏览:163 次

    分享
  • AI人工智能7

    AI人工智能7

    研制背景 上个世纪60年代末,苏联总参谋部针对美国的FX计划(后演变为F-15战斗机),提出了相对应的PFI计划。PFI意即先进战术战斗机。1971年,计划分化为两部分,一个...

    2019-11-18 来源:未知 浏览:168 次

    分享
  • AI人工智能6

    AI人工智能6

    20世纪80年代末,苏联开始研发新一代战机,以取代当时的主力机种米格-29战斗机和苏-27战斗机;当时的发展计划衍生出了苏-47战斗机和米格1.44战斗机两种机型。 2000年,...

    2019-11-18 来源:未知 浏览:60 次

    分享
  • AI人工智能5

    AI人工智能5

    动力装置 该机的动力装置为2台TV3-117VMA涡轮轴发动机,单台功率1640.5千瓦。当其中一台发动机发生故障时,另一台以较大的应急功率来补足有效动力。 巡航数据 卡-28全重...

    2019-11-18 来源:未知 浏览:116 次

    分享
  • AI人工智能4

    AI人工智能4

    从作战使用的观点看,卡-52攻击直升机的良好导航与武器使用一体化系统保证了它能只靠一个飞行员即完成复杂的对地攻击任务。 欧美一些专家认为在飞行高度20-50米接...

    2019-11-18 来源:未知 浏览:113 次

    分享
  • AI人工智能3

    AI人工智能3

    由于苏联在1970年代初期研发米-12直升机的效果不理想加之为开发西伯利亚及北方沼泽和冻土地带,于是重新开始研制一种全天候重型运输直升机,任务代号为90计划,这就...

    2019-11-18 来源:未知 浏览:74 次

    分享
  • AI人工智能2

    AI人工智能2

    米-171直升机是俄罗斯米里设计局设计、俄罗斯乌兰航空生产联合公司生产的新型直升机,是著名的米-8T和米-17的现代化改进型,性能和可靠性比米-8T和米-17有显著提高。...

    2019-11-18 来源:未知 浏览:195 次

    分享
换一换
 
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。