首页 >> 解决方案 >>行(háng)业解(jiě)决(jué)方案 >> 双眼可以测距和建立(lì)立体环境,双摄像头可以吗?
详细内容

双眼可以(yǐ)测(cè)距和建(jiàn)立立(lì)体(tǐ)环(huán)境,双(shuāng)摄像头可以(yǐ)吗?

答案是可以!

这方面一直是计算机(jī)视觉的研究热点,并且已(yǐ)经有了不(bú)错的成果!本人研(yán)究生阶段主要做(zuò)三(sān)维重建,简单写一些(xiē)自己所了解(jiě)的。

首(shǒu)先三维和二维的区别(bié),这个大家都容易理解,二维只有(yǒu)x、y两个轴,比如一(yī)张素描画,我们整体的(de)感觉是“平”的,而(ér)三维则是多了一个z轴的维(wéi)度(dù),这个z轴的直观理解就(jiù)是(shì)点(diǎn)离我(wǒ)们的距(jù)离,也即 “depth(深度)”。

再来看看我们(men)人眼,人眼是一(yī)个典型(xíng)的双目系统(tǒng),大家(jiā)可以做个小实验:闭上一只眼睛,然后左右手(shǒu)分别拿着一只笔,试着让笔(bǐ)尖相碰(pèng),哈哈,是不是有怀疑人(rén)生的感觉(jiào)? 我们分别用(yòng)左右眼看同一个物体,可以清楚地感觉(jiào)到图像的差异,这个差异就是我们形成三维视觉的基础,有了这左右眼图像的差异,配合(hé)大脑强大的识别(bié)匹(pǐ)配能力,我们就(jiù)能基本确定物体(tǐ)离我们的距离,也即之前(qián)说(shuō)的"深(shēn)度",上个实验中我(wǒ)们只睁(zhēng)开一只眼睛,虽然能清楚(chǔ)的(de)看到左右手(shǒu)中的笔,但是(shì)大脑没(méi)法得出深度信息,所以你在“上下(xià)左右”方向上能准确定位,但是“前后”方向上(shàng)却(què)无能为力(lì)。

现在来说说左(zuǒ)右图像的“差异”到“深度”的转换,这里可能(néng)需要一点点(diǎn)空间几何知识,其实也很简单

1.jpg

物体上的点p12分别对应左右图像上点p1和p2,求解p1、p2、p12构成的三(sān)角形,我们就能得到(dào)点p12的坐标,也就(jiù)能得到p12的深度(dù)。这个计(jì)算对(duì)于人脑来说是小case,我们更多地(dì)依赖经验(yàn)和强大(dà)的脑补能(néng)力,虽(suī)然我们不能计算(suàn)出某个物体离我们的精(jīng)确距离(lí),我们却能非(fēi)常准确地建立物(wù)体(tǐ)距离的相对关系,即(jí)哪个物体在前,哪个在后,这对日常生活已(yǐ)经足够(gòu)了。

而我们做(zuò)工程上的双目视觉(jiào)三(sān)维重建,核心目标就是解上图所示(shì)的三角形,相机(jī)可以(yǐ)抽象成一(yī)个简单(dān)的透视(shì)系统:

2.jpg



空(kōng)间点p经过相机(jī)成像(xiàng),映射(shè)到图像上点(x,y),其中(zhōng)Oc是相机光(guāng)心,WCS、DCS、ICS分别是世界坐标(biāo)系、设(shè)备(相机)坐(zuò)标(biāo)系(xì)、图像坐标(biāo)系。空间点p到相机图(tú)像上(shàng)点的几何(hé)变换(huàn)可以用相机(jī)内参来描述,具体公式(shì)就不说了,可以简单地理解为相(xiàng)机拍照是(shì)对点的几何(hé)坐标变换,而(ér)相机内参(cān)就是(shì)决(jué)定这个(gè)变换(huàn)的一(yī)些(xiē)参数。

继续看之(zhī)前的光学三角(jiǎo)关系图(tú),O1、O2分别是左右相机的(de)光心,现在(zài)我们要(yào)做的就是确定这两个相机(jī)的相(xiàng)对位置(zhì)关系:可以用旋转矩阵R和平移(yí)向量T来描述,确(què)定了R和T,两个相(xiàng)机(jī)的位置(zhì)关系就确定了,这个步(bù)骤叫做(zuò)相(xiàng)机(jī)的外参标定(dìng)。一(yī)般的(de)做法(fǎ)是用三维重建的逆过程来(lái)做,即由一(yī)系列已知的p1、p2和(hé)p12来(lái)求(qiú)解(jiě)光(guāng)学三角形,估计出(chū)最优(yōu)的R、T。简而(ér)言之,外参标定(dìng)确定相(xiàng)机之间的相对位置(zhì)关系。

好了,现在我们只需要知道p1、p2的坐标,我(wǒ)们就能轻松算出p12的坐标(biāo),完成三维重建。我们把p1、p2称为一个(gè)点对(pair),他们是同一个空(kōng)间点在(zài)不同相机(jī)中的成像点(diǎn)。寻找这样(yàng)的点对的(de)过程称为立体匹配,它是三维重建最关键,也可以说是最难的一步。我(wǒ)们都玩过“大家来找茬(chá)”,找的是(shì)两幅图的不同点,而立体匹配则(zé)是找“相(xiàng)同点”。对人(rén)脑来说,这个问题(tí)太easy了,给你同(tóng)一(yī)个物体的两幅图,你能轻松找出一副图像上的点在(zài)另一幅(fú)图像(xiàng)中的对应点,因(yīn)为(wéi)我们人脑的物体识别、分割、特(tè)征提(tí)取等等(děng)能力实在太强(qiáng)了,而且性(xìng)能特别高,估计几岁的小孩就能秒杀(shā)现有的最(zuì)好的算法。

常规的(de)匹配算法一般(bān)通过特征点来做,即分别提取左(zuǒ)右图像的特征点(常用sift算法),然后基于特征点配合对极几何等约束条件进行匹配(pèi)。不过这类匹配(pèi)算法(fǎ)精度都不(bú)是(shì)太高(gāo),所以人们又(yòu)想了(le)其它一(yī)些方法来(lái)辅助匹配,结(jié)构光方法(fǎ)是目前用(yòng)的比较多(duō)的(de),原理不难理解,就是向目标物体投(tóu)射编(biān)码的光,然后(hòu)对相机图像进(jìn)行解码,从而得到点对(duì),举个简单的(de)例子,我们把一个小方块的(de)图(tú)案(àn)用投影仪投到物体表(biǎo)面,然(rán)后识别(bié)左右(yòu)相机图(tú)像中的小方块(kuài),如果这个小方块很小,看作一个点,那么(me)我(wǒ)们(men)就得(dé)到了一个点对。

贴个线结构(gòu)光的示意图(tú):

3.jpg


这(zhè)个示意图里面只有一个相(xiàng)机,其实投(tóu)影仪是可以(yǐ)看作相机的:投(tóu)出的光图案照射(shè)在物体表面相当于(yú)被拍照的物体,而投影仪的(de)输入(rù)图像则相当于相机拍出来的照(zhào)片,所(suǒ)以投影仪也是(shì)当作相(xiàng)机并用同样的方法来标定(dìng)内(nèi)外参,即上图本(běn)质上(shàng)也(yě)是双目(mù)视觉系统(tǒng)。

总结一(yī)下,双(shuāng)目视觉三维重建的基本过程:相机内参、外参标定 -> 立体匹配(pèi) -> 光学三角形(xíng)求解,这(zhè)里面最核心、也最影响重建效果的就是立(lì)体匹配。

贴几张本人实(shí)验的(de)图(用的(de)最基本(běn)的格(gé)雷码结构光):


4.jpg


以上(shàng)说(shuō)的都(dōu)是双(shuāng)目视(shì)觉三维重建,实(shí)际上(shàng)还(hái)有其它(tā)一些重建方法,如早期的(de)探针法,简单粗暴,直(zhí)接拿探(tàn)针(zhēn)在物体表面移动,一个点一个点测坐标(biāo);还有一类通过(guò)直接测距来(lái)进行三(sān)维(wéi)重建,如超声波(bō)、TOF,即对物体表面逐点(diǎn)用声、光程差来测距,从而得到(dào)三维点云;光学方法(fǎ)分为主动和(hé)被动(dòng)两(liǎng)大类,主动和(hé)被动指的(de)是是否向物体表面投光,主动(dòng)方法有(yǒu)激(jī)光扫描、相位测量以及(jí)我毕设(shè)的研(yán)究课题结(jié)构光方法等(děng),被动方法(fǎ)有单(dān)目视(shì)觉(如阴影法)和上文所述的立体视差方法等等(děng)。

目前还有一类三维重建(jiàn)方法(fǎ)非常火:SFM(Structure from Motion),这类方法的特点是(shì)不(bú)需(xū)要相机(jī)参数,仅仅根(gēn)据一(yī)系列图像就能进行三维重建,也就是说,你随(suí)便拿个(gè)手机对着物体拍一些图片(piàn)就(jiù)能重建这个物(wù)体的三维模型,大(dà)家可以去体验下AutoDesk公(gōng)司的(de)Autodesk 123D Catch,除了近距离(lí)物体的三维重(chóng)建,SFM还有更激动人心的应用:大型(xíng)场景三维重建,感兴(xìng)趣的可以看看这个Building Rome in a Day,他们在flickr上(shàng)搜索两百万张罗马(mǎ)的照片,通(tōng)过亚(yà)马逊提供(gòng)的计算服务,最终得出整个城市的三维模(mó)型(xíng),是不是又有云(yún)计算、大数据的(de)感(gǎn)觉。。。这波(bō)人貌似(sì)有几个是(shì)Google Earth团队的。

原(yuán)理上其实也不难理解:从特征(zhēng)点(diǎn)对入(rù)手,反向求解(jiě)出相机(jī)的内外(wài)参(选定一个相机作为世界坐标系),然后重建更多的(de)点。

大家应该对电影《普(pǔ)罗米修斯》里面的用于洞穴建模的飞行器印(yìn)象深(shēn)刻:

5.jpg

底(dǐ)部导航
友(yǒu)情链接
联系方(fāng)式
公司二维(wéi)码
扫一扫,添(tiān)加二维码!

联系电(diàn)话:010-34342322

联系邮箱:XXXXXXXX@163.com

联系地(dì)址:北(běi)京市XXXXXXXXXXXXXX

微信公众号:xxxxxxxxxx

客服(fú)QQ:12345678910

技术支持: 建站ABC | 管理登录
欢迎(yíng)咨询 seo seo

乐鱼

乐鱼