足球比分直播

图像搜索与匹配系统在dsp上的设计与实现.pdf

返回
图像搜索与匹配系统在dsp上的设计与实现.pdf_第1页
第1页 / 共82页
图像搜索与匹配系统在dsp上的设计与实现.pdf_第2页
第2页 / 共82页
图像搜索与匹配系统在dsp上的设计与实现.pdf_第3页
第3页 / 共82页
图像搜索与匹配系统在dsp上的设计与实现.pdf_第4页
第4页 / 共82页
图像搜索与匹配系统在dsp上的设计与实现.pdf_第5页
第5页 / 共82页
点击查看更多>>
资源描述:
独 创 性 声 明 本人声明所呈交 的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签名 日期 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定,有权保留并向国家有关部门或 机构送交论文的复印件和磁盘,允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 (保密的学位论文在解密后应遵守此规定) 签名 导师签名 日期 年 月 日 万方数据摘要 I 摘 要 传统工业领域中,经常会因为传统设计工艺的疏漏或者环境的微小变化等原因造成工件的位置和预想存在着差距,因此,一种能够实时地控制工业领域中的批处理过程,自动校正 位置的偏移的图像搜索与匹配系统就显得必不可少。传统的 Harris 角点检测方法能够实现快速提取工件中关键点的目的,但匹配精度并不是很高, 快速鲁棒特征( SURF)虽然具有较高的准确率,但是由于提取到的特征点数量过多,还不能达到工业实时化的要求。 DM6446 作为达芬奇( Davinci)家族的重要一员,是 TI 公司针对网络视频编解码的相关应用而设计出来的下一代嵌入式设备,它能够大大缩小嵌入式视频应用的开发周期与成本。 本论文设计了一个基于 DM6446 的图像搜索与匹配系统。本论文首先改进了传统的 Harris 角点检测算 法与 SURF 特征匹配算法,提高了这两种算法的检测准确率,同时为了更好的发挥两者的优势,提出了一种把改进过后的 Harris 匹配算法与改进的 SURF 特征匹配算法组装到一起的组合算法,在确保检测实时性的同时,最大限度的提高了系统的检测准确率。之后既实现了改进过后的 Harris与 SURF组合算法,又在 DM6446 上实现了图像搜索与匹配系统的架构与代码移植,并针对 TMS320C64x的数字信号处理芯片( DSP)进行了代码的优化工作,保证了系统在 DM6446 上的检测实时性。 实验的结果表明,改进后的 Harris 与 SURF 算法相较于改进前的算法在检测准确率上都得到了提高,并且组合算法既能够保证极高的检测准确率又能够达到实时处理图片的要求。系统的运行结果表明,把设计的组合算法移植到 DM6446上并进行优化以后相较于优化前系统具有明显的运行速度优势。 关键词 角点检测,快速鲁棒特征,组合算法,达芬奇,数字信号处理芯片万方数据ABSTRACT II ABSTRACT In traditional industrial areas, the omission of traditional design process or the small changes of environment often cause a gap between the position of the workpiece and the desired results, therefore, a image search and matching system becomes essential which not only has real-time control of the batch process of industrial areas but also has automatic correction of the offset of location. Traditional Harris corner detection can achieve the purpose of extracting the key points of the workpiece quickly but the matching accuracy is not very high. The SURF algorithm has higher accuracy but the number of extracted feature points is excessive, it can not meet the requirements of industrial real-time. DM6446 is the next generation of embedded devices which aims at the related network video codec applications of TI company designed as a key member of the Davinci family, and it can greatly reduce the embedded video application development cycle and cost. This thesis designed an image search and matching system. In this thesis, the author improves the traditional Harris corner detection algorithm and the SURF feature matching algorithm, the two improved algorithms can enhance the detection accuracy. In order to play their advantages better, the author proposes a combination algorithm to ensure real-time detection and maximize the system s detection accuracy which assembles the improved Harris and improved SURF matching algorithm. This thesis not only achieves the improved Harris and SURF combinatorial algorithm but also achieves the image search and matching system architecture and code migration on the DM6446, and process the code optimization work for the TMS320C64x s DSP cores to ensure real-time detection of a system on the DM6446. Experimental results show that the improved Harris and SURF algorithm compared with before improvement both are improved in the detection accuracy, and combinatorial algorithm not only ensure high detection accuracy but also achieve the request of real-time processing pictures. The system s operation shows that the design of combinatorial algorithm porting to DM6446 with processing optimization has the better 万方数据ABSTRACT III speed advantage than the un-optimized system. Keywords corner detection, SURF, Combinatorial Algorithm, Davinci, DSP万方数据目录 IV 目 录 第一章 绪论 ..................................................................................................................... 1 1.1 论文研究背景 ............................................................................................................ 1 1.2 图像搜索与匹配技术的发展与研究状况 ................................................................ 2 1.2.1 国外图像搜索与匹配的算法发展与应用现状 .................................................. 2 1.2.2 国内 图像搜索与匹配的算法发展与应用现状 .................................................. 4 1.3 论文内容及章节安排 ................................................................................................ 5 第二章 相关技术介绍 ..................................................................................................... 6 2.1 图像搜索与匹配技术概述 ........................................................................................ 6 2.2 图像搜索与匹配方法的分类 .................................................................................... 6 2.3 图像搜索与匹配的相关技术 .................................................................................... 7 2.3.1 图像插值 .............................................................................................................. 7 2.3.2 欧氏距离 .............................................................................................................. 9 2.3.3 RANSAC 错误点剔除 .......................................................................................... 9 2.4 嵌入式图像处理技术 .............................................................................................. 10 2.4.1 ARM .................................................................................................................... 10 2.4.2 DSP ...................................................................................................................... 11 2.4.3 Davinci 技术 ....................................................................................................... 12 2.4.4 OpenCV 与 EMCV ............................................................................................. 13 2.4.5 嵌入式基本开发环境与工具 ............................................................................ 13 2.5 本章小结 .................................................................................................................. 15 第三章 图像特征检测与匹配算法的设计与改进 ....................................................... 16 3.1 常用的特征检测与匹配算法 .................................................................................. 16 3.1.1 边缘检测算法 .................................................................................................... 17 3.1.2 SIFT 特征 匹配算法 ............................................................................................ 18 万方数据目录 V 3.1.3 角点检测算法 .................................................................................................... 20 3.1.4 SURF 特征匹配算法 .......................................................................................... 22 3.2 改进的 Harris 角点匹配算法 .................................................................................. 24 3.2.1 改进算法的提出 ................................................................................................ 24 3.2.2 改进算法的具体过程 ........................................................................................ 25 3.3 改进的 SURF 特征匹配算法 .................................................................................. 27 3.3.1 改进算法的提出 ................................................................................................ 27 3.3.2 改进算法的具体过程 ........................................................................................ 29 3.4 改进 Harris 与改进 SURF 的组合算法 .................................................................. 31 3.4.1 改进算法的提出 ................................................................................................ 31 3.4.2 改进算法的具体过程 ........................................................................................ 31 3.5 本章小结 .................................................................................................................. 32 第四章 基于 DM6446 的图像搜索与匹配系统的设计与实现 .................................. 33 4.1 DM6446 的软硬件体系架构 .................................................................................... 33 4.1.1 硬件体系结构 .................................................................................................... 33 4.1.2 软件体系结构 .................................................................................................... 37 4.2 系统总体设计 .......................................................................................................... 40 4.3 ARM 端控制程序设计 ............................................................................................. 40 4.3.1 交叉编译环境的搭建 ........................................................................................ 40 4.3.2 控制程序设计 .................................................................................................... 43 4.4 组合算法的实现 ...................................................................................................... 45 4.4.1 预处理模块 ........................................................................................................ 45 4.4.2 改进的 Harris 角点匹配模块 ............................................................................ 47 4.4.3 改进的 SURF 特征匹配模块 ............................................................................ 51 4.5 DSP 端代码移植与优化 ........................................................................................... 60 4.5.1 代码的重构 ........................................................................................................ 60 4.5.2 CCS 编译器自优化 ............................................................................................ 63 4.5.3 代码的手动优化 ................................................................................................ 63 4.6 本章小结 .................................................................................................................. 65 万方数据目录 VI 第五章 实验与性能对比 ............................................................................................... 66 5.1 实验环境 .................................................................................................................. 66 5.2 评测标准 .................................................................................................................. 66 5.3 实验结果与分析 ...................................................................................................... 67 5.4 实验效果展示 .......................................................................................................... 68 5.5 DM6446 下系统运行效果 ........................................................................................ 70 5.6 本章小结 .................................................................................................................. 71 第六章 总结 与展望 ....................................................................................................... 72 6.1 总结 .......................................................................................................................... 72 6.2 展望 .......................................................................................................................... 72 致 谢 ............................................................................................................................. 74 参考文献 ......................................................................................................................... 75 攻硕期间所取得的研究成果 ......................................................................................... 77 万方数据第一章 绪论 1 第一章 绪论 工件在 传统的制造流水过程中,极有可能因为各种主客观条件与原有模板存在一定的偏差,但是由于其概率较低,完全靠人工发现和校正的办法既耗时又有可能因为疏忽而忽略掉危险的产生,对以后的生产生活过程造成极大的危害。现有的检测手段要么检测精度不够高,存在大量的错报漏报,要么检测速度跟不上现代工业流水线的要求而不能实用化,因而现有的一些检测手段是与工件检测中快速准确的要求不相适应的。本论文针对上述问题,在运算速度与检测准确率的综合考量下,首先对现有的 Harris[2]角点检测算法做出了改进,在运用角点检测算法得到特征点以后再对 这些特征点进行描述,并形成这些特征点的描述向量,最后通过这些描述向量来对 Harris 角点进行匹配,并且由于本文改进过后的 Harris角点检测算法的准确率还不够高,因此又选用了当今比较先进的 SURF[1]特征点检测与匹配算法来对相似度不足 95的图片进行进一步的处理,并根据目前的 SURF算法在匹配过程中容易错报漏报的问题,提出了自己的改进的 SURF 特征点匹配新方法,最后把改进的 Harris 算法与改进的 SURF 算法的组合算法移植到嵌入式Davinci[3-4]开发板上,实现了对工件准确高效的识别与校准。 1.1 论文研 究背景 图像搜索与匹配技术就是对相同的物体在不同场景、不同时间、不同视角以及不同传感器条件下所成图像的定位与比对过程 [5-6]。而图像搜索与匹配系统就是运用图像搜索与匹配技术,获得图像中待检测物体的显著性信息,并根据这些显著性信息来精确定位该物体在图像中的位置,目前图像搜索与匹配技术已经应用到遥感、医学成像、计算机视觉等社会生活的方方面面。 随着计算机产业特别是图像处理技术的大规模发展,传统工业领域中完全依赖人工手段控制生产流水线的产品质量的方法不但耗费人力,而且常常会因为一些不可预知的错误导致送厂返修,不 仅会给生产厂家造成极大的物质损失,同时因为产品质量问题导致品牌名誉的丧失照成的危害更是不可估量。而在流水线的控制作业的过程中,一种比较成功的手段就是在流水线中加入摄像头监控,通过万方数据电子科技大学硕士学位论文 2 摄像头中嵌入的程序来对整个生产过程进行质量控制,实践证明这种方法能够大大地提高生产质量,减少返厂率。在摄像头监控的过程中,一个必须解决的问题就是如何找到拍摄图片中与模板相似的工件,并通过何种手段对工件进行比对,以及如何准确地计算出工件的偏移角度并进行校准,而这些都是图像搜索与匹配需要关心的问题。 嵌入式系统是为完成特定功能而设计的软 件与硬件的集合体 [7],它的便携性与功能单一的特点刚好能够满足流水线作业的需要,目前常用的嵌入式开发板有ARM、 Coldfire、 PowerPC、 DSP 等, ARM 日趋强大的对外围设备的控制能力使它成为行业当之无愧的龙头,而 TI 公司的 DSP 产品则以其对数学算法的高速运算能力而著称。 Davinci 技术是 TI 公司专门针对多媒体应用而开发的一款集 ARM、DSP 以及它们之间的通信机制为一体的一整套解决方案,用户运用这整套解决方案来设计产品就可以不用去考虑它们之间调用的细节,而只把注意力集中到算法的改进与程序的移植过程 中,这就大大减少了开发人员的工作量,缩短了嵌入式产品的上市周期。 SEED-DVS6446[8]的 Davinci开发板是在 TI 公司的第一款 Davinci视频处理器芯片 TMS320DM6446 的基础上研制的,充分地发挥了 Davinci 硬件的高度集成化、音视频软件算法快速开发化的优势,确保数字视频能够在智能、高度集成化的基础上通过网络高效地传输,并且体积与功耗占用小,布线简单、成本低,因此非常适合作为摄像机的主控芯片进行投产。 1.2 图像搜索与匹配技术的发展与研究状况 1.2.1 国外图像搜索与匹配的算法发展与应用现状 图像搜索与 匹配技术是计算机视觉学科图像处理领域的核心环节,可以说,在图像处理技术产生伊始,图像搜索与匹配技术就已经产生并发展起来了。图像处理技术是伴随着 1964 年美国推进式实验室对宇宙飞船带回的月球照片进行处理而逐渐得到重视和发展起来的,而随着现代计算机视觉领域的快速发展以及图像匹配技术的日趋成熟,几乎每一次匹配技术的重大变革都是与图像信息提取算法的变革密切相关的,只有通过一种算法提取出能够表征该物体的信息,才能够完成图像的匹配工作。 图像搜索与匹配的方法是随着科技的发展不断变化与发展起来的,最初,人万方数据第一章 绪论 3 们习惯通过提取图 像的变换域以及灰度信息的方法来对不同的图像进行比对。1975 年, Kuglin 等人 [9]首次把相位相关的方法应用到图像搜索与匹配领域,以此为时间点开创了使用变换域的方法来解决图像匹配问题的先河,而 Foroosh 等人 [10]于 2002 年提出的使用 Sinc 函数代替 Dleta 函数的方法,更是大大提高了相位变换方法的精度, 2007 年, V.Ojansivu 等人 [11]综合前人的算法,提出了一种模糊不变的相位相关方法,该方法对极度模糊的图像仍然能够达到亚相元极的匹配精度。基于图像灰度信息的方法的优点在于不需要提前对图像进 行预处理与特征提取,而只需获取每个像素的灰度信息就能够对图像进行匹配,因此在九十年代中后期获得了许多专家的青睐, 1972 年, Barnea[12]等人提出序贯相似检测算法( Sequential Similarity Detection Algorithm),该方法通过建立一个相似性度量准则,对图像中的灰度信息进行相似性度量,从而达到图像匹配的目的。 1982 年, Rosenfeld 等人提出了一种互相关的模板匹配方法,来提取出图像中的灰度信息进行匹配。 1995年, Viola 等人 [13]把交互信息相似性准则引入到图像 搜索与匹配领域,并得到了极好的效果,该方法也对以后的医学图像搜索与匹配产生了深远的影响。基于特征的检测方法是目前最流行也是研究最多的图像搜索与匹配方法,对于单一图像来说,能够表征其中物体的特征通常包括特征点、特征线段、图像边缘与轮廓、图像统计特征等,而具体的搜索与匹配方法也随着特征选取方法的变革而变的多种多样。 Canny 边缘检测算子是 John F. Canny[14]于 1986 年提出的一种多级边缘检测算法; 1988 年, Harris 与 Stephens 等人又提出了 Harris 角点检测方法,该方法既能够较快速的检 测到关键点,又能够保证关键点的特殊性,在当时是一种效果极好的特征点检测算法; Lowe等人 [15-16]于 1999年提出,并于 2004年得到改进的 SIFT特征点检测算子目前已经成为应用最广泛的特征点提取算法,这种算法一经提出就以其对光照、偏转、尺度等的不变性以及极高的检测准确率而得到广泛的应用。Dalal 和 Triggs[17]于 2005 年提出的 HOG( Histograms of Oriented Gradients)算法以其对具有特殊的方向性特征的行人与车辆等物体较好的区别度以及实时的检测速率而广泛应用在视 频监控领域; 2006 年, Herbert Bay 等人在原有的 SIFT 算法的基础上加以改进,提出了 SURF( Speeded Up Robust Features)算法,在不明显减少原有算法准确率的基础上,减少了特征点的个数,从而提高了检测速度。 目前,图像搜索与匹配技术的应用可以说已经深入到社会生活的方方面面,在公共安全领域,图像搜索与匹配技术通常被用来进行行人识别与车牌识别,以检测出违规行为或者潜在的威胁,旧金山国际机场就曾采用由 Vidient 公司提供的智能视频分析系统 Smart Catch 对机场周围的可疑行 为进行监测与预警,并取得了万方数据
展开阅读全文
收藏
下载资源

加入会员免费下载





足球比分直播