甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
导入Numpy和这些scipy模块的标准方式是：
在沧源等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都做网站、网站制作 网站设计制作按需设计网站,公司网站建设,企业网站建设,品牌网站建设,营销型网站,外贸网站制作,沧源网站建设费用合理。
import numpy as np
from scipy import stats # 其它子模块相同
主scipy命名空间大多包含真正的numpy函数(尝试 scipy.cos 就是 np.cos)。这些仅仅是由于历史原因，通常没有理由在你的代码中使用import scipy。
么是图像拼接呢？简单来说，对于输入应该有一组图像，输出是合成图像。同时，必须保留图像之间的逻辑流。
首先让我们了解图像拼接的概念。基本上，如果你想捕捉一个大的场景，你的相机只能提供一个特定分辨率的图像（如：640×480），这当然不足以捕捉大的全景。所以，我们可以做的是捕捉整个场景的多个图像，然后把所有的碎片放在一起，形成一个大的图像。这些有序的照片被称为全景。获取多幅图像并将其转换成全景图的整个过程称为图像拼接。
首先，需要安装opencv 3.4.2.16。
接下来我们将导入我们将在Python代码中使用的库：
在我们的教程中，我们将拍摄这张精美的照片，我们会将其分成两张左右两张照片，然后我们会尝试拍摄相同或非常相似的照片。
因此，我将此图像切成两个图像，它们会有某种重叠区域：
在此，我们将列出我们应采取的步骤，以取得最终的结果:
因此，从第一步开始，我们将导入这两个图像并将它们转换为灰度，如果您使用的是大图像，我建议您使用cv2.resize，因为如果您使用较旧的计算机，它可能会非常慢并且需要很长时间。如果要调整图像大小，即调整50％，只需将fx = 1更改为fx = 0.5即可。
我们还需要找出两幅图像中匹配的特征。我们将使用opencv_contrib的SIFT描述符。SIFT (Scale constant Feature Transform)是一种非常强大的OpenCV算法。这些最匹配的特征作为拼接的基础。我们提取两幅图像的关键点和sift描述符如下:
kp1和kp2是关键点，des1和des2是图像的描述符。如果我们用特征来画这幅图，它会是这样的:
左边的图像显示实际图像。右侧的图像使用SIFT检测到的特征进行注释：
一旦你有了两个图像的描述符和关键点，我们就会发现它们之间的对应关系。我们为什么要这么做?为了将任意两个图像连接成一个更大的图像，我们必须找到重叠的点。这些重叠的点会让我们根据第一幅图像了解第二幅图像的方向。根据这些公共点，我们就能知道第二幅图像是大是小还是旋转后重叠，或者缩小/放大后再fitted。所有此类信息的产生是通过建立对应关系来实现的。这个过程称为registration。
对于匹配图像，可以使用opencv提供的FLANN或BFMatcher方法。我会写两个例子证明我们会得到相同的结果。两个示例都匹配两张照片中更相似的特征。当我们设置参数k = 2时，这样我们就要求knnMatcher为每个描述符给出2个最佳匹配。“matches”是列表的列表，其中每个子列表由“k”个对象组成。以下是Python代码：
FLANN匹配代码：
BFMatcher匹配代码：
通常在图像中，图像的许多地方可能存在许多特征。所以我们过滤掉所有的匹配来得到最好的。因此我们使用上面得到的前2个匹配项进行比值检验。如果下面定义的比值大于指定的比值，则考虑匹配。
现在我们定义在图像上绘制线条的参数，并给出输出以查看当我们在图像上找到所有匹配时的样子：
这是输出的匹配图像：
这部分完整Python代码：
因此，一旦我们获得了图像之间的最佳匹配，我们的下一步就是计算单应矩阵。如前所述，单应矩阵将与最佳匹配点一起使用，以估计两个图像内的相对方向变换。
在OpenCV中估计单应性是一项简单的任务，只需一行代码:
在开始编码拼接算法之前，我们需要交换图像输入。所以img_现在会取右图像img会取左图像。
那么让我们进入拼接编码:
因此，首先，我们将最小匹配条件count设置为10(由MIN_MATCH_COUNT定义)，并且只有在匹配良好的匹配超出所需匹配时才进行拼接。否则，只需显示一条消息，说明匹配不够。
因此，在if语句中，我们将关键点(从匹配列表)转换为findHomography()函数的参数。
只需在这段代码中讨论cv2.imshow（“original_image_overlapping.jpg”，img2），我们就会显示我们收到的图像重叠区域：
因此，一旦我们建立了单应性，我们需要扭曲视角，我们将以下单应矩阵应用于图像：
所以我们使用如下：
在上面两行Python代码中，我们从两个给定的图像中获取重叠区域。然后在“dst”中我们只接收到没有重叠的图像的右侧，因此在第二行代码中我们将左侧图像放置到最终图像。所以在这一点上我们完全拼接了图像：
剩下的就是去除图像的黑色，所以我们将编写以下代码来从所有图像边框中删除黑边：
这是我们调用修剪边界的最终定义函数，同时我们在屏幕上显示该图像。如果您愿意，也可以将其写入磁盘：
使用上面的Python代码，我们将首先收到原始图片：
这是完整的最终代码：
在本教程中，我们学习了如何使用OpenCV执行图像拼接和全景构造，并编写了最终的图像拼接代码。
我们的图像拼接算法需要四个主要步骤：检测关键点和提取局部不变描述符; 获得图像之间的匹配描述符; 应用RANSAC估计单应矩阵; 使用单应矩阵应用warping transformation。
当仅为两个图像构建全景图时，该算法在实践中工作良好。
这几天继续在看Lowe大神的SIFT神作，看的眼花手脚抽筋。也是醉了！！！！实在看不下去，来点干货。我们知道opencv下自带SIFT特征检测以及MATCH匹配的库，这些库完全可以让我们进行傻瓜似的操作。但实际用起来的时候还不是那么简单。下文将对一个典型的基于OPENCV的SIFT特征点提取以及匹配的例程进行分析，并由此分析详细的对OPENCV中SIFT算法的使用进行一个介绍。
OPENCV下SIFT特征点提取与匹配的大致流程如下：
读取图片-》特征点检测（位置，角度，层）-》特征点描述的提取（16*8维的特征向量）-》匹配-》显示
其中，特征点提取主要有两个步骤，见上行黄子部分。下面做具体分析。
1、使用opencv内置的库读取两幅图片
2、生成一个SiftFeatureDetector的对象，这个对象顾名思义就是SIFT特征的探测器，用它来探测衣服图片中SIFT点的特征，存到一个KeyPoint类型的vector中。这里有必要说keypoint的数据结构，涉及内容较多，具体分析查看opencv中keypoint数据结构分析，里面讲的自认为讲的还算详细（表打我……）。简而言之最重要的一点在于：
keypoint只是保存了opencv的sift库检测到的特征点的一些基本信息，但sift所提取出来的特征向量其实不是在这个里面，特征向量通过SiftDescriptorExtractor 提取，结果放在一个Mat的数据结构中。这个数据结构才真正保存了该特征点所对应的特征向量。具体见后文对SiftDescriptorExtractor 所生成的对象的详解。
就因为这点没有理解明白耽误了一上午的时间。哭死！
3、对图像所有KEYPOINT提取其特征向量：
得到keypoint只是达到了关键点的位置，方向等信息，并无该特征点的特征向量，要想提取得到特征向量就还要进行SiftDescriptorExtractor 的工作，建立了SiftDescriptorExtractor 对象后，通过该对象，对之前SIFT产生的特征点进行遍历，找到该特征点所对应的128维特征向量。具体方法参见opencv中SiftDescriptorExtractor所做的SIFT特征向量提取工作简单分析。通过这一步后，所有keypoint关键点的特征向量被保存到了一个MAT的数据结构中，作为特征。
4、对两幅图的特征向量进行匹配，得到匹配值。
两幅图片的特征向量被提取出来后，我们就可以使用BruteForceMatcher对象对两幅图片的descriptor进行匹配，得到匹配的结果到matches中，这其中具体的匹配方法暂没细看，过段时间补上。
至此，SIFT从特征点的探测到最后的匹配都已经完成，虽然匹配部分不甚了解，只扫对于如何使用OPENCV进行sift特征的提取有了一定的理解。接下来可以开始进行下一步的工作了。
附:使用OPENCV下SIFT库做图像匹配的例程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
// opencv_empty_proj.cpp : 定义控制台应用程序的入口点。
//
#include "stdafx.h"
#include opencv2/opencv.hpp
#include opencv2/features2d/features2d.hpp
#includeopencv2/nonfree/nonfree.hpp
#includeopencv2/legacy/legacy.hpp
#includevector
using namespace std;
using namespace cv;
int _tmain(int argc, _TCHAR* argv[])
{
const char* imagename = "img.jpg";
//从文件中读入图像
Mat img = imread(imagename);
Mat img2=imread("img2.jpg");
//如果读入图像失败
if(img.empty())
{
fprintf(stderr, "Can not load image %s\n", imagename);
return -1;
}
if(img2.empty())
{
fprintf(stderr, "Can not load image %s\n", imagename);
return -1;
}
//显示图像
imshow("image before", img);
imshow("image2 before",img2);
//sift特征检测
SiftFeatureDetector siftdtc;
vectorKeyPointkp1,kp2;
siftdtc.detect(img,kp1);
Mat outimg1;
drawKeypoints(img,kp1,outimg1);
imshow("image1 keypoints",outimg1);
KeyPoint kp;
vectorKeyPoint::iterator itvc;
for(itvc=kp1.begin();itvc!=kp1.end();itvc++)
{
cout"angle:"itvc-angle"\t"itvc-class_id"\t"itvc-octave"\t"itvc-pt"\t"itvc-responseendl;
}
siftdtc.detect(img2,kp2);
Mat outimg2;
drawKeypoints(img2,kp2,outimg2);
imshow("image2 keypoints",outimg2);
SiftDescriptorExtractor extractor;
Mat descriptor1,descriptor2;
BruteForceMatcherL2float matcher;
vectorDMatch matches;
Mat img_matches;
extractor.compute(img,kp1,descriptor1);
extractor.compute(img2,kp2,descriptor2);
imshow("desc",descriptor1);
coutendldescriptor1endl;
matcher.match(descriptor1,descriptor2,matches);
drawMatches(img,kp1,img2,kp2,matches,img_matches);
imshow("matches",img_matches);
//此函数等待按键，按键盘任意键就返回
waitKey();
return 0;
}
在一定的范围内，无论物体是大还是小，人眼都可以分辨出来。然而计算机要有相同的能力却不是那么的容易，在未知的场景中，计算机视觉并不能提供物体的尺度大小，其中的一种方法是把物体不同尺度下的图像都提供给机器，让机器能够对物体在不同的尺度下有一个统一的认知。在建立统一认知的过程中，要考虑的就是在图像在不同的尺度下都存在的特征点。
在早期图像的多尺度通常使用图像金字塔表示形式。图像金字塔是同一图像在不同的分辨率下得到的一组结果其生成过程一般包括两个步骤：
多分辨率的图像金字塔虽然生成简单，但其本质是降采样，图像的局部特征则难以保持，也就是无法保持特征的尺度不变性。
我们还可以通过图像的模糊程度来模拟人在距离物体由远到近时物体在视网膜上成像过程，距离物体越近其尺寸越大图像也越模糊，这就是高斯尺度空间，使用不同的参数模糊图像（分辨率不变），是尺度空间的另一种表现形式。
构建尺度空间的目的是为了检测出在不同的尺度下都存在的特征点，而检测特征点较好的算子是Δ^2G(高斯拉普拉斯，LoG)
使用LoG虽然能较好的检测到图像中的特征点，但是其运算量过大，通常可使用DoG（差分高斯，Difference of Gaussina）来近似计算LoG。
从上式可以知道，将相邻的两个高斯空间的图像相减就得到了DoG的响应图像。为了得到DoG图像，先要构建高斯尺度空间，而高斯的尺度空间可以在图像金字塔降采样的基础上加上高斯滤波得到，也就是对图像金字塔的每层图像使用不同的参数σ进行高斯模糊，使每层金字塔有多张高斯模糊过的图像。
如下图，octave间是降采样关系，且octave(i+1)的第一张（从下往上数）图像是由octave(i)中德倒数第三张图像降采样得到。octave内的图像大小一样，只是高斯模糊使用的尺度参数不同。
对于一幅图像，建立其在不同尺度scale下的图像，也称为octave，这是为了scale-invariant，也就是在任何尺度都能有对应的特征点。下图中右侧的DoG就是我们构建的尺度空间。
为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。 一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。下图中将叉号点要比较的26个点都标为了绿色。
找到所有特征点后， 要去除低对比度和不稳定的边缘效应的点 ，留下具有代表性的关键点（比如，正方形旋转后变为菱形，如果用边缘做识别，4条边就完全不一样，就会错误；如果用角点识别，则稳定一些）。去除这些点的好处是增强匹配的抗噪能力和稳定性。最后，对离散的点做曲线拟合，得到精确的关键点的位置和尺度信息。
近来不断有人改进，其中最著名的有 SURF（计算量小，运算速度快，提取的特征点几乎与SIFT相同）和 CSIFT（彩色尺度特征不变变换，顾名思义，可以解决基于彩色图像的SIFT问题）。
其中sift.detectAndCompute()函数返回kp，des。
上图dog的shape为(481, 500, 3)，提取的特征向量des的shape为(501, 128)，501个128维的特征点。
该方法可以在特征点处绘制一个小圆圈。