1、静态图像处理

1）图像分割

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。最简单的分割方法为闽值分割，即一幅图像中，扫描每个像素点（假定只有灰度，没有颜色），当此像素灰度值大于一定的阈值（提前设定好的，0到255间的一个数值），则让此像素灰度值等于255，当此像素灰度值小于此阈值则让它等于0，这也叫作图像二值化。

2）图像特征点提取

图像特征点提取包含边缘检测和角点检测。

边缘检测的目的是标识数字图像中亮度变化明显的点。每个像素的灰度（或者 RGB）和它的八邻域的像素值（左上，上，右上，左，右，左下，下，右下）按照一定的算法比较，如果差异比较大，则把该像素值设置为255，否则设置为0。算法很多，有sobel算子，laplace算子，canny 算子等。边缘点就是和它邻域灰度值相比变化比较大的点即可。

角点检测是计算机视觉系统中用来获得图像特征的一种方法，广泛应用于运动检测、图像匹配、视频跟踪、三维建模和目标识别等领域中。也称为特征点检测。

角点通常被定义为两条边的交点，严格的说，角点的局部邻域应该具有两个不同区域的不同方向的边界。而实际应用中，大多数所谓的角点检测方法检测的是拥有特定特征的图像点，而不仅仅是“角点”。这些特征点在图像中有具体的坐标，并具有某些数学特征，如局部最大或最小灰度、某些梯度特征等。

我们可以这样理解，边缘检测是检测在一个方向上的灰度变化，角点检测就是检测在两个方向上的灰度变化。角点检测比边缘检测更严格。在我们多媒体行业主要应用于任意图案识别，我们先给一幅任意的图片，在此图片上首先找到角点，即特征很强，灰度变化很剧烈的点，把这些点的位置，邻近点的灰度，以及每个角点的相对位置保存到数据库中，此过程即为学习的过程。学习完成后，把这幅图放在摄像头前面，进行角点检测，检测完后和库中的数据进行比较，就会比较出这幅图片和库中的哪个图片最接近，从而完成图案识别的过程。具体角点检测的算法很多，在此不作详解，只需知道，角点就是一幅图像中特征点很明显，可以区别于其它点和其它图片的特征点。

2、动态图像处理

1）背景差分法

背景差分法是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法。对于多媒体行业来说，地面互动的红外摄像机检测方法就是背景差分法和下面要讲到的帧差法的应用。我们以程序运行后采集到摄像机的第帧作为背景，即没有人上去踩的时候。当有人或者其它物体的时候，此时的图像肯定和第一帧无人状态的时候大不一样，此时的图像称为前景，用前景的每个像素点的值减去背景对应的每个像素的值，设定一个阙值，当两者相减的绝对值大于此阈值，则该位置的像素值设为255，否则设为0。这样白色的地方就是有东西的地方，黑色的地方就没有东西。

如果这样选取背景，会出现很大的问题。由于场景的复杂性、不可预知性以及各种环境干扰和噪声的存在，如光照的突然变化、实际背景图像中有些物体的波动、摄像机的抖动、运动物体进出场景对原场景的影响等，在图像处理的背景差分法中，有很多的方法来更新背景，即把光线变化，摄像机的抖动，微小东西的影响一帧帧慢慢的变成背景，而不把他们作为前景，即不把他们作为要提取的对象，因为上述那些因素本来就是背景。但在多媒体行业中一般不这么做，一般会结合下面要讲到的帧差法才可以使地面互动的人体检测比较稳定。

2）帧间差分法

帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标的情况。当图像场景中出现物体运动时，帧与倾之间会出现较为明显的差别，两帧相减，得到两倾图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。

对相邻两帧图像的每个像素点的值进行相减，同样，设定一个阈值，当两者相减的绝对值大于此阈值，则该位置的像素值设为255，否则设为0。这样，对于运动的物体会提取出来它的边缘，因为运动的物体在相邻两帧的位置会不一样两帧图像会不一样，所以会提取出来它的边缘。但如果此物体进入场景后，不运动了，那么顿差法就只能在它刚进入场景的时候提取出它，不运动后，就提取不出来了。

对于运行的非常慢的物体，帧差法也提取不出来，因为很慢的物体在前后帧的位置几乎是一样的，解决这个问题的方法就是取3帧或4或再多帕和第一帧进行差，可以提取出来运动慢的物体。

红外摄像机检测人体的方法结合了上述两个方法，首先，我们以程序运行的第一帧作为背景，但我们要设置一个比较大的阈值，此阈值足以抵抗背景变化，再进行帧差法。也就说，前景既要和背景相减，前景又要和它自己的前1帧，2帧......进行帧差。两都取与的关系，即都要满足，才被认定为目标，即有人进入场景。

3）坐标转换

在多媒体程序中，经常要把各种感应器的坐标转换为屏幕坐标，此处的屏幕可以是投影机，LED屏，屏体等。以地面互动的摄像机为例，分辨率一般为640*480，而投影机的分辨率一般为1024*768，那么上述的背景差法和帧差法提取到运行的物体后，会在640*480里面有一个xC，yC的位置坐标，那么此坐标对应的投影机的位置坐标在哪里，我们假定为xS，yS。则有下面的公式：xS=1024/640*xC；yS =768/480*yC；

如果摄像机和投影机的坐标不是640*480和1024*768，只需要替换相应的这两组值即可。

上述的坐标转换是理想状态下的，最早期的用法，对摄像机和投影机的位置有严格要求，即通过摄像机镜头的调整，使得摄像机的四个边正好和投影机的四个边重叠。只有这样，上述公式才会比较准确的把摄像机的坐标转换成投影机的坐标。但实际上，由于摄像机安装条件（要完全对好），摄像机镜头的桶形畸变，实际上基本不可能让四条边完全重叠。

仿射变换与透视变换在图像还原、图像局部变化处理方面有重要意义。即可以对图像进行缩放，旋转，平移等操作。