返回

应用与发展现状

Applications & Trends
第一章 / 课程导入

应用领域

图像处理应用有哪些?

真实场景中的视觉输入经过处理后,形成目标、位置、尺寸、类别和运动线索。

识别
对象类别
检测
目标区域
定位
空间位置
测量
尺寸距离
分拣
自动分类
跟踪
运动轨迹
1
真实世界图像
相机、遥感、医学或监控系统采集视觉输入
2
图像处理与特征提取
增强、校正、分割、特征提取和模式分析
3
可用信息
目标、位置、尺寸、类别、轨迹和状态变化
4
行业决策
检测报警、质量控制、导航规划和辅助诊断

具体任务

图像输入、处理目标、输出结果

工业机器视觉检测系统现场照片
工业检测

工业外观检测

Wikimedia / Machine vision
处理目标
从产品图像中发现缺陷、偏差和异常区域
输出结果
输出合格判定、缺陷位置和尺寸测量结果
道路交通摄像头安装在路口上方
交通监控

道路目标检测

Wikimedia / Traffic camera
处理目标
从交通视频中定位车辆、行人和道路事件
输出结果
输出车辆数量、位置、身份线索和异常事件
搭载多类传感器的 Waymo 自动驾驶车辆
无人平台

自动驾驶感知

Supercar Blondie / Waymo
处理目标
融合摄像头、激光雷达和定位信息形成环境状态
输出结果
输出车道、车辆、行人、障碍物和可行驶区域
手持热成像相机显示火场温度画面
医学/热成像
处理目标
采集热红外波段并把热辐射转换为图像灰度
输出结果
输出温度分布、异常热区和非可见光观察结果
洛杉矶沿海区域的 Landsat 遥感卫星影像
遥感军事

遥感图像处理

NASA SVS / Landsat 9
处理目标
对卫星与航空图像进行校正、配准与专题处理
输出结果
输出地物变化、图像融合和目标区域结果

领域矩阵

输入、难点、输出

工业检测

零件检测尺寸测量瑕疵检测自动分拣
输入
生产线相机图像
难点
反光、遮挡、微小缺陷、节拍速度
输出
质量判断、缺陷位置、尺寸数据

交通监控

车辆检测身份识别行为分析违章抓拍
输入
路口、路段、停车场视频
难点
视角变化、夜间光照、遮挡、拥堵场景
输出
车辆身份、异常事件、通行状态

遥感军事

弱小目标景像匹配图像配准图像融合
输入
遥感、红外、远距离观测图像
难点
目标小、背景复杂、尺度差异、成像噪声
输出
目标位置、地貌变化、融合图像

无人平台

车道线检测车辆行人检测交通标志识别障碍物感知
输入
车载摄像头、双目视觉、激光雷达
难点
实时性、动态目标、三维距离、多传感器融合
输出
环境理解、路径判断、运动决策

医学/热成像

X 光影像分析内窥镜影像分析红外测温非可见光成像
输入
医学影像、热红外、专用成像设备
难点
成像噪声、组织边界、温度标定、细节增强
输出
结构观察、温度估计、辅助分析

军事与遥感

红外、景像匹配、遥感处理

ASTER 遥感传感器生成的埃特纳火山假彩色三维影像
遥感卫星影像
多光谱与热红外遥感可把地形、植被、水体和热异常转成可分析图像,用于校正、配准、融合和远距离目标检测。

红外弱小目标

低对比度目标、复杂背景抑制、噪声与虚警控制

景像匹配

预存数字景像图、飞行过程区域相关、偏离航线判定

遥感图像处理

辐射校正、几何纠正、投影变换、特征提取

图像配准与融合

多时相对齐、多源信息融合、专题图像生成

工业检测

识别、检测、定位、测量、分拣

自动光学检测设备正在检测 PCB 电路板
自动光学检测

图像识别

区分目标类别和对象模式

图像检测

发现器件瑕疵和异常区域

视觉定位

确认零件位置和姿态

物体测量

非接触式尺寸与距离估计

物体分拣

按视觉结果完成分类流转

交通监控

车辆感知、身份识别、事件分析

道路旁的数字交通监控测速设备
交通监控设备

车辆感知

路口、路段、停车场目标检测

身份识别

车牌、人脸、车辆特征比对

事件分析

事故、违章、异常行为检测

辅助驾驶

车辆、行人、障碍物、道路标识识别

人体测温

热红外灰度与温度映射

医学/热成像

医学影像、红外测温、非可见光成像

人体背部热成像图和温度标注
人体热成像

医学影像

X 光影像分析、内窥镜影像分析、组织边界增强

热红外成像

红外测温、热区定位、非可见光成像

辅助分析

噪声抑制、细节增强、异常区域提示

无人平台感知系统

多传感器输入到运动决策

搭载车顶激光雷达和多传感器的 Cruise 自动驾驶车辆
车载传感器平台
从车辆外部传感器到环境理解

摄像头、激光雷达、惯性测量和定位设备共同采集道路信息,系统再把这些输入转为可用于定位、检测与决策的环境状态。

摄像头

车道线、红绿灯、交通标志、行人、车辆

激光雷达

目标距离、空间轮廓、障碍物位置

双目视觉

视差、深度、三维几何信息

IMU

姿态变化、加速度、角速度

GPS/里程计

平台定位、路径累计、运动约束

1
感知
2
定位
3
检测
4
预测
5
决策
6
规划
车道线、红绿灯、交通标志、行人、车辆、障碍物和平台姿态共同组成环境状态。

关键技术地图

从图像采集到目标检测

成像基础

先保证输入可信:标定、畸变和非均匀校正决定后续测量是否可靠。

非均匀性校正摄像机畸变校正摄像机标定

图像处理

先增强可见证据:灰度、直方图、滤波和边缘为检测提供稳定线索。

灰度化直方图滤波锐化边缘检测形态学

目标检测

再把证据转成目标判断:颜色、纹理、模板和点匹配分别适合不同目标。

颜色纹理边缘轮廓模板点匹配分类器

目标跟踪

最后跨帧维持对象身份:搜索和滤波负责把当前目标延续到下一帧。

特征搜索卡尔曼滤波 KF粒子滤波 PF