传感器在咱们的国际阅历了快速的推行，事实上，传感器现在现已十分遍及，以至于咱们每个人日常所运用的手机里都有好几种不同类型的传感器。这些传感器有的能检测压力、温度、加快度和重力的简略改变，相同也有更为高档的传感器，例如 GPS、RADAR、LIDAR 和图画传感器。
传感器交融是指从几种不同的传感器中提取数据，以生成靠单个传感器无法供应的信息。随后，可以对该信息做进一步处理和剖析。并依据终究运用，必要时还可用传感器来拟定决议计划。传感器交融分为两大类 ：
· 实时传感器交融——提取并交融传感器数据，并依据得到的信息实时拟定决议计划。
· 离线传感器交融——这种计划是提取并交融传感器数据，但在往后的某个时刻拟定决议计划。
就嵌入式视觉体系和传感器交融运用而言，大部分运用合适实时传感器交融。
嵌入式视觉运用
嵌入式视觉运用正在阅历迅猛添加，触及范畴广泛，从机器人、高档驾驭员辅佐体系 （ADAS） 到增强实践，不胜枚举。这些嵌入式视觉运用对终究运用的成功运转有很大协助。将嵌入式视觉体系供应的信息与来自不同传感器或多个传感器的信息进行交融，有助于更好了解环境，然后提高所选运用的功用。
许多嵌入式视觉运用只运用一个图画传感器来监控一个方向，例如只监测轿车的前方。运用这样的图画传感器可以检测、分类和盯梢目标。但是，由于只运用一个传感器，因而就无法丈量与图画中目标的间隔。也就是说，咱们可以检测和盯梢到另一个车辆或行人，但假如不凭借另一个传感器，咱们就无法确认是否存在磕碰危险。本例中咱们需求另一个传感器，例如 RADAR 或 LIDAR，该传感器能供应与已检测到的目标的间隔。由于这种办法可以将来自多个不同类型传感器的信息交融，因而称为异构传感器交融。
ADAS 异构传感器交融实例（材料来历：赛灵思幻灯片）
另一种计划是供应第二个图画传感器，以完成立体视觉。这种计划是让两个图画传感器朝着相同方向，但分隔一小段间隔，就像人的两个眼睛那样，经过视差确认目标在视场中的深度。像这样运用多个相同类型的图画传感器，称为同构传感器交融。
当然，这儿需求依据驾驭条件确认架构和传感器类型的挑选。这包含深度感的规模、丈量精度、环境光和气候条件、完成本钱以及完成杂乱程度。
嵌入式视觉不只可用于目标检测和轿车防撞，还可以作为导航体系的一部分，用来搜集交通标志信息。别的，还可交融医用 X 光、MRI 和 CT 等多种不同图画，或许交融安防与监督设备中的可见光和红外图画。
咱们一般以为嵌入式视觉运用只运用可见电磁光谱，其实许多嵌入式视觉运用能交融来自可见电磁光谱以外的数据。
处理要求
假如不进行交融，处理图画时就需求相当大的核算才能，这是由于体系要履行一系列预处理功用。例如在运用五颜六色图画传感器时，这些处理使命包含颜色滤波插值、颜色空间转化/重采样以及图画校对。除此之外，咱们还要履行传感器交融算法自身的处理使命，在之前运用的目标检测实例中，咱们需求履行布景减法、阈值和概括检测，以运用最简略计划定位目标，或许或许需求更强的 HoG/SVM 分类器。
跟着帧率和图画尺度添加，预处理图画和提取信息所需的处理才能也会随之添加。
但是，从图画中提取所需的信息还仅仅使命的一部分，假如运用异构交融，咱们还需对来自第二个传感器的信息进行装备、驱动、接纳和提取。假如咱们挑选同构体系，则需求为第二个图画传感器再次履行与第一个传感器相同的图画处理流水线。
这样能供应两组数据，有必要对这两组数据进行处理以确认与目标的实践间隔，这才是真实的交融。
All Programmable SoC 或 FPGA 的优势
在嵌入式视觉体系中，一般运用 All Programmable FPGA 或 All Programmable SoC 来完成图画处理流水线。假如它们能用于传统嵌入式视觉运用，那么也适用于嵌入式视觉交融运用。
不管挑选 FPGA 仍是 SoC，嵌入式视觉运用一般运用处理器进行监督、操控和通讯。假如选用 All Programmable SoC，那么中心有一个硬核，并有许多支撑外设和接口标准。假如运用 All Programmable FPGA，就会运用一个软核，例如 MicroBlaze™，并选用愈加定制化的外设和接口支撑。
关于嵌入式视觉传感器交融运用，咱们可进一步运用处理器为所用的很多传感器供应简略接口。例如，加快计、压力计、陀螺仪和 GPS 传感器都配有串行外设接口 （SPI） 和内部集成电路（I2C）接口，都得到 All Programmable Zynq®-7000 和 MicroBlaze 软核处理器的支撑。这使软件可以快速、方便地从不同类型的传感器取得所需信息，并供应给可扩展架构。
