物联网中的传感器融合和远程情感计算 石油勘探, 传感器, 控制器, 物联网, 汽车

Bazinga

摘要

传感器技术时代已经到来。现在，很难见到不使用传感器为用户创造新体验的电子消费产品。传感器正在经历复兴，这是由于微机电系统（MEMS）技术价格降低了，尺寸也缩小了，因此又推动了传感器在新应用的使用，并为传感器市场营造了新机遇。

1.引言

传感器现在用于各种应用中，如智能移动设备、汽车系统、工业控制、医疗保健、石油勘探和气候监测。传感器无处不在，现在传感器技术已开始密切模仿终极感知设备，即人类。传感器融合使这成为可能，该技术利用微控制器（“大脑”）将从多个传感器采集的各个数据融合在一起，获得的数据视图比单独使用各个离散传感器获得的视图更准确、更可靠。使用传感器融合整体采集的数据远远大于各传感器独立采集的数据之和。

传感器融合支持环境感知，这对物联网（IoT）来说蕴藏着巨大潜力。传感器融合针对远程情感计算（情感感测和处理）的演进在未来还可能产生激动人心的新应用，包括智能医疗。然而，这些功能也带来了物联网监管中需要解决的严重的隐私问题。随着传感器融合和REC技术的使用不断增加，将采集大量的环境感知数据。这些数据结合物联网对“空中全球神经网络”和基于云的处理资源的访问，将进一步推动为给定情况提供自定义的环境感知服务。这些服务可基于单个用户正在做什么、设备正在做什么、基础设施正在做什么，大自然正在做什么等环境，以及所有上述内容的各种组合。


图1传感器融合：人体模型

2.人类：终极传感示例

为了了解传感器融合如何工作，让我们看看人体内感知的工作方式。一个人在许多方面体验外部世界。视觉、听觉、化学感觉（嗅觉和味觉）和表面感觉（触觉）都提供关于一个人周围环境的感官信息，这些信息通过外周神经系统（PNS）传递给大脑。然后大脑决定如何响应一个给定的情况或体验。

PNS对它传输的信息不制定复杂的决策；这些决策由大脑制定。对感觉输入，大脑的反应是发送运动信息，这是人类对输入的响应。例如，一个行人看到一辆汽车向他开过来，他的大脑告诉他的肌肉以更快的速度走到路的另一边，避免发生事故。人还接收来自他们内脏器官的信息，其中一些信息非常明显，如胃疼。还有其他类型的体内信息是人无法感知的，如血压，这些信息用于调节人体的内部环境。


图2计步器案例分析

大脑是最终的决策者。然而，如果没有外周神经系统带来感知信息并发出运动信息，人将无法行走、说话或我们经常认为理所当然的许多其他功能。大脑经常使用数个感官输入源验证事件，并完善非“完整性”信息，从而做出决策。例如，人可能看不到汽车引擎盖下的火焰，但橡胶燃烧的气味和仪表盘散发的热量将告诉大脑需要离开这辆汽车，因为引擎起火了。在这种情况下，使大脑做出反应的信息大于独立感官输入之和。

在技术世界，传感器融合发挥的作用与此相似。传感器融合将来自多个传感器的输入整合在一起，提供更准确、更可靠的传感，能够产生更高水平的认知，并提供新的应对措施。各个传感器都有固有的局限性，可能产生错误，但这些错误可以由补充传感节点进行纠正或进行补充。例如，陀螺仪会随着时间的推移而产生偏移，可以使用配备的加速计来补偿这些偏移。因此，（来自多个传感器的）融合的传感器信息比单独的传感器数据更准确、更可靠。

3.不断发展的传感器技术改善日常生活

让我们看一个计步器的简单示例。传统的计步器使用一个钟摆，需要以垂直的角度佩戴在髋关节，以避免错误读数。当用户走动时，计步器跟踪钟摆随着髋关节的运动来回摆动，摆动一回便计数一次，以此对每一步进行计数。然而，由于步幅、攀登/步行角度的变化以及当用户驾驶汽车或进行其他运动时的错误计步，无效读数很常见。

基于MEMS的惯性传感器带来了很大的改进。第一代基于MEMS的计步器使用的加速计对人的加速度执行1轴、2轴或3轴（3D）检测，更准确地测量步数。此外，老式机械计步器只根据摆动次数记录步数，而加速计则每秒多次测量一个人的运动。

但是，如果您不仅想计量步数，还想准确地计算上下楼梯或上下山时燃烧的卡路里。下一代计步器添加了高度计，测量和计算人在行走时相对于某个固定参考点的高度变化。高度计技术用于检测高度计或气压计（BAP）应用中的绝对气压。要获得精确的压力读数还需要进行温度测量，因此通常会增加某种温度补偿电路以提高测量精度。

继挂在慢跑者手臂上的早期便携式音乐播放器获得成功后，现在有许多设计佩戴在手臂上的独立计步器和有计步器功能的手机（而不是挂在髋关节的皮带上）。在这个使用案例中，手臂运动引入了寄生运动。陀螺仪可测量手臂的旋转运动并对其进行补偿。

将三种传感器（加速计、高度计和陀螺仪）和MCU结合在一起来测量和处理读数，就产生了高精度计步器。

4.传感器融合如何工作

最基本的传感器融合示例是电子罗盘，它结合了3D磁力计和3D加速计来提供罗盘功能。更复杂的传感器融合技术增强了用户体验，充分利用3D加速计、3D陀螺仪和3D磁力计（，测量相对于给定器件空间方向的特定方向上的磁场组成），并将它们融合在一起。每种传感器都有独特的功能，但也有其局限性：

？加速计：x轴、y轴和z轴线性运动感测，但对振动比较敏感

？陀螺仪：俯仰、翻滚和方位角感测，但有零位漂移

？磁力计：x轴、y轴和z轴磁场感测，但对磁干扰比较敏感

传感器融合将所有这些技术结合在一起，接收来自多个传感器的同时输入，并对输入进行处理，产生一个综合了各个部件输出的最终输出值（即，传感器融合使用特殊算法和滤波技术，消除了各个独立传感器的不足之处－类似于上述人体的功能）。

传感器融合提供了一套完整的功能，可使我们的生活更简单，并支持可以利用这些功能的各种服务。

传感器行业目前面临的问题之一是各个操作系统（OS）缺乏标准化。目前，大多数OS驱动程序需要最基本的传感器数据，这使传感器无法发挥其所有功能。

传感器融合是Microsoft战略的一部分，因此Windows 8 OS都支持传感器，使用传感器级驱动程序，这些驱动符合其与微软的生态系统合作伙伴共同制定的标准（Human Interface Device specification 2011）。Windows Runtime编程模块允许轻量级执行调用，使传感器能够在硬件级进行处理。

传感器融合通常是指将3D加速计、3D陀螺仪和3D磁力计结合在一起，这种配置被称为9轴系统，为用户提供9个自由度（9-DoF）。2012年，飞思卡尔推出了面向Windows 8的12轴Xtrinsic传感器平台，提供了12-DoF传感器融合解决方案，该解决方案包括气压传感器、温度传感器和环境光感测功能。


图3面向Windows 8的12轴Xtrinsic传感器数据流

这个全面的硬件和软件解决方案使用飞思卡尔32位MCU融合了加速计、磁力计和陀螺仪数据，并提供了易于集成的特性，从而简化了开发。微软的Windows 8 OS针对平板电脑、笔记本电脑和其他移动设备借助个人计算机的计算能力，扩展了运行智能手机和平板电脑应用的功能。飞思卡尔凭借其传感器融合平台，从微软获得了Windows 8认证，成为第一批获得该认证的公司之一。

基本的传感器融合处理需要10–12 MIPS.对于9-DoF传感器融合，这种要求可达到18–20 MIPS处理周期。有各种方法可以满足这些处理要求（每种方法都有优缺点），包括为传感器处理添加专用的协处理器，或使用有足够的性能扩展空间、允许随着时间的推移增加新功能的功能强大的MCU.

5.其他传感器融合示例

飞思卡尔正在进行有关传感器在医疗电子中的使用和非医疗应用的多传感器处理的研究。JoséFernández Villase？or博士是一位医学博士兼电气工程师，他既是飞思卡尔医疗产品市场营销专家，同时也是一家医院的医生，研究使用传感器（这是REC技术的较大的基本构件）进行情感分析，他将这两个身份完美地结合在一起。研究表明由于物理活动导致心律增加的模式和幅度与由于肾上腺素激发的心率增加的不同。因此，人们可以使用算法并分析传感器数据，以电子方式检测一个人所显示的情感的类型。

下面是一个游戏平台示例，这个游戏平台能够监控生理变化和状态并采集数据，从而以电子方式检测情感，例如：

？肌肉放松（MR）－通过压力传感器

？心律变化（HRV）－通过一个芯片上的双电极ECG

？流汗（S）－通过电容式传感器

？姿态（A）－通过加速计监测一个人的放松状态（生涩的动作和平稳的手）

？肌肉收缩（MC）－通过压力传感器


图4使用情感感测的环境感知：工作方式

使用采集的传感器数据，游戏平台里的MCU能够在游戏情境过程中检测情感，并为玩家提供反馈，使游戏更精彩。是否可以在赛车游戏中当检测到玩家处于更放松的状态（加速计的读数减少）然后使转弯速度更快、更难操控？这样，能够更好地控制情感的，沉稳的驾驶员得分会更高（与现实生活相似）。如果本地控制台的MCU提供处理功能，这将被视为本地情感计算，如果基于云的系统提供处理功能，则被视为远程情感计算。在基于云的系统中，可利用复杂的大数据算法对游戏场景提供更详细的响应。

在另一个示例中，传感器可用于通过测量用户拿手机输入文字或拨打电话的方式，检测用户的情感。此外，软件算法可用于分析人输入文字的方式、手机运动是否平稳或者在输入文字时犯了多少错误（使用退格键），提供有关个人心理状态的其他背景。


图5物联网：不同的服务，不同的技术，对每个人的意义不同

6.在物联网中充分利用传感器融合

正如白皮书“物联网要变成现实‘还缺什么”所述，物联网包含了许多用例——从互连家居和城市、互连的汽车和道路到跟踪个人的行为并使用采集的数据来推送服务的设备。物联网是一种普遍的“空中全球神经网络”，将触及我们生活的各个方面。从技术的角度来看，物联网被定义为与其他机器、对象、环境和基础设施进行交互和通信的智能机，会产生大量数据，并将这些数据处理成有用的行为，可以“指挥和控制”事物并使人类的生活更加轻松。

所有物联网用例的通用要求包括：

？传感和数据采集功能（传感节点）

？本地嵌入式处理层功能（本地嵌入式处理节点）

？有线和/或无线通信功能（连接节点）

？软件自动执行任务，并启用新的服务类别

？远程网络/基于云的嵌入式处理功能（远程嵌入式处理节点）

？整个信号路径都具有完整的安全性


图6物联网的功能块
物联网需要的传感节点类型变化很大，具体取决于所涉及的应用。传感节点应包括用于图像监测的照相机系统、用于智能能源的水或气流量计、雷达视觉（在需要主动安全时）、感测对象或人是否存在的RFID阅读器、带有开/关电路的门和锁（指示楼宇入侵）或测量温度的简单的温度计。

谁能够忘记影片“少数派报告”中跟踪楼宇内的人的热跟踪机器虫？这些机器虫代表未来的传感节点（我认为它们将用于打击犯罪）。

这些节点都有一个唯一的ID，可通过远程指挥和控制拓扑单独进行控制。现在有一些用例，带有RFID和/或近场通信（NFC）和GPS功能的智能手机可接近和获取一座大楼内各个支持RFID/NFC的事物，与它们进行沟通，并在网络上注册它们的物理位置。因此，RFID和NFC在远程注册方面将占有一席之地，最终，能够指挥和控制物联网。


图7传感器融合支持环境感知

增加了传感器融合平台和远程情感计算后，大大增加了物联网中传感节点的功能。

从产品角度来看IoT标准模块

如果我们将IoT的标准模块从简单的节点看作产品，我们得到的将是使用PAN/BAN/LAN类型通信拓扑，连接到采用不同分层结构网关的传感节点/边缘节点。这些网关使用WAN通信技术与云进行通信。


图8从产品角度来看IoT标准模块

一旦通过接入网络连接到云，数据就会通过服务器路由用于应用/行为和大数据分析。

7.情境感知

传感器融合与嵌入式处理和连接一起支持情境感知，而情境感知又实现了一个全新的服务世界。

“情境”是什么？

情境的定义是构成事件、声明、情况或想法的设置的情况或事实。在软件编程中，开发情境感知的应用这一想法已经有一段时间了。情境感知的应用检查谁、在哪里、什么时候和什么，软件设计人员使用情境信息确定发生某种情况的原因，然后在应用中解码一些行为。

根据这个定义，构成情境感知行为的四类最重要的信息包括：

身份、地点、时间、活动

在使用情境信息制定决定性的行为时，首先在人（和人们之间）产生情境接口，然后在情境里，最后在机器和基础设施要素之间产生情境接口。帆布、一套油漆管和刷子能够让艺术家创造一幅杰作，同样，情境感知和这些接口是支持各种服务的工具，如果没有这些，那么这些服务将没有意义。这正是技术的逐步改进能够导致整体大于各个组成部分之和的原因。没有什么能够像传感器那样检测并提供人类情感的读数。通过传感器能够接入人的心态，使体验更加“个人化”。

人、自然和环境以及机器/基础设施之间的交互（接口）为确定环境感知提供了宝贵的数据点，包括：

1.人

运动、姿态和步伐；对刺激的反应；在给定条件下的情感；任何给定时间的生物特征

2.周围环境

地点、高度、温度、湿度、光、声音、味道

3.人使用的基础设施/机器

轨迹、影响、速度、反馈、振动和转动、与结构完整性相关的变化


图9为了进行处理而传输的环境数据

在物联网中，在传感节点采集了输入后，嵌入式处理节点对情境感知数据进行处理，然后提供反馈并立即采取行动，或者继续传递数据以便进行基于云/网络的处理。在后一种情况下，需要各种连接机制才能把数据传递到核心网。例如，在这种情况下，手机或连接的平板电脑就会变成网关，连接到广域网（WAN）。

8.与传感器融合/情境感知和远程情感计算有关的服务

设想一种情形，使用一个传感器融合平台，充分利用本地嵌入式处理以及基于云的软件技术（例如在互联网搜索和在线咨询中使用的模式识别和机器学习），远程监控各种情况，并提供全新的服务类别，所有这些都由基于云的指挥和控制中心自动完成，而无需人的互动。这些服务的种类只受人的想象力的限制，各种情况可能包括：

？水果和蔬菜纸箱上的传感器能够跟踪位置、温度、运输途中的振动和颠簸以及产品的气味，事先警告腐败情况。然后基于云的指挥和控制中心可自动与运输卡车或火车进行通信，重新安排运输线路并存储这些食物。想象一下，这样带来的经济效益会更大。

？提供方向、优惠券、放大的实境地图和关于交易、免费音乐会及其他娱乐、社交网络的信息并根据购物者的健康史提供就餐地点信息，帮助商场里的人获得更好的购物体验。

我最近在当地儿童医院呆了几天，忍不住考虑该如何改进那里的系统。

？传感器融合平台可用于减少医院护士检查病人生命体征的次数，降低医疗成本。还可以将其用于远程监测病人，不需要病人去医院看病，在必要时提供建议或提供预防保健，

？想象一下，将各种传感器融合平台和医院病房水槽后面的RFID标签阅读器结合在一起，让医生和护士监控运动，当他们在接触病人前后忘记洗手（这是从医院获得感染的最大原因之一）时提醒他们。

？REC示例：可一天24小时跟踪一个人的生命体征、情感和运动。然后可以用这些数据提醒这个人注意他或她的饮食、驾驶等，防止健康问题和/或事故。如果这个人醉酒严重，这个人的电话可以呼叫预设置的紧急联系人，并提供这个人的位置寻求帮助。试想一下，有多少青少年的父母将签署这项服务！

？由于结构性问题导致在某些环境条件下不适合承载车辆的桥可自动提醒基于云的指挥和控制中心，然后指挥和控制中心会提醒所有在路上的汽车（不仅仅提醒驾驶员）远离这座桥，并采用替代路线。

？驾驶员醉酒的汽车会提醒警察和附近的车辆，避免发生事故。

？还有许多其他类型的服务利用传感器融合提供环境感知服务。

在大多数情况下，在设备级都不需要重大的技术突破便可实现上述情况，人们已经非常关注使用大数据处理、分析工具和机制来生成这些服务类型。只需要逐步改进并将技术生态系统和参与者汇聚在一起，制定游戏规则，并从较小的孤立云迁移到“空中全球神经网络”。

传感器采集的信息可用于能够改善和简化人们的生活的服务，也可以用于数据挖掘和引起安全和隐私问题的其他用例，即物联网困境。有了传感器融合和REC技术，可以为组合添加更多功能。正如互联网在不久前像野火般地迅速发展，不到十年，物联网便会触及我们生活的方方面面，传感器融合便是物联网普及的先锋。您做好准备了吗？


图10环境助力大数据处理