首页
|
新闻
|
新品
|
文库
|
方案
|
视频
|
下载
|
商城
|
开发板
|
数据中心
|
座谈新版
|
培训
|
工具
|
博客
|
论坛
|
百科
|
GEC
|
活动
|
主题月
|
电子展
注册
登录
论坛
博客
搜索
帮助
导航
默认风格
uchome
discuz6
GreenM
»
MCU 单片机技术
»
PowerPC
» 构建闭环全栈认知 IoT 应用程序时吸取的经验教训-1
返回列表
回复
发帖
发新话题
发布投票
发布悬赏
发布辩论
发布活动
发布视频
发布商品
构建闭环全栈认知 IoT 应用程序时吸取的经验教训-1
发短消息
加为好友
look_w
当前离线
UID
1066743
帖子
8283
精华
0
积分
4142
阅读权限
90
在线时间
233 小时
注册时间
2017-6-23
最后登录
2019-5-18
论坛元老
UID
1066743
1
#
打印
字体大小:
t
T
look_w
发表于 2018-3-17 12:35
|
只看该作者
构建闭环全栈认知 IoT 应用程序时吸取的经验教训-1
几个月前,我加入了 IBM 新组建的一支团队 — 新兴技术和领先创新团队。该团队当时正在开发使用新技术(其中最值得注意的就是 Linux 容器和 Raspberry Pi 计算机)的新功能,为处理传感器数据提供边缘计算能力。我在容器和 Raspberry Pi 设备方面毫无经验。于是,我非常热切地参与到早期迭代中,从中迅速学到了这些技术的许多基础知识。
在掌握了这些基础知识后,我开始推测我们可能会构建的应用程序类型。该团队已经构建了概念验证 (PoC),即 BlueHorizon。BlueHorizon 可收集气象数据、无线电信号和网络连接信息,并在显示附近各种参与设备和任何飞行器的交互式地图中提供这些数据(请参阅图 1)。
图 1. BlueHorizon 地图和用户界面 ()
我想要构建另一个 PoC。
在 IBM 产品服务组合中,该团队尚未利用 Watson 认知服务这一块,因此,我开始搜索潜在的传感器数据收集空间,以便包含认知组件。鉴于项目的前提是将传感器数据转变为信息(例如,将飞行器 ADS-B 广播频率信号转变为结构化飞行数据),“在边缘地带”使用认知算法对于 PoC 产品服务组合而言既是一项挑战,也是一种贡献。
本文介绍了我构建认知 IoT 解决方案过程中所吸取的经验教训。我得到的第一个经验教训就是应限制对任何认知系统的期望,并需要为特定场景和用例进行相应的训练。第二个经验教训就是在构建认知系统时了解相关环境非常重要。第三个经验教训是:你一无所知的内容至少与你实际掌握的内容同等重要。概括地说,认知解决方案就是各种实验,在这些实验中,用户既是实验对象,也是真实情况的仲裁者,因此也会判定实验成功与否。
电脑高手必须学会“破旧立新”这部分故事介绍了我的身份,以及我在自己的人生中是如何走到这一步的。简而言之,我一辈子沉迷于计算机技术,也是业余的医疗保健爱好者,对各种技术都有所涉猎。在这些举措中,反复出现的一个主题就是我希望一切都变得更简单,让我和我的家人更愉快。具体地说,我希望利用技术来重复自动执行各种任务。随着年龄的增长,希望不再为各种鸡毛蒜皮的小事而困扰的愿望越来越强烈,如今,我认识到自己在未来几年里(甚至是现在)可能会需要获得他人的帮助。
我还非常喜欢研究视频 — 从最初因分析铁路轨道接触到实时视频处理开始,如今我已对无线监视和家庭影院异常痴迷。我们家住在硅谷郊区,靠近加利福尼亚州圣何塞市西南角新阿尔马登的历史悠久的汞矿区村庄。我们的生活主要围绕着狗(和我们的孩子)在转,我在几年内已经安装了多个无线监视摄像头,这样在狗突然乱叫时,就可以回答我妻子提出的“
外面发生了什么?
”这样的问题。从最初只在狗屋里安装了一个摄像头,逐渐发展为 21 个摄像头,用于观察生活中的方方面面,从狗到厨房一个不落。通过各种简单的技巧和购买 iOS 应用程序,现在我能够随时查看所有摄像头(请参阅图 2),而不必从沙发上起身!
图 2. 连接我的所有视频摄像头的 Web 界面
但这么多摄像头也在某种程度上让我不堪重负。每个摄像头都会以电子邮件附件形式发送一段 5 秒钟的视频,其中包含每个运动检测事件;我每天会收到超过1000 封电子邮件。即使是直接删除电子邮件而根本不检查视频,也几乎让我招架不住。为了解决这个问题,我起初尝试降低摄像头的运动检测算法的灵敏度和缩小边界框。通过明智的实验,在发出大量咒骂之后,我终于能够将收到的电子邮件数量压缩到可控范围内,但还是会收到许多电子邮件。我采取的第二项措施就是消灭个人电子邮件。通过电子邮件代理汇总小短片,并将其作为每日视频发布至我的 Plex 家庭影院(请参阅图 3)。这样一来,我便能够通过电视机、智能手机或笔记本电脑来查看每天的画面剪辑(包括高达 32 倍速回放),这是一大进步。
图 3. 用于播放每日影片的 Plex 用户界面
但我仍未感到满足。该解决方案仍需人类介入(即我的介入),在每天的视频中查找值得注意的事物。每个视频很容易就超过 30 分钟(360 起事件)。坦白说,无法真正以超过 4 倍速来回放视频,这需要占用我长达 10 分钟的宝贵时间。
当我疲惫不堪,躺在沙发上休息时,我看到了 IBM Watson 的广告。虽然记不清具体细节,但它确实让我想起了之前我在图像处理方面取得的成就,我想知道 Watson Visual Recognition 服务能否自动处理我的视频,仅在发生异常状况时才通知我。当然,随后我想起了家里养的好多只狗(还有我们的四个小孩),我想,不寻常的状况对于我们而言几乎就是家常便饭。但是我的父母独自居住在伊利诺斯州芝加哥市的一幢大房子里,离我家有几千英里远,身边
没有
小孩,也
没有
狗。
也许我可以找到一个用例,适用于那些仍然留守在自己家中、与子女相距甚远的父母。灵感、辛苦的汗水和强烈的愿望由此交织在一起。我父亲很早就使用了 Amazon Echo(带 Alexa)设备,并对它的功能着迷。我想,可以观察他们日常行为的设备,应该也可以作为进行监视和保持联系的一种手段。
居家养老 - 融合新兴技术我开始着手确定一个新项目,我把它称之为“居家养老”(Age-at-Home)。在 PoC 项目中,我将使用 Linux Docker 容器、Raspberry Pi 设备、IBM Watson 服务和 IBM Cloud 服务,帮助老年人实现在自己家里“”。我另外还进行了一些研究,发现了 IBM 在意大利博尔扎诺市开展的一个研究项目,它使用无源二氧化碳 (CO2) 传感器来跟踪老年人在其居所中的行踪和活动。
通过阅读了解更多信息。或者观看以下视频:“”。
我还发现了其他一些研究,它们使用个人仪器(例如,让人们佩戴蓝牙手表或吊坠)以及超出 CO2 检测范围的环境检测仪器,包括与橱柜、水槽、冰箱、厕所和其他设备连接的传感器。我原先在处理老年人和平板电脑事宜上积累的经验(包括与检测具体内容相关的成本)告诉我,无源传感更便宜,也更可靠。(不要问我有多少平板电脑不幸掉落在厕所里)。
我最初的设想很宏大,但博尔扎诺市的实验表明,监控行踪和活动富有价值。因此,复制这项传感功能和添加简单的响应方法足以表明这一项目“首战告捷”。因此,我将最小可行产品 (MVP) 定义为:当老年人在特定时间段(例如,比正常高 2 个标准差)内未起床(即,出现在厨房)时发送通知。请参阅图 4。
图 4. Age-at-Home 应用程序的 MVP 架构
为了构建最小可行产品,我需要寻找一种方法来检测某个人是否出现,最好是某个特定的人,并且至少还需要寻找一种方法来确保能够分辨出人与动物(如宠物狗)。原先使用运动检测视频摄像头的经验为我提供了一个不错的机会,让我既能够使用 IBM Watson Visual Recognition 服务,还可以凸显两个重要方面:这种分类的延迟和分类图像的隐私性。此外,图像分类研究领域的最新发展也为在低成本设备上进行图像分类提供了方法和机会。
初始配置相对简单易懂。在我调查了适合连接到 Raspberry Pi 计算机的摄像头选项后,我发现用于 Linux 的 似乎功能强大,它既支持 Raspberry Pi,也支持用于 Playstation3 的便宜的 USB 摄像头。该软件的安装很简单,只需为 (github.com/kfei/dockmotion) 建立一个 Linux 容器定义分支,并将该 (resin.io) 部署到 Raspberry Pi 即可。当某些活动(例如,检测到运动事件并捕获到图像)发生时,Motion 软件包会调用指定的 Linux 可执行文件,并提供相应的活动数据。以 JPEG 图像编码的数据与软件定义的无线电提供的频率信号数据相似,可因“边缘”分析而获益。但我仍需要确定 Raspberry Pi 上可用的分析类型。
其他调查表明,Raspberry Pi 支持许多 Linux 图像分析软件包(例如,imagemagick、ffmpeg 和其他软件包)。面部检测示例(例如,“魔镜”)同样也在本机运行。最后,我还发现了一些有关将深度学习神经网络(即,)部署到 Pi 的研究。此外,Raspberry Pi 中使用的 ARM 处理器设计也被 nVidia 用于其 Tegra 平台中,尤其是 TX1;因此,高级 GPU 功能在不远的将来同样也可能用于“边缘地带”。请参阅图 5,了解 Age-At-Home 应用程序的 MVP 的所有组件的架构图。
图 5. Age-at-Home 应用程序的 MVP 架构图
虽然边缘分析最初不包含图像分类,但当前活动统计信息的计算和生成的条件分析可在本地执行,然后使用电子消息传递提供所需的通知。在所有检测到的实体之间,将在云端基于整个事件历史记录来计算汇总的统计信息。即,每年 53 周、每周 7 天、每天 96 个时间段(15 分钟),总计超过 330 个检测到的不同实体,例如,人、狗和其他事物。生成的
模型
将通过 Raspberry Pi 下载,用于将当前活动与历史活动进行比较,并在适当情况下激活通知。
收藏
分享
评分
回复
引用
订阅
TOP
返回列表
电商论坛
Pine A64
资料下载
方案分享
FAQ
行业应用
消费电子
便携式设备
医疗电子
汽车电子
工业控制
热门技术
智能可穿戴
3D打印
智能家居
综合设计
示波器技术
存储器
电子制造
计算机和外设
软件开发
分立器件
传感器技术
无源元件
资料共享
PCB综合技术
综合技术交流
EDA
MCU 单片机技术
ST MCU
Freescale MCU
NXP MCU
新唐 MCU
MIPS
X86
ARM
PowerPC
DSP技术
嵌入式技术
FPGA/CPLD可编程逻辑
模拟电路
数字电路
富士通半导体FRAM 铁电存储器“免费样片”使用心得
电源与功率管理
LED技术
测试测量
通信技术
3G
无线技术
微波在线
综合交流区
职场驿站
活动专区
在线座谈交流区
紧缺人才培训课程交流区
意见和建议