天津11选5走势图

深圳市丰成瑞物联科技有限公司为您免费提供条码扫描器等相关信息,敬请关注!
深圳市丰成瑞物联科技有限公司

新大陆白金代理 条码扫描器专家

主营:扫描枪 扫描器 条码识读引擎 图书查重器 数据采集器
全国咨询热线:0755-29639948
联系我们 Contact Us

联系人:王小凤女士(销售部经理)

手机: 13302968340

电话: 0755-29639948

传真: 0755-29639948

邮箱: sale-wang@venture-iot.cn

网址:www.venture-iot.cn

地址: 广东省深圳市宝安区航城大道U8智造产业园U6栋501

您的位置:首页 > 新闻信息 > 详细内容

在数据采集器中用TensorFlow进行实时机器学习

发表时间:2019-04-12   来源:/news/42.html

新DataOps平台的真正价值,只有在业务用户和应用程序能够从各种数据源来访问原始数据和聚合数据,并且及时地产生数据驱动的认识时,才能够实现。利用机器学习(Machine Learning),分析师和数据科学家可以利用历史数据,以及实时地使用类似TensorFlow(TF)这样的技术,以做出更好的数据驱动业务的线下决策。

在本文中,你将学习如何利用TensorFlow模型在StreamSets Data Collector3.5.0和StreamSets Data Collector Edge中新发布的TensorFlow Evaluator*进行预测和分类。

在深入讨论细节之前,我们来看一些基本概念。

机器学习(Machine Learning)


亚瑟·塞缪尔把它描述为:“不需要明确地编写程序而使计算机有能力学习的研究领域。”随着机器学习领域的新发展,计算机现在有能力做出预测,甚至比人类做的还要好,并且感觉可以解决任何问题。让我们先回顾一下机器学习都解决了什么样的问题吧。

通常来说,机器学习被分为两大类:

  • 监督学习(Supervised Learning)

“监督学习是学习一个函数的机器学习任务,该函数基于输入-输出的实例,将输入映射到输出。”—维基百科(Wikipedia)。

它涉及到构建一个精准的模型,当历史数据被标记为一些结果的时候,模型就可以预测出结果了。

用监督学习解决的常见业务问题:

  • 二元分类(学习预测一个分类值)

- 顾客会购买一个特定产品吗?
- 癌症是恶性的还是良性的?

  • 多级分类(学习预测一个分类值)

- 给定的一段文本是否带有病毒、恐吓或淫秽内容?
- 这是山鸢尾、蓝旗鸢尾还是北美鸢尾的物种?

  • 回归(学习预测一个连续值)

- 一个代售房子的预测价格是多少?
- 明天旧金山的气温是多少?

  • 无监督学习

无监督学习允许我们在知道很少,或是完全不知道输出应该是什么样子的情况下处理问题。它涉及在之前数据上的标签是不可用的情况下创建模型。在这类的问题中,通过对基于数据中变量之间的关系进行数据聚类来导出结构。

无监督学习的两种常见方法是K-均值聚类(K-means clustering)和DBSCAN。

注意:Data Collector和Data Collector Edge中的TensorFlow Evaluator目前仅支持监督学习模型。

神经网络与深度学习


神经网络是机器学习算法的一种,可以学习和使用受人脑结构启发而来的计算模型。与其它机器学习算法,如决策树、逻辑回归等相比,神经网络具有较高的准确性。

Andrew Ng在传统人工神经网络的背景下对深度学习进行了描述。在题为“深度学习、自我学习与无监督特征学习”的演讲中,他把深度学习的思想描述为:

“利用了大脑结构的模仿, 希望:

- 让学习算法更好地、更容易地使用;
- 在机器学习和人工智能领域取得革命性的进展;

我相信这是我们朝着真正的人工智能前进的好办法。”

常见的神经网络和深度学习应用包括:

计算机视觉/图像识别/目标检测
语言识别/自然语言处理(NLP)
推荐系统(产品、婚介等)
异常检测(网络安全等)

TensorFlow


TensorFlow是为深度神经网络设计的开源机器学习框架,由Google Brain Team开发的。TensorFlow支持在Windows和Mac操作系统上的可伸缩和便携式的训练,包括CPU、GPU和TPU。迄今为止,它是GitHub上流行的和活跃的机器学习项目。

Data Collector中的TensorFlow

随着TensorFlow Evaluator的引入,你现在能够创建管道(pipelines),以获取数据或特征,并在一个可控的环境中生成预测结果或分类,而不必发起对作为Web服务而提供和公布的机器学习模型的HTTP或REST API的调用。例如,Data Collector管道现在可以实时地检测欺诈交易或在文本上执行自然语言处理,因为数据在被存储到目的地之前,为了进一步的处理或做决策,正在经过各个阶段。

另外,使用Data Collector Edge,你可以在Raspberry Pi和其它运行在所支持的平台上的设备上运行已经启用了的TensorFlow机器学习管道。例如,在高风险地区检测洪水等自然灾害发生的概率,以防止对人们财产的破坏。

乳腺癌分类


让我们考虑将乳腺癌肿瘤分类成恶性还是良性的例子。乳腺癌是一个经典的数据集,可以作为scikit-learn的一部分。要了解如何在Python中使用该数据集训练和导出一个简单的TensorFlow模型,请查看我在GitHub上的代码。正如你将要看到的那样,模型创建和训练被保持在小范围,并且非常简单,只有几个隐藏层。需要注意的重要方面是如何使用TensorFlow SavedModelBuilder*来导出和保存模型。

*注意:要在Data Collector或Data Collector Edge中使用TensorFlow模型,首先应该在你选择支持的开发语言里,如Python,和交互式环境中,如Jupiter Notebook,使用TensorFlow的SavedModelBuilder导出和保存模型。

一旦使用TensorFlow的SavedModelBuilder训练并导出了模型,那么在数据流管道中使用它进行预测或分类就非常简单了 — 只要模型保存在Data Collector或Data Collector Edge可访问的位置上即可。



[返回]   
相关标签:数据采集器,
手机网站二维码手机网站二维码
微信二维码 微信二维码

Copyright©www.venture-iot.cn(复制链接) 深圳市丰成瑞物联科技有限公司   备案号:

哪家好?定制生产多少钱?怎么样?淄博友胜化工设备有限公司专业生产,厂家直供数据采集器、条码扫描器、等高品质产品,欢迎来电生产定制!

热门城市推广:

   Powered by筑巢

中文   |    EN

友情链接:二分彩  分分彩  五分彩官网  二分彩  二分彩  五分彩  

免责声明: 本站资料及图片来源互联网文章,本网不承担任何由内容信息所引起的争议和法律责任。所有作品版权归原创作者所有,与本站立场无关,如用户分享不慎侵犯了您的权益,请联系我们告知,我们将做删除处理!