极简工业分为基于公有云广域工业互联网和私有云局域工业互联网。r
其中私有云采用工业以太网+工业现场总线+IO采集+私有云平台实现,对数据安全比较敏感的用户比较适合。r
公有云广域工业互联网平台则采用2G/3G/4G/ADSL+工业以太网+工业现场总线+IO采集+公有云平台实现,相对于私有云平台,使用更简便,实施成本更低。r
对于私有云这是一种相对较重的技术,会造成后续的维护成本增加,一般只有军工、国有大型企业才会选择,下面我们更多的讨论基于公有云的工业互联网通讯信道选择:r
3.1、ADSL信道r
数据采集根据个人的经验,经历了以下三种,严格意义上是两个形式,就是有埋点与无埋点采集模式。在原理上都绝大部分都差不多,相对有埋点来说,无埋点对业务的支持更好。目前来说,两种都有其特定的应用场景。
数据采集之有埋点
我们知道,我们访问浏览器的一次行为,其实是向服务器发送一次请求,服务器在判断此次请求的合法性后会做出相应的响应,将内容发送回客户端,这样客户就可以看到所需要的内容。在这样的一次访问行为中,数据将采集到你使用了什么设备,在什么时间触发了那个控件、按钮,将访问那个页面等翔实的数据,这些都会由系统或者人工,事先在系统发布的前将相应的埋点信息放置在页面的特定位置上。用户在访问或者点击时,数据就会发送到相应的服务器上。
数据采集之无埋点
无埋点,是有埋点的升级,想像一下,平时在做业务运营的时候,上了一个活动页面,然后要在页面上埋点特定意义的字符串,这其中的复杂性是每个运营人员都应该能够感受到的。还有可能出现埋点错误的可能。为了避免这种无谓的事情的发生,数据采集的技术上有了新的进步,无埋点,无埋点,简单来说系统根据页面的结构,将每一个点生成一个字符串,这样用户在点击的时候就会系统自动的采集到相应的信息。解决了无谓的人力与物力的投入。
像一般网络大数据采集的话,可以用爬虫软件,我这边知道的有一款是前嗅的爬虫软件,用起来还挺简单上手的,自己采的话跟着教程一步一步的操作还挺有成就感的,如果要采的比较多的话好像也可以让他们帮忙采,推荐你可以了解一下试试。
1.数据挖掘:需要用到爬虫工具,现在市场上就有很多通用可视化爬虫工具,比如前嗅,八爪鱼等。
2.数据处理:包括数据的清洗,提取,分类等操作。
3.数据可视化:把处理好的数据按照分类多维度的呈现出来。
这样大数据的商业价值就展现出来了。虽然说得很简单,但是根据企业所需要的数据不同,整个过程也就很不一样。而且每一步,都需要很多的专业技术和算法以及框架来支持的。