对于软件开发者来说，大数据领域主要做什么？

大数据作为产业互联网的核心技术之一在未来具有广阔的发展空间，大数据领域将逐渐构建以数据价值化为中心的生态体系，整个生态体系将涵盖大量的相关企业和从业人员。由于数据价值化会直接关系到企业未来的运营和发展，所以大数据的应用领域将突破目前的互联网行业向广大的传统行业发展，因此大数据的影响范围将比较广泛。对于职场人来说，掌握大数据相关技术已经不仅仅是技术人员的事情了，每个职场人都应该对大数据有一定的了解，因为未来的工作环境与大数据的关系会越来越紧密。

目前大数据的应用主要集中在互联网企业和行业资讯企业，因为互联网企业既有数据也有技术，而对于行业资讯企业来说，虽然手里没有数据但是有技术，通过与传统企业合作来从事大数据相关业务。目前行业内围绕大数据的相关岗位集中在数据采集、数据整理、数据存储、数据分析、数据呈现和数据应用上，其中也涉及到多个技术岗位之间的合作，包括从事物联网和云计算的相关岗位。

对于软件开发人员来说，从事大数据的岗位集中在大数据平台研发、大数据应用开发和大数据分析上，其中大数据应用开发和大数据分析的相关岗位比较普遍。大数据应用开发人员的主要任务有两个，一个是已有系统的大数据化，另一个是构建新的大数据应用。对于大数据分析人员来说，主要的开发任务是完成数据分析过程，通常需要采用统计学方式和机器学习方式，其中机器学习方式往往需要大量的程序开发。

简单的说，在软件开发人员的角度上来看，大数据领域主要的工作就是在一堆杂乱无章的数据中查找出其背后的规律。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

通过大数据，谷歌能够比医院更早知道流感即将爆发，因为人们在去医院之前，总是喜欢现在网络上查询流感的特征。当流感相关的query查询量增加的时候，基本就可以预知，新一轮流感即将到来。

概率论有一个定律叫做“大数定律”，是说在随机事件大量的重复中，往往呈现几乎确定存在的规律，这个规律就是大数定律。通俗的说，只要数据量足够大，偶然中就包含着某种必然。

可以说，现在大数据基本上渗透到我们生活的每个角落。

软件开发者在大数据领域要做的首先是存储这些数据，既然是海量数据，如何稳定的存储与高效的读取，是开发者面临的第一个问题。在我之前的中我曾经提到，当数据量非常大的时候，MySql就算使用索引，也无法快速的响应复杂查询了。因此，大数据的存储通常抛弃MySQL，而改用ElasticSearch，这是一种在处理大数据查询时有优异表现的产品。

其实是处理数据，清洗数据，做结构转换