大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的海量数据，大数据需要通过数据抽取、数据治理、数据分析等一系列处理，从而使企业管理具有更强的决策力、洞察力和流程优化能力。其中，大数据未来的发展方向分为大数据抽取、大数据治理和大数据分析三个方面。

大数据抽取

大数据抽取主要是通过ETL、ESB等数据拉取工具将企业各个业务系统的数据进行打通，可以使内外部应用间不同格式、不同数据库间的数据进行交互。还可以根据用户的实际需求选择不同的数据抽取模式来对企业业务系统数据进行抽取，实现企业数据的相互交换，互通互联。

大数据治理

大数据治理主要是把企业中各个业务系统中最核心的、最需要共享的数据进行整合，集中进行数据的清洗和标准化，并且以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给需要使用这些数据的应用系统，包括各业务系统和决策支持系统等。

大数据分析

通过对数据治理、整合、采集、存储、计算、展现等一些列技术，再通过分析配置功能对挖掘数据统一配置、建模，最终以图形化、图表化的等多样形式将数据进行展现。以此来实现企业数据的价值挖掘，从而提高企业集团业务洞察力、风险掌控力、市场竞争力，为各级管理决策者的决策效率与质量打下坚实的基础。

有这样一句话叫数据重构商业，流量改变未来。数据作为企业的核心资产，对企业的业务创新发展越来越重要，企业也非常重视大数据人才的培养。

一、大数据人才缺口巨大

信息技术的高速发展与高校人才培养之间的矛盾日异突出，导致大数据人才的缺口巨大，从四个维度来分析：

1、据国内知名企业调查发现，目前大数据人才需求在200万左右，而大数据人才从业者才50万左右，整体大数据人才缺口在150万;

2、大数据人才集中在互联网行业，占了2/3，行业分布极不均衡;

因为现在比较流行的大数据的框架，有的都是java写的，不管是你开发还是阅读源码，有时候都会用到java语言。而在业务逻辑中，java用的也很多。

现在大数据方面的数据处理、数据分析、基于大数据的风控、数据热点分析、数据推荐都在用JAVA，这几个方面也是目前大数据领域最普遍的方面。也是未来几年不断优化完善的地方，目前远远没有做好。

大数据的发展，一方面使得人们的生活越来越便利，另一方面，也让人们在互联网上的信息逐渐变成了透明。

现阶段大数据的商业应用主要在从新闻、商品、广告等方面的推荐。就像头条，把每个人浏览的信息，记录下来，通过大数据程序的处理，推荐显示符合你“个人画像”的东西。

再一个，大数据应该是和人工智能领域关联相当紧密的，现阶段的大数据走向成熟，互联网海量数据的积累，让人工智能开始逐渐发展起来，可以说正是由于大数据的快速发展，促进了人工智能领域不断的向前。

个人觉得，未来几年，大数据人才的需求应该不会太少，至少在人工智能领域取得了很大的突破之前。

未来10年将是大数据，人工智能爆发的时代，到时将会有大量的企业需要借助大数据，而Java最大的优势就是它在大数据领域的地位，目前很多的大数据架构都是通过Java来完成的。
Java后端相较于前端来说发展前景要好一些，待遇也相对应要高一些，只不过学习难度要比前端大一些。
就业方向的话大多就是往架构方向升，因为后端学的比较全面所以往架构方向发展比较简单，另外的话往管理岗发展也是可以。
这里整理了一份Java架构学习路线

JAVA大数据，不管哪个方向，都是让生活变得更好，让人类向未来更进一步。

数据更快，

数据更准，

数据更加智能，

数据更安全

大数据这个概念涵盖诸多内容，是一套体系。java和大数据关系其实不是很大，java只是实现大数据功能上的某一种技术而已。

java的话主要偏向于敲代码，代码量非常巨大，不过idea一般提供的插件和jar包挺多，喜欢敲代码的话就可以主攻java了，java也是主要就是后台开发这部分的。

大数据的话，主要就是像你平常逛淘宝搜完某个东西之后，然后你看别的软件也会给你推荐不少你近期搜索的东西，还有就是etl工程师这些，主要负责大批量的数据的处理，跟虚拟机，sql语句啥的打交道比较多，因为要处理的数据比较大，所以每敲一个命令都要格外小心