大数据工程师的方向很多，但是都离不开hadoop，hive，hbase，kafka，spark，flum，sqoop，flink等这些基础组件，不说深入但也得熟悉！

如果是大数据平台研发工程师，需要重点掌握java体系，还有上面这些组件的开发

如果是大数据运维工程师，重点掌握linux运维，包括shell脚本等，当然，加上python效果更佳，同时上面等组件的部署维护那都是家常便饭

如果是数据接入和开发工程师，那就是各种sql，java以及各种数据接入和处理组件，包括kafka，kettle，flum，storm等等

如果是大数据挖掘和分析一类的，各种sql，hive，spark以及重要的机器学习算法那都是司空见惯，此外，各种可视化技术加成效果更佳，谢谢

学会使用Hadoop或者Spark。

看下图，这就是大数据工程师需要学习的知识，当然还有实训项目尤为重要！

想要学习大数据开发，第一件事并不是要找书籍或者是找视频教程，而是要了解一下大数据行业前景，了解一下成为大数据工程师需要具备什么样的能力，掌握哪些技能我当初学习大数据之前也有过这样的问题，作为一个过来人，今天就跟大家聊下大数据人才应该具备的技能。

首先我们要知道对于大数据开发工程师需要具备的技能，下面我们分别来说明：

用人单位对于大数据开发人才的能力要求有

技能要求：

1.精通JAVA开发语言，同时熟悉Python、Scala开发语言者优先；