谢请,
正常来讲学习大数据之前都要做到以下几点
1.学习基础的编程语言(java,python)
2.掌握入门编程基础(linux操作,数据库操作、git操作)
3.学习大数据里面的各种框架(hadoop、hive、hbase、spark)
Java软件开发者,如何学习大数据,这个问题很好,我想java开发者有80%的人,想过这个问题,就我个人经验来说,Java开发者转大数据是好转的
,首先,我们有java技术,因为很多大数据的技术都是用java语言开发的,比如大数据中用的最广的技术hadoop技术是用java语言开发的,如果你想做hadoop的二次开发,那么你是有很好的开发经验的,
还有大数据中的hive数据仓库,也是用java语言开发的,而且hive使用很简单,是用的hql语言的,这种语言和sql语言用法相似,对于java开发人员来说这肯定是小菜一碟啦!还有hadoop的nosql数据库hbase,也是java开发的,对于编写hbase的相关程序对你来说也是小case,还有strom实时处理技术等等好多都是java开发的,
而且好多的大数据技术都有java开发的api,想kafka和spark都有的,而且,你还有之前的工作经验,想转大数据很轻松,想拿高薪的话,那就深入学习一下这些大数据技术吧!很有趣的。
如果你想要做一个数据分析师或者数据挖掘师,那么,你首先要做的不是马上去买很多的相关书籍,也不是马上去报一个数据分析师培训课程,西线学院觉得你最先应该做的是弄明白大数据是什么意思。了解了大数据的含义之后,不管是你自学也好,跟班学习也好,都是可以受益匪浅的。所以,我们先来一下大家可能比较关心的一些问题。
一、大数据是什么?
大数据是一个庞大的体系,其中大致包括以下几方面:
1.数据存储阶段(用户信息,行为信息存储进硬盘)。
谢请!
作为java软件开发者,相信已经有了足够的java开发基础和编程语言学习基础。大数据作为一门新的java技术,如何学习和掌握这门知识最迫切需要的就是明晰它的知识体系和学习路线,有了路线,不愁学不会。刚好我有一份学习大数据的知识体系和学习路线,以飨大家。
大数据学习路线(非常全面)
一、知识体系
Linux(shell,高并发架构,lucene,solr,elasticsearch)
Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume)
Java程序员转大数据工程师有很好的基础条件
对于Java程序员,大数据的主流平台hadoop是基于Java开发的,所以Java程序员往大数据开发方向转行从语言环境上更为顺畅,另外很多基于大数据的应用框架也是Java的,所以在很多大数据项目里Java语言的确是可以派上用场的。所以,Java程序员转大数据工程师是具备很好的基础条件的。 当然,hadoop核心价值在于提供了分布式文件系统和分布式计算引擎,对于大部分公司而言,并不需要对这个引擎进行修改。这时候除了熟悉编程,你通常还需要学习数据处理和数据挖掘的一些知识。尤其是往数据挖掘工程师方向发展,则你需要掌握更多的工具和知识。
成都朗沃教育Java程序员转大数据职位的学习路线图:
第一步:分布式计算框架 掌握 hadoop和spark分布式计算框架,了解文件系统、消息队列和Nosql数据库,学习相关组件如hadoop、MR、spark、hive、hbase、redies、kafka等;
第二步:算法和工具 学习了解各种数据挖掘算法,如分类、聚类、关联规则、回归、决策树、神经网络等,熟练掌握一门数据挖掘编程工具:Python或者Scala。目前主流平台和框架已经提供了算法库,如hadoop上的Mahout和spark上的Mllib,你也可以从学习这些接口和脚本语言开始学习这些算法。
大数据是目前互联网行业流行的技术术语,因此衍生了许多与大数据相关的行业。大数据的应用是通过数据挖掘和分析来影响业务决策的。
大数据有很重要的价值,对于企业公司来说很重要,要问大数据工程师的工作是怎么?一个很重要的工作就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。
目前,与数据有关的人才刚刚起步,人才市场还不太成熟,“你很难指望有一个全才来完成整个环节中的所有环节。”。更多公司将根据现有资源和短板招聘与现有团队互补的人才。
个人认为大数据是种架构,跟原来学什么语言没什关系的。学习大数据的过程中个人认为首先需要了解大数据的理论和常见服务系统的构建、配置和使用,到网上爬一些数据和信息来做些试验,当然,每个大数据应用都有他的主题,所以大数据的采集、分析和应用才是学习的核心。个人建议,仅供参考。
我是一个有10年项目架构经验的java软件工程师,欢迎关注我,了解更多java前沿技术!
现在大数据技术spark有完整的生态圈,你可以只要学习spark相关技术就可以了,网上有很多spark 的学习视频,讲解的相当好
我觉得你这样问,应该是还想做和java相关的事情,不然不会提你是java程序员。所以,入门最好的是平台相关,去做一个大数据平台开发工程师。之后如果愿意学其他语言,去学scala,很多平台方面的组件是scala开发的,而且能更偏向数据逻辑。之后学python,这个时候就可以做数据挖掘,开始玩数据了。如果你的目标是玩数据,我建议你先学python和scala,毕竟你有java基础,学其他语言会很快。做挖掘、ai还是放弃java的好
首先学习大数据是需要花很长的时间的,现在的组件多。不像前几年,会几项就可以了。
重点是在学习大数据的过程中,要多花时间,比你学JAVA的时间还要长。最快速的办法是报培训班,其次在网上买一些视频和书籍。还要找一个懂大数据的话,经常问他。万一你在网上买的视频,对市场已经过时了,就浪费了时间。
好好加油吧。