大数据ETL工程师是做什么的,发展前景如何?

1

Etl工程师,是大数据数仓方向的一个职位,主要是做数据清洗,抽取,转换,目前的话主要已hadoop的hdfs作为存储平台,hive作为数据建模,清洗,结构化数据的分析,使用工具或者脚本,导入到关系型数据库数据结,作为结果数据,供后续各部门使用。

一般的工作应该是hiveSql进行数据分析统计,shell脚本或者job依赖性强的工具如oozie做任务周期调度

发展空间很大,用sql实现业务可以锻炼思维逻辑,增加工作经验,后续可以做数据建模工程师,可以指导小兵做日常开发,而且工资很乐可观



2

ETL工程师是数据行业里需求量大,并且门槛相对较低的职位,作为想要进入数据领域的新人是个不错的选择。

不过,ETL工程师做的是一些偏底层的脏活累活,不容易体现价值,一般3~5年后就会达到职业瓶颈。

当然,这个职位虽然是偏底层,但是接触的内容对整个数据架构中各个部分都有涉及,甚至还会包括一些业务知识,所以在工作中能够有意识的从更高层面来审视数据领域的问题,建立自己的方法论和技术框架,后期的爆发力是非常强的。

就好比王者中的战士,前期猥琐发育,后期发展起来是可以带动全场的

关于作者: 网站小编

码农网专注IT技术教程资源分享平台,学习资源下载网站,58码农网包含计算机技术、网站程序源码下载、编程技术论坛、互联网资源下载等产品服务,提供原创、优质、完整内容的专业码农交流分享平台。

热门文章