1
Etl工程师,是大数据数仓方向的一个职位,主要是做数据清洗,抽取,转换,目前的话主要已hadoop的hdfs作为存储平台,hive作为数据建模,清洗,结构化数据的分析,使用工具或者脚本,导入到关系型数据库数据结,作为结果数据,供后续各部门使用。
一般的工作应该是hiveSql进行数据分析统计,shell脚本或者job依赖性强的工具如oozie做任务周期调度
发展空间很大,用sql实现业务可以锻炼思维逻辑,增加工作经验,后续可以做数据建模工程师,可以指导小兵做日常开发,而且工资很乐可观
2
ETL工程师是数据行业里需求量大,并且门槛相对较低的职位,作为想要进入数据领域的新人是个不错的选择。
不过,ETL工程师做的是一些偏底层的脏活累活,不容易体现价值,一般3~5年后就会达到职业瓶颈。
当然,这个职位虽然是偏底层,但是接触的内容对整个数据架构中各个部分都有涉及,甚至还会包括一些业务知识,所以在工作中能够有意识的从更高层面来审视数据领域的问题,建立自己的方法论和技术框架,后期的爆发力是非常强的。
就好比王者中的战士,前期猥琐发育,后期发展起来是可以带动全场的