职位描述
岗位职责:
1.处理离线数据开发、优化工作;
2.开展Flink/SparkStreaming流式处理框架的开发与优化工作;
3.结合业务应用需求,完成实时数据处理开发工作;
4.熟悉开源Hadoop集群架构及相关组件,包含Sqoop、Hive、DolphinScheduler、Flink、Spark、Kafka、Hbase、Hdfs、
Yarn、Zookeeper等;
5.具备Shell、SQL、JAVA等开发语言;
6.可以根据系统需求相关模型涉及,遵循开发规范,完成各项指标的开发。