数据工程师岗位岗位职责

数据工程师岗位岗位职责

在当下社会，岗位职责在生活中的使用越来越广泛，制定岗位职责有助于提高内部竞争活力，提高工作效率。一般岗位职责是怎么制定的呢？下面是小编为大家整理的数据工程师岗位岗位职责，希望能够帮助到大家。

数据工程师岗位岗位职责1

1、维护数据库稳定运行，持续发现和解决潜在的问题；

2、负责数据库的性能优化，使用新技术和新架构满足日益增长的业务需求；

3、负责数据库的`监控系统设计，为开发团队提供平台支持；

4、负责数据库的运维方面的相关工作，包括数据库的安装部署、压力测试、备份恢复、知识库管理等

5、负责数据库进行容量规划、架构设计，提高业务高可用性和容灾能力；

6、负责数据库相关工作的整体规划，提供决策建议。

数据工程师岗位岗位职责2

职责：

1、负责项目实施服务器所需操作系统、工具、数据库等软件安装并确保其安全运行;

2、负责项目的数据盘查，数据建模，数据清洗、数据整理以及对ETL整体流程的搭建;

3、负责oracle数据库的优化，负责oracle数据库性能调试，解决数据库出现的疑难问题;

4、负责linux系统中脚本的.编写及数据库中存储过程中的语句的编写以及数据库前沿技术的研究与探索;

5、辅助项目经理编写相关文档;

　　任职资格：

1、本科及以上学历，计算机及相关专业;

2、一年以上数据库开发、性能优化经验。

3、熟悉Oracle、MySQL数据库及Hadoop/Hbase等分布式数据存储的设计及开发，熟悉SQL语言;

4、熟悉linux操作系统的使用，熟悉应用系统架构、中间件优先。

5、具有团队合作精神，优良的沟通和协调能力，有较强的学习能力和钻研能力;

6、为人正直、诚信，对工作认真负责，能够承受一定工作压力，适应加班要求;

数据工程师岗位岗位职责3

职责:

1.负责机票酒店大数据项目的评估、设计及关键模块研发;

2.参与公司大数据平台及联机分析系统的建设;

3.机器学习算法讨论、评估及算法的最终编码实现;

4.数据平台开发规范制定，数据建模及核心框架研发;

任职要求:

1.本科及以上学历，计算机或数学相关专业，三年以上相关工作经验;

2.掌握Java、Python、Scala等中的一到两种语言;

3.熟悉Mongodb、Hive、Hbase、Redis等NoSQL数据库开发和调优;

4.熟悉数据相关开源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin等;

5.对数据结构和机器学习算法有一定的'了解;

6.具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先;

7.有机票酒店等旅游行业数据开发经验者优先。

数据工程师岗位岗位职责4

职责：

1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。

2.负责日志大数据平台的搭建和规划;

3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;

4.参与业务日志的大数据分析;

5.及时反馈开发中遇到的难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务

任职资格:

1、计算机等相关专业本科以上学历，2年以上开发经验;

2、熟悉linux操作系统，熟悉shell脚本语言，精通Java，有较强的开发能力;

2、熟练使用SQL，熟悉Mysql、MongoDB、Hive等数据库技术的'基本操作及原理;

3、熟悉Hadoop/Spark生态系统组件的使用，至少有1年的Spark(Core/Streaming/SQL)开发经验;

4、熟悉Elastic产品线(如Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常见优化方案，熟悉Elasticsearch部署、监控及性能调优;

5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;

数据工程师岗位岗位职责5

职责：

对业务数据进行采集、清洗、整理、标签、分层；

根据业务需求，应用统计学、数据挖掘等建立精准数据模型，满足业务需求；

能从业务和产品角度出发，利用数据来发现产品或业务的瓶颈，提出优化方案；

探索业界和学术界前言的`数据挖掘、机器学习理论与实践。

任职资格：

本科及以上学历，数学、统计学、计算机专业优先；

精通数据挖掘脚本语言，能灵活运用R、Python中的一种，熟练sklean/numpy/pandas等科学计算相关库，有统计建模、机器学习或数据挖掘应用的项目经验优先；

对大数据技术有深入了解，能够使用Hadoop、spark等相关技术；

勤奋踏实，乐于学习新事物，有良好团队合作精神和高度的责任感；

医疗、生物背景人员优先。

数据工程师岗位岗位职责6

职责：

1、参与大规模数据快速查询系统的架构设计和开发;

2、大规模数据挖掘和机器学习算法的实现;

3、在线和离线海量数据分析平台的开发;

4、研究大数据前沿技术，提升系统的运维效率;

5、实现大数据基础架构平台的自动化运维。

任职要求：

1、计算机相关专业,具有3年以上大数据开发经验，熟悉Java,Linux;

2、熟悉Hadoop大数据处理系统的`开发,搭建及部署者优先

3、熟练地处理数据模型、数据ETL以及存储管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能独自进行Mapreduce程序开发者优先;

5、熟悉分布式系统概念、架构，有大规模分布式系统设计、实现、部署等经验;

6、有较强的书面与口头沟通表达能力，独立分析、解决问题的能力。

数据工程师岗位岗位职责7

工作职责：

1.负责Hadoop及相关组件的部署和维护，保证其稳定运行；

2.开发和使用Hadoop大数据自动化运维与监控工具；

3.基于大数据应用需求，不断调整和优化Hadoop框架及组件的配置，提升性能；

4.为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持；

任职要求：

1.本科及以上学历，计算机相关专业，2年以上相关工作经验；

2.熟悉Linux开发环境和shell脚本；

3.熟悉Hadoop及其相关组件部署维护，有实际大数据集群运维经验；

4.熟悉IT系统基础架构及网络原理，具备大型集群运维经验；

5.熟悉数据仓库。

数据工程师岗位岗位职责8

职责

1、负责构建公司数据分析与数据挖掘业务分析体系,整体架构设计、规划,充分发挥数据的价值,提高数据质量,促进公司业务更好的发展;

2、通过建立业务的数据分析模型来指导业务的发展,对数据库信息进行深度挖掘和有效利用,充分实现数据的商业价值,构建公司核心竞争力;

3、跟踪并分析用户行为,为公司广告业务的`发展及产品的设计进行海量数据支持;

4、负责数据管理中心团队的建设、发展、激励、培训等管理工作,有效领导数据分析与挖掘团队支持和推动业务发展。

任职要求：

1、热爱数据,对数据及逻辑关系敏感,并对数据体系有深入的认识;

2、本科以上学历、计算机/统计学/经济学等相关专业，有一定工作经验，;

3、具备数据建模(机器学习,数据挖掘,信息检索背景)和分析理论知识和经验;

4、熟悉Linux平台的海量数据分布式存储、分布式计算;

5、熟悉常用的数据分析工具，有基于Hadoop的云计算平台，HBase及类似的NoSQL存储,MySQL,和BI系统等实践经验;

6、熟悉互联网并且对于互联网常见的业务形态与商业模式有深入的理解,对业务变化有敏锐的洞察力;

7、有较强的对业务理解与分析能力，了解业务规划与策划能力以及相应经验;

8、具备较强的问题定位、分解、解决能力及计划和组织能力;

9、善于创新、思维敏捷、精力充沛，沟通能力强，能够承受较大工作压力;

10、有电子商务或互联网数据仓库或商业智能架构设计、开发实施经验者优先。

数据工程师岗位岗位职责9

职责：

1、负责公司大数据平台建设;

2、根据业务需求，制定数据仓库和数据分析平台的.实施和持续更新;

3、攻克技术难关，保证大数据系统的稳定运行;

4、完成大数据产品的开发。

职位要求：

1、计算机相关专业全日制专科及以上学历，大数据相关经验;

2、熟悉Java或Scala语言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大数据相关技术;

3、精通SQL语句并对Redis，Mongodb等NoSQL数据库有一定经验;

4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品经验者优先;

5、责任心强，工作踏实，有团队协作精神，沟通能力强者优先。

数据工程师岗位岗位职责10

职责：

1、负责基于Hadoop/Spark平台架构的开发、设计和布局;

2、完成系统框架的设计和核心代码的编写;

3、针对海量的用户行为数据进行统计、分析与挖掘，不断提高系统运行效率;

4、负责对数据进行分析，为项目组提供大数据技术指导及分析手段支撑;

5、负责大数据平台的性能监控和持续优化;针对需求提供大数据分析技术解决方案;

6、大数据平台的运维工作，持续完善大数据平台，保证稳定性、安全性;

7、熟练使用大数据ETL数据抽取工具;

8、领导安排的.其他工作。

任职资格：

1、3年互联网行业开发经验，计算机或相关专业本科以上学历;

2、精通Hadoop大数据平台架构，具有扎实的Java/Python等开发语言;并可以开发高效可靠的代码;

3、具有较强的数据分析、数据挖掘的能力;

4、熟悉spark、Hive、storm等计算框架者优先，对分布式存储和计算原理有较深的理解;

5、严密的数学思维、突出的分析和归纳能力、优秀的沟通表达能;

6、个性开朗，对技术钻研好学、逻辑思维能力强，沟通能力优秀，有团队合作精神。

数据工程师岗位岗位职责11

职责描述:

1、对网络基础设施进行管理、部署、故障处理;

2、对服务器基础设施进行管理、部署、故障处理;

3、对基础设施技术方案进行整理;

4、对外服务工作的沟通协调和技术支持。

任职要求:

1、热爱数据中心机房工作，具备较强学习能力，具有较强的沟通表达能力;

2、了解或熟悉虚拟化技术(vmware、hyper-v、citric)相关技术;

3、了解或熟悉各类操作系统(windows、aix、liunx)相关技术;

4、了解或熟悉各类网络设施(思科、华为、华三)相关技术;

5、了解或熟悉各类信息安全相关技术;

6、上述五项内容至少需具备二项以上能力;

7、本科及以上学历，计算机相关专业;

8、对有实际工作经验衢州本地人员优先考虑。

数据工程师岗位岗位职责12

职责：

1、参与公司数据仓库基础平台的建设

2、参与数据建模及数据仓库应用产品的设计和开发。

3、参与数据仓库ETL流程的优化及解决ETL相关的技术问题。

4、通过专项分析，输出专项分析报告，为业务模块的决策和产品方向提供数据支持

5、通过市场细分、同期群分析或者AB测试来分析数据，根据数据变化定位产品的`运行现状；

6、其他工作，参与完成各类分析报告、报表等其他指定的工作。

岗位要求：

1、本科以上学历，有三年以上互联网数据仓库设计和实现经验。

2、熟悉数据仓库各类模型建模理论，了解数据仓库数据分层架构，熟悉3NF和多维数据模型设计。

3、具备Hadoop、Hive、Hbase，Spark，Kylin等大数据技术处理经验，并具有开发经验者更佳。

4、热爱数据工作，具有学习精神，有超强责任心和上

数据工程师岗位岗位职责13

1、熟悉电信领域技术与售前支持工作，熟悉电子签名领域软件技术与售前支持工作；熟悉运营商体系；

2、负责与合作客户进行合作交流，分析客户需求、结合公司产品编写方案设计报告、实施方案报告和其他技术方案；

3、参与起草项目规格说明书，国家/行业标准以及其他相关材料；

4、对ICT行业内新技术新产品和新项目进行跟进研究；

5、配合其它部门做好客户沟通、资料共享、技术协调等工作；

数据工程师岗位岗位职责14

1、收集客户文件或要求 审查图纸并进行风险评估，进行成本分析并报价;

2、制作样品单，评估样品备料及需求量，为采购和生产备料提供依据;

3、评估制程能力，确保后期生产的可行性;

4、制作ERP资料(BOM、工艺路线)和包规，确保材料的.准确用量，符合客户要求;

5、新技术和新工艺的引进，同时跟进和推动新技术新工艺的顺利导入

数据工程师岗位岗位职责15

1.针对用户行为预测业务，负责用户画像、订单特征体系建设，包括离线数据产出以及服务化;

2.针对用户端上行为产出的`实时数据流，挖掘实时特征并服务化;

3.针对客服场景，挖掘实时用户行为异常以及进线异常;

4.针对智能客服场景用户标签挖掘，人群挖掘等工作，支持智能运营方向的业务;

5.负责开发并维护智能客服业务的特征服务系统。