数据工程师岗位岗位职责

数据工程师岗位岗位职责15篇

随着社会不断地进步，我们都跟岗位职责有着直接或间接的联系，岗位职责包括岗位职务范围、实现岗位目标的责任、岗位环境、岗位任职资格及各个岗位之间的相互关系等。相信很多朋友都对制定岗位职责感到非常苦恼吧，以下是小编为大家收集的数据工程师岗位岗位职责，欢迎阅读与收藏。

数据工程师岗位岗位职责1

职责：

1.负责业务的数仓数据集市的建设,能提炼通用需求,数仓标准,实现高质量的数据互通共享

2.对海量数据进行统计与分析,产品效果评估与分析,为产品策略优化迭代提供强有力的数据支持

3.和业务团队紧密合作推动数据产品与服务的.落地,具备良好的沟通协调能力

任职要求：

1.计算机数学统计,金融等相关专业的本科或以上学历;从事数仓领域至少3年以上,具备海量数据的DW模型设计与ETL开发经验2.熟悉数仓领域知识,包括但不局限于:数据质量,元数据管理,主数据管理,数据开发测试工具与方法;

3.掌握Greenplum,Oracle,Teradata,Mysql等至少一种,灵活运用SQL实现海量数据ETL加工处理;有Greenplum经验优先

4.具有数据仓库相关开发经验,如ETL,建模,BI,数据产品等,熟悉数仓模型

5.掌握一门或多门开发语言,不限于java/python/scala等,熟悉Linux/Unix平台上的开发环境

6、主导过大型数据仓库架构或模型设计经验者优先;

7、较好的沟通理解能力，性格乐观，态度踏实，积极上进;

数据工程师岗位岗位职责2

1、负责结构化数据和文本的数据处理、建模、分析等工作，如：数据清洗、中文分词、情感分析、文本分类等；

2、负责数据需求的收集、整理和分析，配合其他同事完成结构化数据和文本的需求分析；

3、负责分析结果的可视化展现；

4、负责核心算法的.设计与优化。

任职要求：

1、全日制本科毕业；

2、计算机或数学或软件类或统计相关专业；

3、熟悉数据挖掘和文本挖掘的理论基础，掌握统计模型、机器学习相关原理；

4、熟悉r/python/java等编程语言，熟悉常用数据结构和算法，熟悉正则表达式的使用。

数据工程师岗位岗位职责3

职责：

1.负责公司大数据业务集群的运维工作确保高可用;

2.负责基础运维、故障定位、容量规划、扩容及性能优化;

3.设计实现大规模分布式集群的运维、报警监控和管理平台;

4.参与业务架构设计，在设计阶段给出可运维性改进建议;

5.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向。

任职资格：

1.大专以上学历，2年及以上大数据运维工作经验，熟悉hadoop/hbase/hive/Yarn/Spark等分布式相关技术，熟悉源码尤佳，至少掌握python/shell中的一种语言，接受优秀应届毕业生;

2.了解大数据平台应用架构，具备常见问题的基本分析和解决能力;

3.熟悉Linux操作系统的'配置、管理及优化，能够独立排查及解决操作系统层面的问题;

4.熟悉nginx/emq/tomca、mysql/mongodb/redis等web应用/中间件及主流开源数据库的使用和配置。

数据工程师岗位岗位职责4

职责：

1、依据客户需求完成大数据项目的数据分析及建模；

2、进行大数据核心算法的编写；

3、参与项目的需求分析、系统设计、编码工作；

4、参与开发过程中相关新技术的研究和验证。

5、协助承担架构性的体系设计和改造工作，配合制定技术实施方案，按照总体设计组织子系统的设计和开发。

任职要求：

1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关经验；

2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码的.开发、优化改造及成功应用案例；

3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维经验；

4、具有对大型hadoop集群的硬件规划能力；

数据工程师岗位岗位职责5

1、分析各工艺提供的工艺流程及设计规则，理解所用工艺器件的平面和纵向结构；

2、负责模拟及数模混合电路、电源类电路的'全局/模块级版图规划、版图设计，版图验证、版图指导；

3、能与模拟工程师紧密合作，完成版图性能优化，如匹配、噪音敏感性、ESD保护设计、Latch up等可靠性设计；

4、负责项目相关文档的撰写，完成版图物理验证、包括DRC、LVS、ERC、EXT，完成寄生参数提取；

5、能承担高压高性能模拟、混合信号模拟电路、大功率电源类IC产品版图设计，tapeout等工作。

数据工程师岗位岗位职责6

职责：

1.从事国产数据库系统的测试方案的研究，设计工作：

2.独立完成数据库测试工具的开发和关键技术预研、突破;

3.根据安全可靠项目的设计方案，设计、编制集成适配测试方案，搭建数据库系统1:1仿真测试环境，进行集成适配测试;

4.发现集成适配测试过程中的性能和适配性问题，定位问题原因，组织、协调、配合国产设备和软件厂商解决集成适配测试中发现的性能、兼容性问题;

5.负责数据库的.高可用性部署、系统安装、配置管理以及性能调优;

6.对数据库运行状况进行监控，及时对故障进行处理，并分析故障原因，记录解决文档;

7.研究数据库高可用架构、分布式存储和开展数据库优化等技术，提高系统的稳定性和健壮性;

8.负责编制与项目相关的技术文档及用户操作使用说明书;

任职要求：

1.精通人大金仓、达梦、mysql等主流国产、开源数据库系统的工作原理，能够熟练搭建数据库系统，包含数据库集群;

2.精通Linux操作系统，能够熟练编写Shell脚本;

3.精通SQL语句，能够熟练编写数据库脚本和存储过程，精通数据库性能调优;

4.精通数据库数据迁移、数据备份技术;

5.熟悉网络、安全、存储、虚拟化、中间件等相关领域的专业知识，有相关工作经验或资质认证者优先。

6.精通JAVA,C,C++等一项以上的语言。

7.熟练使用MAVEN、SVN等项目管理工具。

数据工程师岗位岗位职责7

1、根据业务需求进行数据模型的调研、设计、开发及验证工作，并持续进行模型的`优化；

2、负责数据模型架构的构建，建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型；

3、持续对系统的技术架构进行改进和优化，提升海量数据的查询性能和用户体验。

数据工程师岗位岗位职责8

职责：

1.负责数据挖掘、机器学习、人工智能技术的研究，并将技术应用在业务建模中

2.结合实际场景，构建算法模型并进行训练验证，对模型和算法进行持续优化和迭代

3.和用户沟通洽谈，将业务痛点转化为数据理解，探索多种算法来解决业务问题

4.核心算法研究，实践探索，持续跟进模型算法的`前沿技术和发展趋势，结合公司业务进行技术预研

岗位要求：

1.金融、统计、数学、计算机等相关专业硕士及以上学历，优秀应届毕业生亦可;

2.在机器学习、数据挖掘、统计学方向拥有扎实的理论基础，

3.精通常用的机器学习算法，了解各种算法的优缺点和局限性;

4.熟悉主流数据库，对NoSql有一定了解及应用经验;

5.精通C++/java/Python中至少一门编程语言;

6.有团队精神，能够承担责任和压力。

数据工程师岗位岗位职责9

职责

1、负责公司数据库产品的架构设计与优化;

2、负责生产数据库(MySQL/Redis/MongoDB等)的日常运维、稳定性保障、性能优化;

3、负责数据库运维标准化，规范化、产品化和智能化;

4、负责数据中心的设计与搭建，以及后续的升级与扩容;

5、配合公司产品和项目需求改进数据库架构，对数据库设计进行评审;

6、负责数据库日常维护、可用性监控、优化备份、容量规划、数据迁移等;

7、及时定位和排除数据库故障，并对数据库进行持续性能优化。

任职要求：

1、本科及以上学历，计算机、软件等相关专业;

2、3-5年数据库相关研发运维经验;

3、精通C/C++、Linux环境编程、TCP/IP协议栈;

4、对MySQL数据库从SQL解析、优化、执行到存储引擎的整体架构有丰富的理论知识和工程实践经验;

5、对数据库的高可用架构有丰富的`工程实践经验，有大规模分布式存储系统的设计经验者优先;

6、熟练掌握NoSQL技术(如Redis、MongoDB等)，具有集群架构搭建、性能优化和监控等生产运维经验;

7、在分布式数据库、NoSQL、数据仓库中一个或多个领域有丰富经验者优先;

8、有MySQL高负载高并发系统的运维经验;

9、具有良好的学习能力、沟通能力、团队合作意识，强烈的责任心与主动性。

数据工程师岗位岗位职责10

职责:

1、负责大数据平台的技术和产品的设计、开发、优化和维护;

2、负责大数据平台设计文档编写，线上产品的.维护;

3、负责系统性能优化，解决各类潜在系统技术风险，保证系统的安全、稳定、快速运行;

4、负责整个产品平台的搭建、多维数据库建设及管控流程设计;

5、参与指标设计，数据建模，负责将数据模型在系统中实现;

6、负责数据抽取、数据交换、实时计算等框架研究及相关产品的研发;

7、负责追踪整体产品过程及质量把控。

任职要求：

1、专业技能：精通Hadoop生态圈中的一项或几项技术，深入了解Hadoop及相关组件的部署及调优;设计或开发过大容量，高性能，高可用，易扩展的分布式系统;熟悉实时计算/流式计算系统，至少熟悉一项Nosql技术;具有扎实java功底及开发能力;对hadoop，hive，hbase，spark等相关源码有一定了解;

2、学历背景：计算机相关专业本科及以上学历;

3、工作经验：3年以上JAVA开发经验及1年以上大数据研发经验

4、能力素质：具有出色的抽象设计能力，思路清晰，善于思考，良好的团队合作能力、沟通能力、较好的自学能力，具有敬岗爱业的精神。

5、有团队管理经验者优先。

数据工程师岗位岗位职责11

职责：

1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发；

2、针对部门大数据业务进行大数据分析、挖掘等产品应用的'开发；

3、大数据平台各类数据业务抽象及模型化；

4、参与大数据管理平台的开发及维护；

5、负责大数据平台数据及相关的应用开发，调优及维护；

6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题；

7、良好的团队合作与沟通能力。

任职要求：

1、本科及以上学历，2年以上大数据应用开发经验；

2、具备Java、Python、Scala其中两种语言的开发经验；

3、了解泛Hadoop大数据生态圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先；

4、具备ETL开发与运维能力，有Flume、kettle经验优先；

5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以上数据处理经验优先，有实时数据处理经验者优先；

6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先；

7、熟悉Linux系统环境，有shell等脚本编写经验，熟悉Mysql、PostgreSql、Oracle等常用关系数据库，熟练编写SQL语句；

8、熟悉Yarn，Kubernetes，Azkaban等资源调度框架者优先；

9、熟悉Datax的二次开发，并有实际开发经验优先。

数据工程师岗位岗位职责12

职责：

1.进行产品需求分析和系统架构设计，负责公司核心业务模块开发，能独立攻关系统难点问题。

2.编写系统架构文档、接口说明文档及主要业务流程图等开发文档。

3.进行团队技术管理，为每个版本制定准确的开发计划并分配给下属人员进行开发。

4.代码审计，指导初中级开发人员编码，协助参与代码设计、审核和检查。

5.参与系统稳定性、性能和扩展性调试。

任职要求：

1.计算机、电子、通信、信息处理、电子商务、办公自动化等相关专业大专以上学历，有5年以上相关软件开发经验;

2.精通web mvc框架、Java、JavaScript，熟悉JSP/Servlet、JavaScript、Ajax、Jquery等WEB技术，至少精通Struts、Spring、Hibernate、iBatis等主流的开源框架之一;

3.有分布式、高可用、高并发系统开发经验，熟悉Dubbo等分布式框架并有应用经验;

4.熟练使用Oracle、MySQL、SQL Server数据库之一，有数据库性能问题诊断及SQL语句调优经验;

5.熟悉Linux操作系统，熟悉Shell脚本，熟练使用SVN或Git版本管理工具;

6.熟练使用WebLogic、Tomcat、WebSphere等web应用服务器之一，熟悉nginx、Apache等的`安装、配置;

7.参与过大型项目软件的开发，有团队精神和敬业精神，具备良好的自我学习能力和独立的解决问题能力，能够带领小团队在指定时间内完成高质量程序;

数据工程师岗位岗位职责13

岗位职责：

1、负责全公司的数据平台数据可视化研发工作

2、独立完成数据可视化研发工作

任职要求：

1、计算机、电子通信、数学、统计或者相关专业本科及以上学历

2、熟练掌握java/python中的`一种语言

3、熟悉数据可视化开发，熟悉echarts应用开发的优先

4、熟悉web开发，熟悉html，js，css

5、熟悉quick bi的优先

6、具备良好的团队合作精神，工作有激情

7、对数据敏感，有产品思维的优先

数据工程师岗位岗位职责14

岗位职责：

1、参与大数据开放平台基础能力建设，承担系统架构、组件开发、方案验证等工作；

2、参与构建大数据系列产品，包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线；

任职要求：

1、统招本科或以上学历，5年以上大数据开发工作经验；

2、扎实的java基础，能熟练使用java进行软件功能开发；

3、熟练掌握基于hadoop生态的大数据开发工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有实时系统开发经验优先；

4、熟悉常用的'数据挖掘算法，例如聚类、回归、决策树等，有过nlp项目经验优先；

5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先；

6、工作积极主动，善于合作，敏而好学；

数据工程师岗位岗位职责15

工作职责：

1、运用数据挖掘和机器学习方法和技术，深入挖掘和分析海量商业数据

2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等

3、运用数据挖掘/统计学习的理论和方法，深入挖掘和分析用户行为，建设用户画像

4、从系统应用的角度，利用数据挖掘/统计学习的理论和方法解决实际问题

任职要求

—计算机、数学，统计学或人工智能等相关专业硕士以上学历，5—10年以上或相关工作经历

—精通1—2种编程语言（Python或Java），熟练掌握常用数据结构和算法，具备比较强的.实战开发能力，能带领团队共同进步。

—具有统计或数据挖掘背景，并对机器学习算法和理论有较深入的研究

—熟悉数据挖掘相关算法（决策树、SVM、聚类、逻辑回归、贝叶斯）

—具有良好的学习能力、时间和流程意识、沟通能力

—熟悉Spark或hadoop生态分布式计算框架

—优秀的沟通能力，有创新精神，乐于接受挑战，能承受工作压力

—有互联网，央企，政务，金融等领域大规模数据挖掘经验者优先