高级数据工程师 - 马拉松石油公司，圣安东尼奥，德克萨斯州
负责设计可扩展的 Azure 数据管道和云解决方案，为马拉松石油公司的运营提供支持。 您将参与数据架构建设、强化治理与安全，并指导其他工程师。
描述
- 构建、增强并优化可扩展的数据管道和基于云的数据解决方案
- 在数据工程项目中应用 Azure Data Lake、Synapse Analytics、Azure Functions 和 Databricks
- 与分析、产品、架构、治理和业务相关方合作，将需求转化为可扩展的解决方案
- 设计并改进数据提取、摄取和转换工作流
- 为复杂的大容量数据集开发数据架构
- 交付复杂的数据管道，同时应用数据安全和隐私控制措施
- 使用开源技术和云技术执行复杂的数据质量与处理工作
- 在重大事件期间提供专业技术支持
- 跨部门协调，以维护可靠的数据集成
- 持续改进数据处理实践，同时推动一致性和工程标准
- 解决复杂的数据挑战，并参与战略性数据基础设施规划
- 负责数据解决方案的质量保证和测试工作
- 指导和支持经验较少的数据工程师
- 通过技术评审协助制定工程标准、可复用模式和解决方案设计
任职要求
- 必须具备信息技术或相关专业的学士学位
- 必须具备至少五年相关数据工程经验
- 熟练掌握 Python、SQL、Spark 和编排工具，包括 Azure Data Factory 和/或 Databricks Workflows
- 具备大数据技术和分布式计算框架经验，例如 Hadoop 和 Spark
- 了解 AWS、Azure 或 Google Cloud Platform 上的云数据平台及相关服务
- 能够制定和管理数据治理政策、流程与标准
- 具备通过 ETL 流程、数据管道和数据摄取框架进行数据集成的经验
- 能够设计并实施可扩展的数据模型
- 理解完整数据生命周期中的数据运营
- 能够应用数据隐私实践，并管理访问权限和同意协议
- 深入了解数据质量维度、方法和最佳实践
- 了解数据隐私法规、网络安全实践和数据安全技术
- 熟悉监控与可观测性工具及实践
- 了解 DevOps 方法
- 具备一般编程能力
- 具备元数据管理解决方案经验
- 了解 NoSQL 数据库
- 了解实时数据处理
福利待遇
- 医疗、视力和牙科保险
- 带薪休假
- 401(k) 匹配供款
- 带薪育儿假
- 教育费用报销
- 酌情发放的公司年度奖金