福特全栈数据工程师
为福特企业技术部门构建可扩展的 GCP 数据管道与平台。 支持数据治理、安全、自动化及性能优化。
描述
- 构建并维护来自多种数据源的可扩展数据接入与整理管道。
- 统一数据标准并提升数据质量,使其适用于分析。
- 使用 Python、SQL 以及 DBT 或 Dataform 开发高效的数据管道。
- 支持端到端开发,确保数据从源头到洞察的流转可靠。
- 使用 BigQuery、Dataflow、Pub/Sub 和 Cloud Functions 构建并运营 GCP 数据平台。
- 落实数据治理政策、访问控制和云安全实践。
- 使用 Astronomer 和 Terraform 管理数据工作流并配置云基础设施。
- 提升管道与存储的性能、可扩展性和效率,优化资源使用与成本效益。
- 与数据和应用架构师、服务负责人及跨职能团队合作,制定实践规范、设计模式和框架。
- 自动化平台运维,增强可靠性、数据质量和效率。
- 向技术及非技术相关方说明复杂的技术决策。
- 寻找改进数据平台并扩展其能力的方法。
- 将业务需求转化为有效的数据资产设计和高效代码。
- 记录数据工程流程并促进知识共享。
任职要求
- 计算机科学、信息技术、信息系统、数据分析或相关领域的学士学位,或同等的教育与工作经验组合。
- 拥有五至七年数据工程或软件工程经验,其中至少两年用于构建和部署云数据平台;优先考虑具备 GCP 经验者。
- 熟练掌握 SQL、Java 和 Python。
- 具备使用 BigQuery、Dataflow 和 DataProc 等 GCP 服务设计并部署云数据管道的实践经验。
- 了解面向服务的架构和微服务。
- 具备 PostgreSQL、MySQL 等关系型数据库、NoSQL 数据库,以及 BigQuery 等列式数据库的使用经验。
- 了解云数据治理框架、加密和数据脱敏。
- 熟悉 CI/CD 管道、Terraform 和 Tekton 等基础设施即代码工具,以及自动化框架。
- 具备出色的分析和问题解决能力,能够排查复杂的数据平台及微服务问题。
- 具备监控和优化 GCP 服务(如 BigQuery、Dataflow、Cloud Run 和 DataProc)成本及计算资源的经验。
- 对数据、创新和持续学习抱有兴趣。
