高级数据工程师
负责引领 PrePass Azure 数据平台的设计与扩展，使用 Databricks 和 Delta Lake 构建可靠的数据管道。 为交通及收费管理服务提供分析能力和实时运营支持。
描述
- 设计并扩展 PrePass 的核心数据平台。
- 构建并运营可扩展的 Azure ETL/ELT 管道，整合多个来源的数据。
- 运用 SQL、Apache Spark、Databricks 和 Delta Lake 支持分析、报告及实时工作负载。
- 规划并交付传统 SSIS 工作负载的现代化改造。
- 主导概念验证和原型开发，并提出后续建议。
- 推广测试驱动开发、结对编程、持续重构和自动化 CI/CD。
- 将 AI 辅助工具用于代码生成、测试创建、旧系统重构和管道异常检测。
- 依据数据时效性、运行时间和可靠性 SLA 监控关键数据系统。
- 调查并解决数据集成与质量问题。
- 建立端到端可追溯性和可观测性。
- 优化管道和计算资源，以控制成本并支持扩展。
- 制定并维护数据工程标准和架构文档。
- 在敏捷团队中推动持续改进。
- 指导其他工程师。
任职要求
- 具备设计、构建和运营大规模分布式数据管道及云数据平台的实际经验。
- 具备数据管道测试驱动开发经验，包括单元测试、集成测试和数据契约测试。
- 具备结对、重构和持续集成等 XP 实践经验。
- 具备将 AI 编码助手和基于 LLM 的工具融入工程工作流程的经验。
- 具备运营高可用生产系统的经验，能够满足运行时间、可靠性和可观测性要求。
- 具备在敏捷团队中制定工程标准、开展架构评审、编写系统文档和指导团队成员的经验。
- 具备数据科学或机器学习经验，尤其是 Databricks 上的 MLOps、模型部署、特征存储管理或特征工程经验。
- 具备使用 Terraform 或 Bicep 等基础设施即代码工具的经验。
- 熟悉事件驱动架构，包括队列、批处理和发布/订阅模式。
- 具备 Databricks、Delta Lake、PySpark 或 Spark SQL、Databricks Workflows 和 Unity Catalog 的生产环境经验。
- 具备处理高容量 IoT、远程信息处理或交通运输数据的经验。
福利待遇
- 入职当天即可享有医疗、牙科和视力保险。
- 带薪休假包括年假、病假、节假日和浮动假日。
- 提供带雇主配比缴款的 401(k) 计划。
- 公司出资的生活方式账户，可用于身心健康相关支出。
- 提供学费报销计划。
- 可选福利包括法律服务和宠物相关折扣。
- 免费提供员工援助计划。
- 公司设有文化团队，支持员工的身体、心理和职业健康。
- 提供社区公益捐赠项目。
- 提供员工发展计划。
