高级数据工程师 – Databricks(印度远程)
负责为 Oportun 在印度的金融服务运营打造安全的 Databricks 数据产品和湖仓基础设施。 负责架构、生产管道、治理、集成以及会员沟通数据。
描述
- 构建并运营安全、可扩展的数据产品,用于受众选择、资格判定、偏好、同意、活动输入、交付数据和运营报告。
- 定义安全的数据架构,包括数据模型、数据契约、血缘关系和所有权标准。
- 负责复杂数据工程项目,从技术调研和设计一直到生产发布。
- 协调工程师和利益相关者,同时管理依赖关系、风险和技术决策。
- 使用 Databricks、Apache Spark、PySpark、Spark SQL、Delta Lake 和 SQL 开发并优化生产管道及集成。
- 对适合的旧版数据工作负载进行现代化改造。
- 实施可靠的数据加载、对账、重试、幂等、恢复和部署模式。
- 维护湖仓和运营数据资产,确保性能、完整性、可用性和安全性。
- 通过验证、监控、告警、仪表板、运行手册和血缘关系建立数据质量及治理控制。
- 与隐私、合规、风险和安全团队合作,处理个人身份信息、同意、偏好、抑制、保留和访问控制。
- 通过设计评审和代码评审提供技术指导,指导初级工程师,并领导复杂的生产问题调查。
- 追溯事件根因并交付持久的纠正方案。
- 与产品、沟通、分析、工程、风险、隐私、合规及其他合作团队协作。
- 通过自动化测试、CI/CD、发布规划和发布后测量准备版本发布。
- 跟踪管道性能、质量、及时性、成本和可靠性。
- 审慎应用 AI 工具,减少重复工作并强化工程决策。
任职要求
- 至少六年的数据工程经验,涵盖架构、管道、平台以及数据库或湖仓运营。
- 拥有计算机科学、数据科学、工程或相关学科的学士或硕士学位,或具备同等实践经验。
- 熟练掌握 Python、PySpark 和 SQL。
- 具备经过验证的领导能力、分析性解决问题能力、良好的判断力和清晰的沟通能力。
- 具备 Databricks、Apache Spark、Spark SQL、Delta Lake、工作流编排、CI/CD、Git 工作流、自动化测试以及端到端数据集成或产品的生产经验。
- 具备数据质量、可观测性、告警、血缘关系和云服务背景,尤其是 AWS。
- 具备通过访问控制、密钥管理、加密和可审计性保护敏感会员数据的经验,并具备敏捷交付经验。
- 具备金融服务、贷款、营销技术、客户沟通或其他受监管行业的经验。
- 熟悉 Unity Catalog 或类似治理平台,并了解 Java 或 Scala。
- 具备使用 ChatGPT 或 Copilot 提升工程生产力、测试、文档、故障排查、数据质量或运营效率的经验。
- 了解 AI 代理或自动化,并能在安全、隐私、准确性和人工监督方面谨慎判断。
福利待遇
- 医疗、牙科和视力保险。
- 公积金。
- 人寿和意外保险。
- 网络补贴。
- 燃油补贴。
- 餐费补贴。
- 电话补贴。
- 旨在支持身心健康、财务状况和职业发展的薪酬福利方案。
