高级数据工程师（Databricks）
负责 Ellis Porter 移民法律业务及负责任 AI 项目的 Databricks 数据管道、治理与平台运营。 为律所各团队构建可靠、可信的数据产品。
描述
- 构建并维护 Databricks 数据摄取管道，从 Ellis Porter 的业务系统接入数据。
- 自动执行数据质量检查并核对数据源，找出缺失、不准确或重复的记录。
- 设计并构建银层和金层数据层。
- 交付受治理的数据产品，用于报告、跨系统匹配和身份解析。
- 管理日常平台运营，包括作业调度、监控、告警、数据时效性、访问控制和成本优化。
- 维护运行手册，测试恢复流程，并记录平台支持知识。
- 使用 Azure DevOps 管理 CI/CD 管道，以及开发、测试和生产环境的部署。
- 就数据平台以外的 Azure 基础设施需求，与 Ellis Porter 的 IT 供应商协调。
- 保护记录系统，设置适当的用户访问权限，并在部署前核实许可和平台限制。
- 与业务利益相关方合作，将其需求转化为实用、可靠的数据解决方案。
- 为敏感的客户和案件数据制定并实施保密、保留、最小权限访问及审计控制措施。
- 通过数据脱敏、评估数据集和人工审批，支持范围明确的 AI 及合作伙伴试点项目。
- 评估现有 Databricks 平台，寻找改进机会，并协助发展数据职能。
- 与数据服务与产品经理，以及业务、应用、IT 和安全利益相关方合作，讨论架构及自建或采购决策。
- 完成管理层分配的其他职责。
任职要求
- 计算机科学、工程或相关领域的学士或硕士学位，或同等实践经验。
- 至少四年数据工程经验。
- 至少两年在生产环境中构建和运营 Databricks 解决方案的实际经验。
- 具备使用 Unity Catalog 治理 Delta 表上的多任务 Lakeflow Jobs 的经验。
- 强烈优先考虑具备声明式自动化包（此前称 Databricks Asset Bundles）或同等基础设施即代码部署经验者。
- 能够说明自己构建的生产管道，包括设计选择、故障和运营挑战。
- 能够与非技术合作伙伴清晰沟通，并将工程决策与业务影响联系起来。
- 熟练使用 Python，包括使用 pytest 进行测试和软件打包。
- 优先考虑具备 PySpark 经验者。
- 具备扎实的 SQL 和维度建模技能，包括向 BI 工具提供受治理的数据集。
- 具备构建 REST API 和 SaaS 数据摄取管道的经验，包括处理分页、速率限制、架构变更和凭据轮换。
- 具备基于 Git 的 CI/CD 工作流经验。
- 具备 Azure DevOps 经验者优先。
- 具备使用 AI 辅助开发工具的经验，包括在部署前审查、测试和验证生成的代码。
- 具备 Lakeflow 管道、托管连接器、实体解析或记录链接经验者优先。
- 具备数据平台 Azure 资源管理经验者优先，最好熟悉基础设施即代码。
- 所有工作必须在美国境内完成。
福利待遇
- 有机会从事富有挑战性、多样且有成就感的工作，支持一项鼓舞人心的使命。
- 加入由聪慧、有创造力且敬业的移民专业人士组成的团队；团队重视尊重、协作的工作关系。
- 包容的律所文化，重视多元的观点、背景、身份和经历。
- 以人为本的职场政策和灵活的工作安排，包括远程工作机会。
- 具有竞争力的薪酬。
- 健康、牙科、视力和人寿保险。
- 提供雇主配比供款的 401(k) 退休储蓄计划。
- 丰厚的带薪休假。
- 在 Troy 或 Ann Arbor 办公室现场工作的员工可穿着休闲服装。
- 在 Troy 或 Ann Arbor 办公室现场工作的员工可享用免费食品。
- 在 Troy 或 Ann Arbor 办公室现场工作的员工有定期体验国际美食与文化的机会。