高级 Databricks 工程师，机器学习与分析（远程—美国）
负责美国退伍军人事务部工作负载的 Azure Databricks 迁移与交付，涵盖机器学习和分析领域。 构建受治理的数据管道、生产级机器学习工作流和面向退伍军人事务团队的报告解决方案。
描述
- 与美国退伍军人事务部团队合作，定义使用场景、规划迁移并交付 Databricks 解决方案
- 评估本地 SQL Server、SSIS、存储过程和计划作业工作负载，并将其适配到 Azure Commercial Databricks 模式
- 使用 PySpark、Spark SQL、Delta Lake、Lakeflow 和 Azure Data Factory 开发并优化数据管道
- 通过 Unity Catalog 访问控制、数据血缘和共享功能治理客户数据
- 通过研讨会、结对交付和实用文档促进客户采用
- 使用 Git、CI/CD 和 Databricks Asset Bundles 创建可复用的模板和代码
- 开发完整的机器学习工作流，涵盖特征工程、模型训练、评估、MLflow 跟踪、Unity Catalog 模型注册和模型服务
- 帮助数据科学家将模型部署到受治理和监控的生产环境中
- 支持生成式 AI 计划，包括检索增强生成和基于智能体的解决方案
- 将 SSIS 和存储过程 ETL 迁移到经过核对的 Databricks 管道中
- 使用 Databricks SQL、AI/BI 仪表板和 Power BI 现代化本地报告
- 从 Databricks SQL 仓库发布报告数据集，包括语义模型和查询性能优化
任职要求
- 具备至少 7 年数据工程经验，其中至少 2 年负责交付生产级 Databricks 工作负载
- 熟练掌握 Python、SQL、PySpark 和 Spark SQL
- 具备 Delta Lake、分层湖仓架构和 Spark 性能优化方面的实践经验
- 具备 Unity Catalog 实践经验，熟悉目录、授权、数据血缘以及行级和列级安全
- 曾将 SQL Server、SSIS 和存储过程等本地系统迁移到云平台
- 了解 ADLS Gen2、Azure Data Factory、Entra ID 和 Key Vault 等 Azure 服务
- 使用 Git、CI/CD 以及 Databricks Asset Bundles 和 Terraform 等基础设施即代码工具
- 具备面向客户的咨询或专业服务经验，参与过需求沟通、研讨会和培训
- 能够以书面和口头形式与技术及非技术利益相关者清晰沟通
- 拥有计算机科学、信息系统或相关专业的学士学位
- 是美国公民
- 能够取得公共信任安全许可
- 具备在美国工作的资格
- 针对 AI/ML 方向，具备使用 MLflow 及 scikit-learn、XGBoost 或 PyTorch 等框架训练、评估和部署模型的经验
- 针对分析方向，了解 Databricks SQL 和 Power BI 数据建模，包括星型模式、语义模型和 DAX
- 优先考虑具备 Databricks 认证、医疗保健数据和 HIPAA 经验、Azure Government 或 FedRAMP High 经验、从 Hive metastore 升级到 Unity Catalog 的经验、Mosaic AI Vector Search、Agent Framework 或模型监控经验，以及对 Microsoft Fabric、Pyramid Analytics 或 Genie 的熟悉程度
福利待遇
- 具有竞争力的薪酬方案
- 慷慨的年假和带薪节假日
- 全面的团体医疗和牙科保险
- 提供雇主匹配的 401(k) 计划
- 人寿保险以及意外身故和伤残保险
- 继续教育和职业发展机会