Databricks架构师——美国远程职位
Point C正在招聘一名远程Databricks架构师，为医疗福利数据构建Azure湖仓平台。 该职位涵盖理赔数据管道、治理以及生产分析基础设施。
描述
- 使用Databricks、Apache Spark、Delta Lake和SQL创建可扩展的数据平台，并配合解决方案架构和技术设计文档。
- 为涵盖多个理赔系统的企业工作负载开发Bronze、Silver和Gold奖章架构。
- 使用Databricks Workflows、PySpark和SQL构建、调优并维护生产ETL/ELT管道。
- 支持ADF和ADLS数据摄取，以及既有的kill-and-fill维度模式。
- 设计和管理数据模型及Delta表，包括架构演进、时间旅行、分区和优化。
- 设计连接云存储服务与数据库的Azure解决方案架构。
- 实施Unity Catalog、访问控制、数据治理、数据血缘和安全措施。
- 将理赔系统数据字典转换为Unity Catalog表，用于报表和API。
- 制定并执行提升平台性能和控制成本的策略。
- 与数据工程师、分析师及业务利益相关者协作，将需求转化为技术设计。
- 为Databricks笔记本、作业和基础设施建立CI/CD流程。
- 诊断生产管道问题，并协助维护平台可靠性。
任职要求
- 具备5至7年数据工程或云工程经验。
- 拥有Databricks和Apache Spark的实际操作专业能力。
- 精通PySpark和SQL。
- 深入了解Delta Lake和奖章架构。
- 具备至少一个云平台的经验，具体为Azure。
- 了解数据治理、Unity Catalog、IAM/RBAC和安全实践。
- 具备Git、CI/CD和基础设施即代码概念方面的经验。
- 深入了解数据仓库、维度建模和分布式数据处理。
- 具备Azure Data Factory经验者优先。
- 具备Terraform经验者优先。
- 具备Kafka或其他流处理技术经验者优先。
- 具备Power BI平台经验者优先。
- 拥有Databricks认证者优先。
- 具备企业数据湖或湖仓设计经验者优先。
福利待遇
- 医疗、牙科、视力和人寿保险。
- 提供雇主匹配的401(k)退休计划。
- 提供健康储蓄账户和灵活支出账户选项。
- 带薪休假和伤残假。
- 员工援助计划。