技术负责人 II,Databricks – 班加罗尔现场办公
负责 Carelon Global Solutions 医疗平台的 Databricks、Snowflake 和云数据工程。构建可扩展的数据湖仓流水线,并指导印度团队推进现代化计划。
描述
- 负责交付可扩展的数据工程解决方案
- 使用 Databricks 和 Python 领导端到端流水线开发
- 设计批处理和实时数据处理框架
- 审查实施质量并制定工程标准
- 指导团队进行性能调优和系统可靠性建设
- 使用 Databricks、Spark 和 Python 开发并支持 ETL/ELT 流水线
- 创建可扩展的数据湖仓架构
- 建立数据质量、治理和可观测性实践
- 调优 Snowflake 工作负载并完善数据模型
- 为大规模分析设计基于 Iceberg 的数据湖
- 使用 AWS 和 GCP 云服务
- 利用托管服务构建云原生解决方案
- 参与平台现代化和云迁移工作
- 与架构师、产品负责人及业务利益相关者协作
- 将业务需求转化为切实可行的技术设计
- 估算工作量并支持交付规划
任职要求
- 计算机科学专业 B.Tech 或 MCA 学位,或具备同等专业经验
- 至少 7 年总体工作经验
- 至少 3 年相关 Databricks 经验
- 具备设计和交付可扩展 Databricks 湖仓解决方案的实践经验
- 具备高级 Python 和 PySpark 技能
- 深入掌握 Snowflake,包括数据建模、性能调优、查询优化和成本控制
- 熟悉 Apache Iceberg、Delta Lake 及现代开放表格式
- 深入了解 AWS 或 GCP 服务、架构、部署和平台运营
- 具备使用 Spark、Kafka 和云原生服务创建批处理及实时流水线的经验
- 精通 ETL/ELT 架构、数据集成和云迁移
- 具备领导工程团队并交付数据现代化项目的经验
- 具备较强的分析和故障排查能力
- 具备出色的沟通和利益相关者管理能力
- 精通 Databricks Lakehouse Architecture、Delta Lake、Unity Catalog、Workflows 和性能优化
- 熟练掌握 Spark SQL 和分布式处理
- 深入实践掌握 Snowpipe、Streams、Tasks、数据共享和查询优化
- 高级 Apache Iceberg 知识,包括模式演进、分区和时间旅行
- 具备设计和交付大规模数据工程及 ETL/ELT 流水线的经验
- 具备 AWS、Azure 或 GCP 云原生数据服务的实践经验
- 具备跨 OLTP 和分析系统的扎实 SQL 与数据建模能力
- 具备使用 Kafka、Event Hubs、Kinesis 或 Pub/Sub 处理实时数据的经验
- 了解数据治理、元数据管理、数据质量和安全框架
- 优先考虑具备 Terraform、CloudFormation 或其他基础设施即代码工具经验
- 优先考虑具备 Docker、Kubernetes 和容器化数据平台经验
- 优先考虑具备 GitHub Actions、Jenkins、Azure DevOps 或 GitLab 等 CI/CD 工具经验
- 优先考虑具备 AI/ML、MLOps 和 GenAI 数据平台集成经验
- 优先考虑具备 Data Mesh、Data Fabric 和现代企业数据架构经验
- 优先考虑持有 Databricks、Snowflake 或云平台认证
福利待遇
- 重视学习和职业发展投入
- 创新且富有创造力的文化,拥有充分自主空间
- 支持整体健康与福祉的项目
- 多元、公平与包容倡议
- 多种奖励与认可渠道
- 具有竞争力的健康和医疗保险
- 高品质的设施和工作场所环境
- 以员工为中心的工作场所政策
