印度现场办公高级数据工程师
负责 Azure 流水线、混合云架构和分布式机器学习工作流的高级数据工程师。加入 Quantiphi,参与大规模数据现代化项目。
描述
- 协助规划和实施数据流,包括容量评估与配置
- 支持解决方案架构师改造和现代化基于 Azure 的数据解决方案
- 开发可用于生产环境的分布式机器学习工作流代码
- 设计和实施 Azure 数据流水线及流式数据流
- 构建整合本地部署服务与云服务的混合数据解决方案
- 调查复杂的分布式系统问题并交付可扩展的解决方案
- 创建用于每天摄取和处理数 TB 数据的工具
- 与产品负责人、分析师、架构师、平台工程师及云服务供应商协作
- 编写详细设计、技术规格和测试计划
- 负责开发任务、生产发布和上线后支持
- 协助开展单元测试、系统集成测试和用户验收测试
- 与业务团队和支持团队协调测试及迁移活动
任职要求
- 4–7 年专业工作经验
- 目前处于 0–15 天的离职通知期
- 具备扎实的 Spark 和 PySpark 实战经验
- 具备高级 SQL 技能,包括查询性能优化
- 熟练掌握 Python、Java 或 Scala,并具备丰富的实践经验
- 具备 Azure、AWS 或 Google Cloud Platform 工作经验
- 具备 Azure Data Factory 经验者优先
- 有 Databricks 经验者优先
- 具备 Snowflake 或 Synapse 数据仓库经验
- 能够为数据仓库和数据集市设计维度模型
- 了解版本控制和构建自动化工具,包括 Azure DevOps 和/或 MLOps
- 了解操作系统内部原理、文件系统、磁盘与存储技术以及存储协议
福利待遇
- 倡导透明、多元、诚信、学习与成长的文化
- 支持创新以及职业和个人发展的工作环境
