高级数据工程师（Microsoft Fabric）
构建 Microsoft Fabric 架构、湖仓和数据管道，支持 Derevo 的数据与 AI 解决方案。 将大规模数据转化为洞察，助力业务决策。
描述
- 构建并实施高质量的现代数据架构
- 使用大数据技术开发分析解决方案
- 设计、维护并优化并行处理系统
- 应用数据仓库、数据湖和湖仓的存储与管理最佳实践
- 采集、处理、清洗并编排海量数据
- 集成并转换来自多个结构化和半结构化来源的数据
- 制定与业务目标一致的技术策略
- 参与项目及其冲刺迭代，完成开发工作
- 识别需求并明确范围
- 参与冲刺规划、工程技术会议、研讨会以及与内部团队和客户的会议
- 使用敏捷方法对任务进行分类和估算
- 每日跟踪冲刺进度
- 按时交付，并及时沟通延误情况以管理风险
任职要求
- 英语水平高级
- 熟练掌握 T-SQL 和 Spark SQL，包括 DDL、DML、子查询、CTE、多表连接、聚合、窗口函数、存储过程、索引优化、统计信息和执行计划
- 具备扎实的 Python（PySpark）技能，包括面向对象编程、数据结构、控制流、数据摄取、DataFrame、UDF、时间窗口、分区、PEP 8 和模块化
- 有使用 JSON 和 REST API 进行管道编排、CI/CD 部署、动态参数化和制品管理的经验
- 了解 Microsoft Fabric、Lakehouse、OneLake、Delta Lake 和符合 ACID 标准的 Delta 表
- 了解分区、OPTIMIZE、Z-ORDER 和时间旅行
- 了解数据仓库（Synapse Analytics）、预配和无服务器 SQL 集群、星型与雪花模式、事务性 T-SQL、隔离级别和自动扩缩
- 有使用 Azure DevOps 或 GitHub Actions 进行 CI/CD 和生命周期管理的经验
- 了解数据集单元测试、架构验证和自动化制品部署
- 了解 Monitor Hub 和 Activator、指标仪表板、主动告警及自动化运行手册
- 了解 Eventstreams 和 Eventhouse，用于实时事件摄取、处理窗口和增量聚合
- 了解数据安全与治理、角色和权限、行级与列级安全、动态数据屏蔽及审计
- 了解 Azure Data Factory 者优先
- 具备良好的沟通能力、基于 Squad 的团队协作能力、主动性、协作精神、持续学习能力、责任心、组织能力、数据咨询能力、需求管理能力、制定以客户为中心的策略以及向客户演示的能力
福利待遇
- 法定福利及额外福利
- 有机会在不同领域和技术方向拓展专业能力
- 跨学科发展并迎接新的挑战
- 提供空间、信任和创作自由的工作环境
- 必要的培训
- 参与面向跨国客户的前沿技术项目
- 灵活的远程办公
- 提供工作所需设备
- 内部沟通工具