高级数据工程师(Databricks 与 Spark)
为 Jenzabar 教育软件构建可扩展的 Databricks 和 Spark 数据管道,打造经过整理的分析数据层。 交付可靠的数据解决方案,支持业务洞察。
描述
- 使用 Databricks 和 Spark 构建并维护可扩展的 ETL/ELT 数据管道。
- 集成并转换源数据,构建经过整理且适用于分析的数据层,同时维护相关流程。
- 与产品、分析和工程团队合作,将业务需求转化为数据解决方案。
- 及时更新数据文档,包括数据字典和数据血缘信息。
- 使用 SQL Server 查询和管理数据。
- 在适当情况下使用 AI 工具和分析来支持决策、提高效率并实现可衡量的业务成果。
- 负责任地使用 AI,运用审慎判断和道德标准,在适当的人类监督下保障数据准确性和隐私。
- 承担其他分配的职责。
任职要求
- 熟练编写 Python 和 SQL 脚本。
- 使用云数据平台;有 Azure 经验者优先。
- 构建管道,将源数据摄取、转换并加载到经过整理的数据模型中。
- 使用数据管道编排和工作流工具。
- 熟练使用基于 Git 的版本控制。
- 有效使用 SQL Server,包括查询优化和性能调优。
- 在约定的时间范围内规划并交付项目。
- 跨团队协作,交付数据驱动的解决方案。
- 具备出色的问题解决能力、自主性和担当意识。
- 至少有八年相关工作经验。
- Jenzabar 不提供工作签证赞助。
- 优先考虑拥有计算机科学或相关领域学士学位者。
福利待遇
- 医疗保险
- 人寿保险
- 牙科保险
- 视力保险
- 带薪休假
- 带薪育儿假
- 带薪假日
- 短期伤残保险
- 长期伤残保险
- 401(k) 退休储蓄计划
- 教育补助
- 有资格获得年度奖金
- 全面的福利待遇
