
PySpark 数据工程师
在 YASH Technologies 构建可扩展的 PySpark 数据管道。使用 Microsoft Fabric、Spark SQL、Lakehouse 和 Data Factory 开发 ETL/ELT 工作流。
描述
- 在 Microsoft Fabric 中使用 PySpark 创建可扩展的数据处理解决方案
- 为大型结构化和半结构化数据集构建并改进 ETL/ELT 管道
- 使用 Fabric Notebooks、Lakehouse 和 Data Factory Pipelines 开发数据摄取、转换和聚合工作流
任职要求
- 具备 3–5 年相关经验
- 使用 PySpark 在 Microsoft Fabric 中设计和开发可扩展的数据处理解决方案
- 为大型结构化和半结构化数据集构建并优化 ETL/ELT 管道
- 使用 Spark DataFrames 和 Spark SQL
- 使用 Fabric Notebooks、Lakehouse 和 Data Factory Pipelines 开发数据摄取、转换和聚合工作流
福利待遇
- 灵活的工作安排
- 包容的团队环境
- 以职业发展为重点的技能培养模式
- 持续学习、更新知识并重新学习的机会
- 稳定的就业
- 友好的职场氛围
- 合乎道德的企业文化







