数据分析师——PySpark、SQL 与 Power BI
为 Instituto de Pesquisas Eldorado 巴西研发中心构建数据管道、模型和仪表板。 使用 PySpark、SQL、Databricks 和 Power BI 开展工作。
描述
- 使用 REST API、网页抓取、旧版 SQL 存储过程和文件创建并部署数据摄取管道
- 协助为无法直接访问数据库的系统实施只读复制，并考虑其对性能的影响
- 使用 PySpark 和 SQL 转换数据
- 协助进行处理成本与性能基准测试，并合理配置资源
- 协助采用奖章架构构建 Bronze、Silver 和 Gold 数据层
- 构建稳健的抓取管道，检测页面布局变化并缓解访问封锁
- 对数据去重、规范化并测试数据质量
- 协助为第三方集成实施数据契约和架构漂移警报
- 创建 Power BI 仪表板和报告
- 将业务需求转化为数据模型和清晰的可视化内容
- 根据 RBAC 策略为报告应用行级安全（Row-Level Security）
- 使用 dbt 创建数据质量测试和声明式转换
- 协助配置自助式分析功能，包括 Fabric Copilot
- 与数据治理团队合作维护数据沿袭和分类
- 发现并修复管道和查询中的性能问题
- 开展用户验收测试，并根据反馈改进仪表板
任职要求
- 计算机科学、计算机工程、系统分析或相关专业本科及以上学历
- 具备中级数据工程、Python 或 PySpark 以及 SQL 经验
- 熟悉 Databricks 或 Spark
- 熟悉 Azure Data Factory 等编排工具
- 熟悉 Parquet 和 Delta Lake 等分析数据格式
- 掌握 dbt 者优先
- 熟悉用于数据管道的 Git 和 CI/CD
- 具备通过 REST API 集成数据的经验
- 了解数据可视化实践和数据叙事
- 具备处理多种数据源的经验，包括 SQL、API、文件、Lakehouse 和 Warehouse
- 具备实施行级安全的经验
- 愿意前往圣保罗出差者优先
- 英语高级水平者优先
福利待遇
- 为所有候选人提供平等机会
- 多元且包容的工作环境
- 欢迎残障人士应聘
- 混合办公安排
- 有机会积累经验并参与重要项目
- 可使用机构的实验室设施并参与研发项目