資料分析師——PySpark、SQL 與 Power BI
為 Instituto de Pesquisas Eldorado 巴西研發中心建置資料管線、模型與儀表板。 使用 PySpark、SQL、Databricks 和 Power BI 開展工作。
說明
- 使用 REST API、網頁擷取、舊版 SQL 預存程序與檔案建立並部署資料擷取管線
- 協助為無法直接存取資料庫的系統實作唯讀複寫，並考量其效能影響
- 使用 PySpark 和 SQL 轉換資料
- 協助進行處理成本與效能基準測試，並有效配置資源
- 協助採用獎章架構建置 Bronze、Silver 和 Gold 資料層
- 建置穩健的擷取管線，偵測版面變更並降低遭封鎖的情況
- 將資料去重與正規化，並測試資料品質
- 協助為第三方整合實作資料契約和結構漂移警示
- 建立 Power BI 儀表板與報表
- 將業務需求轉化為資料模型和清晰的視覺化內容
- 依照 RBAC 原則為報表套用資料列層級安全性（Row-Level Security）
- 使用 dbt 建立資料品質測試與宣告式轉換
- 協助設定自助分析功能，包括 Fabric Copilot
- 與資料治理團隊合作維護資料沿襲與分類
- 找出並修正管線和查詢的效能問題
- 執行使用者驗收測試，並根據意見回饋改善儀表板
職位要求
- 具備電腦科學、電腦工程、系統分析或相關領域的學士學位
- 具備中階資料工程、Python 或 PySpark，以及 SQL 經驗
- 熟悉 Databricks 或 Spark
- 熟悉 Azure Data Factory 等協調工具
- 熟悉 Parquet 和 Delta Lake 等分析資料格式
- 具備 dbt 知識者佳
- 熟悉用於資料管線的 Git 和 CI/CD
- 具備透過 REST API 整合資料的經驗
- 了解資料視覺化實務與資料敘事
- 具備處理多種資料來源的經驗，包括 SQL、API、檔案、Lakehouse 和 Warehouse
- 具備實作資料列層級安全性的經驗
- 願意前往聖保羅出差者佳
- 具備進階英語能力者佳
福利待遇
- 為所有候選人提供平等機會
- 多元且共融的工作環境
- 歡迎身心障礙者應徵
- 混合辦公模式
- 有機會累積經驗並參與重要專案
- 可使用機構的實驗室設施並參與研發專案