中級資料工程師（Azure、Spark）— 波蘭遠端
建置 Azure 資料平台與可擴充的資料管線，支援分析與營運。 開發 Spark 工作流程、資料模型及可靠的雲端資料解決方案。
說明
- 建置可擴充且可靠的資料平台與管線，以支援分析和營運
- 使用 Apache Spark、PySpark 和 Databricks 開發分散式資料處理工作流程
- 使用 Azure Data Factory、Synapse、Event Hub 和 Azure Data Lake Storage 擴充雲端資料平台
- 建立供分析、報表及下游用途使用的資料模型
- 整合並處理多種來源的資料，同時維持品質與一致性
- 監控並改善管線效能、可靠性及擴充能力
- 與分析師、資料科學家及工程師合作，將需求轉化為解決方案
- 強化資料工程實務、測試及營運可靠性
- 評估並採用資料工程生態系中的工具與技術
職位要求
- 至少四年資料工程或建置資料處理平台的實務經驗
- 具備扎實的 SQL 技能
- 具備使用 Python 開發管線的豐富經驗
- 具備 Apache Spark 或 PySpark 等分散式處理架構經驗；熟悉 Databricks 者優先
- 具備在雲端環境設計及實作管線的實務經驗；熟悉 Azure 者優先
- 具備正式環境規模的分析系統與資料建模經驗
- 了解 ETL/ELT 設計、維度建模及資料倉儲原則
- 具備現代資料湖架構及 Parquet、JSON 等格式的經驗
- 熟悉 Airflow 等工作流程協調工具
- 具備資料庫開發與最佳化經驗
- 能在最低限度的監督下設計可擴充的解決方案
- 具備良好的協作與溝通能力
- 具備專業英語能力
福利待遇
- 專業成長機會
- 支持性的工作環境
- 具競爭力的福利
- 可選擇遠端工作