資料工程師（Azure、Spark）— 烏克蘭遠端工作
打造可擴充的 Azure 資料平台與管線，支援分析、報表和資料導向的決策。與多個團隊合作開發 Spark 工作流程及可靠的資料處理方案。
說明
- 打造可擴充且可靠的資料平台與管線，以滿足分析和營運需求。
- 使用 Apache Spark、Databricks 上的 PySpark 等分散式架構建立資料處理工作流程。
- 運用 Azure 服務推進雲端資料平台，包括 Data Factory、Synapse、Microsoft Fabric、Databricks、Event Hub 和 Azure Data Lake Storage。
- 整合並處理內部及外部資料，同時維持資料的一致性、品質與可靠性。
- 負責資料管線的可靠性、監控與效能。
- 與分析師、資料科學家及工程師合作，將業務和分析需求轉化為穩健的資料解決方案。
- 改善資料工程實務，包括管線標準、測試和營運可靠性。
- 評估並協助導入適用於資料工程環境的工具與技術。
職位要求
- 具備至少四年資料工程或資料處理平台建置的實務經驗。
- 熟練使用 SQL，並具備扎實的 Python 經驗，能夠開發和維護資料管線。
- 具備 Apache Spark 或 PySpark 等分散式處理架構的經驗；具 Databricks 經驗者尤佳。
- 具備設計和實作雲端資料管線的實務經驗，最好熟悉 Azure。
- 曾為正式環境規模的分析系統設計管線和資料模型。
- 了解 ETL/ELT 設計、維度建模和資料倉儲原則。
- 具備現代資料湖架構及 Parquet、JSON 等格式的經驗。
- 使用過 Airflow 等工作流程協調工具。
- 具備資料庫開發和效能最佳化經驗。
- 能在最低限度的督導下設計可擴充且易於維護的資料解決方案。
- 具備良好的溝通與協作能力。
- 具備英語專業工作能力。
- 具備 Snowflake、BigQuery 或 Redshift 等雲端資料倉儲的經驗。
- 具備 Event Hub、Kafka 或 Spark Streaming 等串流技術的經驗。
- 具備 Delta Lake 或其他 Lakehouse 技術的經驗。
- 熟悉 CI/CD 實務及以 Git 為基礎的開發流程。
- 具備在敏捷開發環境中工作的經驗。
福利待遇
- 可遠端工作。
