Expleo Group
Expleo Group
Expleo Group 是一家全球工程、科技與顧問合作夥伴,協助各類組織轉型營運、開發複雜產品,並改善製造與品質流程。其業務涵蓋顧問服務、國防與物流,並具備人工智慧、數位化與網路安全等領域的能力。Expleo 成立於 1966 年,擁有超過五十年的經驗,由遍布 29 個國家的 18,000 名專家組成的團隊,為創新與營運績效提供支援。

資料工程師(PySpark 與 Databricks)

使用 PySpark 和 SQL 在 Databricks 上建置資料管線, 為分析與機器學習團隊打造可靠且治理完善的資料集。

說明

  • 使用 PySpark 和 SQL 開發 ETL 與 ELT 管線,以處理大規模資料
  • 建置並最佳化 Databricks 工作流程,包括筆記本、工作與叢集設定
  • 與分析和機器學習團隊合作,提供整潔且附有文件說明的資料集
  • 追蹤管線效能、排除故障,並維護資料品質與完整性
  • 建立資料治理機制與平台最佳實務
  • 參與設計審查與架構決策

職位要求

  • 具備 4–6 年資料工程或相關領域的實務經驗
  • 能熟練運用 PySpark 進行大規模分散式處理
  • 精通進階 SQL,包括查詢最佳化、視窗函式、CTE 與複雜聯結
  • 具備扎實的 Databricks、Delta Lake 與工作流程經驗;熟悉 Unity Catalog 者優先
  • 具備 AWS 或 Azure 雲端平台經驗
  • 具備 PySpark、SQL、Databricks、AWS、Azure、Python 和 Git 等核心技能
  • 具備 Apache Kafka 或 Spark Streaming 等串流工具經驗者優先
  • 接觸過機器學習管線與特徵工程工作流程者優先