資料工程師 – 布加勒斯特混合辦公
為能源產業客戶建構可擴充的 Python、Spark、Kafka 與 Airflow 資料管線。設計支援分析與機器學習的雲端資料湖和資料倉儲。
說明
- 建構並維護支援商業智慧、分析與機器學習的高韌性資料管線與架構
- 與資料科學家、分析師、工程師及業務利害關係人密切合作
- 將業務需求轉化為可擴充且高效的資料解決方案
- 向非技術利害關係人清楚說明複雜的技術概念
- 交付高效能、可擴充的資料處理解決方案
- 改善資料儲存、擷取與 ETL 工作流程
- 主導雲端資料解決方案的設計與開發
- 使用 GitLab 進行版本控制，並管理程式碼與部署管線
- 撰寫並最佳化 SQL 查詢，同時將多個來源整合至資料湖與資料倉儲
- 使用 Shell 指令碼及相關工具自動化並簡化資料管線
- 透過指導協助初級資料工程師成長
- 主導程式碼審查並維持工程最佳實務
職位要求
- 具備 STEM 相關學科的學士學位
- 至少四年資料工程師或類似職位經驗，並有交付大規模資料解決方案的實績
- 具備進階 SQL 技能，包括複雜查詢開發能力
- 具備紮實的 Python 程式設計經驗，可用於資料工程、自訂處理解決方案與自動化
- 擁有豐富的 Apache Spark 與 Apache Kafka 使用經驗，能處理分散式與批次處理
- 具備使用 Apache Airflow 編排資料流程的實務經驗
- 具備 AWS 或其他雲端服務供應商的紮實經驗
- 熟悉使用 GitLab 進行版本控制與 CI/CD 工作流程
- 具備使用 Docker 與 Kubernetes 進行容器化的實務經驗
- 具備使用 dbt 進行資料轉換的經驗
- 具備 Shell 指令碼經驗，例如 Bash
- 除 Python 外，具備 Java 或 Scala 經驗
- 具備 Apache Hive 經驗
- 了解資料治理、安全實務與合規要求
- 熟悉敏捷方法與跨職能協作
- 熟悉機器學習概念
- 具備出色的問題解決能力，並有處理大型複雜資料集的經驗
- 具備優異的跨團隊溝通與協作能力
- 能夠指導初級工程師並提供技術領導
福利待遇
- B2B 合作