資深資料開發工程師(遠端,波蘭)
加入 InPost Group,擔任資深資料開發工程師,為其歐洲包裹網路提供可靠的資料平台支援。 建置並最佳化 ETL/ELT 管道、Databricks 資料層與品質控管,支援分析和自動化。
說明
- 使用 SQL、PySpark 和 Python 建置並維護 ETL/ELT 工作流程,同時整合多個來源系統的資料。
- 建立 Databricks、Data Lake 和 Delta Lake 資料層,包括資料表、檢視表及分析資料模型。
- 自動化並協調資料擷取與轉換工作流程。
- 透過驗證、監控、警示和事件調查,維持資料的準確性與可靠性。
- 改善 SQL 查詢、Spark 工作負載和儲存設計,以提升效能、可擴充性、穩定性和成本效益。
- 向分析師、產品負責人及其他利害關係人提供可靠且可用於正式環境的資料。
- 維護 Confluence 中關於資料流程、模型、KPI 定義、相依性、資料血緣和事件處理程序的文件。
- 使用 AI 工具加速交付,同時在部署前審查產生的程式碼、設定和文件。
職位要求
- 至少兩年資料工程、分析工程或資料分析經驗。
- 具備設計 ETL/ELT 工作流程以及開發分析資料模型或資料層的經驗。
- 具備維護正式環境資料流程的經驗,包括監控、疑難排解和資料品質保證。
- 具備雲端平台經驗,尤其是 Microsoft Azure。
- 熟悉 SQL、Python、PySpark 和 Databricks。
- 了解 Data Lake 和 Delta Lake 架構以及資料建模原則。
- 具備在開發、測試和正式環境中使用 Git 與 Azure DevOps 的實務經驗。
- 能夠將業務需求轉化為有效的技術解決方案。
- 具備在國際環境中工作的進階英語溝通能力。
- 具備分析能力、邏輯思考、注重細節、積極主動,並能在時間壓力下安排優先順序。
- 具備複雜營運環境工作經驗者佳。
- 了解維度建模,包括星型結構、事實表和維度表、資料粒度,以及用於報表和分析的正規化或反正規化者佳。
- 了解 Databricks 和 Delta Lake 進階功能者佳。
- 具備 Kafka、Structured Streaming 或 Event Hubs 經驗者佳。
- 熟悉監控和警示工具者佳。
- 了解資料安全、存取控制、詮釋資料管理和資料血緣原則者佳。
- 具備 Jira 和 Confluence 使用經驗,或持有相關 Microsoft Fabric 和 Databricks 認證者佳。
- 強化資料工程、分析工程或資料分析經驗。具備設計 ETL/ELT 工作流程以及開發分析資料模型或資料層的經驗。
福利待遇
- 負責直接支援策略性業務決策的資料產品。
- 在多元的國際跨職能團隊中,與經驗豐富的專家並肩工作。
- 探索包括 AI 工具在內的新興技術,並將有價值的創新投入正式環境。
- 直接、即時地看見工作成果。
- B2B 合作安排。
