資料工程師
為 inforcer 的網路安全與 AI 產品打造可擴充的資料平台、整合方案及 ETL 管線。 支援分析、自動化、報表和 AI 專案。
說明
- 設計並持續演進可擴充的資料湖與現代化平台架構。
- 為結構化與非結構化資料打造儲存方案。
- 支援資料治理、安全與法規遵循。
- 改善資料模型與儲存效能。
- 為內部與外部系統開發資料擷取架構。
- 整合 SaaS 平台、資料庫、API 與第三方應用程式。
- 實作批次與即時資料擷取。
- 管理資料同步與變更資料擷取。
- 建立並維護 ETL/ELT 管線。
- 將原始資料轉化為可信賴、可供業務使用的資料集。
- 監控管線效能並主動處理問題。
- 提升資料平台的可靠性、可擴充性與自動化程度。
- 建立資料驗證與品質控管機制。
- 為關鍵管線設定監控與警示。
- 調查資料問題並找出根本原因。
- 維持平台可用性與資料完整性。
- 與業務關係人、分析師、工程師及主管協作。
- 為報表、分析和 AI 工作提供可靠資料。
- 協助規劃資料架構與平台藍圖。
- 記錄解決方案並推廣良好的工程實務。
職位要求
- 具備資料工程師或類似職務的實務經驗。
- 具備扎實的 SQL 技能，以及處理大型資料集的經驗。
- 具備在商業環境中建置 ETL/ELT 管線的經驗。
- 具備開發資料整合方案與資料擷取架構的經驗。
- 具備扎實的 Python 開發能力。
- 具備雲端資料環境的工作經驗。
- 了解資料建模與資料庫設計原則。
- 具備 Microsoft Azure 與 Azure Data Lake Storage（ADLS）使用經驗。
- 具備 Azure Data Factory、Databricks、Apache Spark、dbt 或 Airflow 使用經驗。
- 具備 Azure Synapse Analytics 或 Snowflake 使用經驗。
- 具備使用 Git 進行版本控制的經驗。
- 具備整合 REST API 並運用事件驅動架構的經驗。
- 了解 Kafka 或其他串流技術。
- 了解變更資料擷取（CDC）模式。
- 了解資料治理與主資料管理實務。
- 能與技術及非技術相關人員清楚溝通。
福利待遇
- 持續快速的學習成長機會，並提供完善的支援。
- 高度信任且自主的工作環境，讓你的工作發揮影響力。
- 透明、坦誠的溝通文化。
- 與優秀同事組成的全球團隊共事。
- 每月舉辦團隊社交活動。
- 透過員工表揚計畫肯定傑出貢獻。
- 包容且多元的職場環境。
