Coretek 是 Microsoft Azure 專家級託管服務供應商暨雲端技術顧問公司，服務政府、醫療保健、製造業與金融服務等領域的組織。其業務涵蓋雲端移轉、應用程式現代化、DevOps 自動化、工作區管理、網路安全，以及運用 Azure OpenAI 與機器學習技術打造的人工智慧解決方案。Coretek 也透過 Palo Alto 與 Dynatrace 等平台提供安全性與可觀測性服務，並參與涉及 Imprivata 與 Citrix 的合作。公司的跨領域團隊協助客戶實現基礎架構現代化、強化安全性，並發展實用的雲端與人工智慧能力。
Azure 資料工程師——印度混合辦公
為 Coretek 建置並營運可靠的 Azure 批次與串流資料管線。 開發受治理的資料模型、品質控管與正式環境工作流程，支援業務與技術團隊。
說明
- 設計、建置並維護具備冪等性、可觀測性與可復原性的批次及串流資料管線
- 建立分析資料模型，包括維度結構、語意層與整理後的資料集市
- 連接營運資料庫、SaaS API、檔案與事件串流，同時管理結構漂移與延遲到達的資料
- 在資料管線中嵌入資料新鮮度、資料量、唯一性與參照完整性檢查
- 建立資料管線故障的警示與升級程序
- 透過監控、輪值事故回應、根因分析與資料回填管理正式環境管線
- 透過分割、叢集、檔案大小以及資料倉儲或叢集規模調整來改善效能並控制成本
- 使用版本控制、程式碼審查、CI/CD、自動化測試與基礎架構即程式碼
- 與安全及合規團隊合作，落實存取控制、個人識別資訊保護、保留期限、資料沿革與稽核要求
- 與分析師、資料科學家及產品工程師合作，建立持久可靠的資料契約
- 持續更新資料字典、資料沿革紀錄與管線操作手冊
職位要求
- 至少五年建置正式環境資料管線的經驗
- 具備扎實的 Python 資料工程實務經驗，包括測試、封裝與程式碼審查
- 熟悉 PySpark DataFrame 與 SQL API、大規模聯結與聚合、分割、Shuffle 行為，以及使用 Spark UI 進行診斷
- 具備進階 SQL 技能，包括視窗函數、查詢計畫分析與效能調校
- 具備 Azure Data Factory、Databricks、Synapse 或 Fabric，以及 ADLS 的實務經驗
- 具備良好的資料建模知識，涵蓋正規化、星型結構與緩慢變動維度
- 具備以 Git 為基礎的開發工作流程與 CI/CD 交付經驗
- 具備出色的溝通能力，包括向非技術利害關係人解釋資料管線問題的能力
- 具備卓越的分析與問題解決能力，包括根因分析
- 具備在顧問型技術環境中與客戶合作的豐富經驗
- 具備 Kafka 或 Event Hubs 串流資料經驗
- 具備使用 Delta Lake 或 Iceberg 的經驗
- 具備使用 Terraform 或 Bicep 進行基礎架構即程式碼，以及使用 Docker 或 Kubernetes 進行容器化的經驗
- 具備在涉及 HIPAA、SOC 2、PCI 或 GDPR 的受規範環境中工作的經驗
- 具備建置機器學習資料平台或支援特徵管線的經驗
- 能夠管理多個客戶專案，並按時交付高品質工作
- 具備使用 Azure DevOps 或 GitHub 進行原始碼管理與交付管線建置的經驗