Azure Databricks 資料工程師 — CI&T,巴西混合辦公
在 CI&T 這家技術轉型公司,使用 Azure 和 Databricks 建構可擴充的資料管道。 參與資料湖倉、ETL/ELT 和分析專案。
說明
- 使用 Azure Databricks 和 Azure Data Factory 設計並改善可擴充的資料管道
- 建構涵蓋資料擷取、轉換和交付的 ETL/ELT 工作流程
- 在 Bronze、Silver 和 Gold 層實作 Medallion Architecture 和資料湖倉解決方案
- 使用 PySpark、Spark SQL、SQL 和 Python 建立資料解決方案
- 使用 Delta Lake 支援資料品質、一致性、效能和可靠性
- 為商業智慧和分析使用情境開發並最佳化資料模型
- 連接包括關聯式資料庫和 API 在內的各種資料來源與系統
- 與 BI、資料科學、工程和業務團隊合作
- 遵循品質保證、資料治理、版本控制和 CI/CD 實務
- 應用生成式 AI 工具和程式碼助理,提升開發效率與品質
- 支援涉及雲端、資料和人工智慧的全球轉型與現代化計畫
職位要求
- 具備在正式環境中擔任資料工程師的實務經驗
- 擁有豐富的 Azure Databricks 實作經驗
- 具備進階 PySpark 和 Apache Spark 技能,包括大型資料集處理與調校
- 具備進階 SQL 能力
- 具備使用 Python 進行資料工程的實務經驗
- 具備使用 Azure Data Factory 建構和編排資料管道的經驗
- 了解跨 Bronze、Silver 和 Gold 層的 ETL/ELT 與 Medallion Architecture
- 具備 Delta Lake 和資料湖倉環境經驗
- 了解維度建模和關聯式資料建模
- 具備 Git 和版本控制實務經驗,有 Bitbucket 經驗者優先
- 了解 CI/CD 工具和實務,包括 Azure Pipelines 或 Azure DevOps
- 具備 SQL Server 或 Oracle 等關聯式資料庫經驗
- 工作方式務實、善於分析並專注於解決方案
- 能夠獨立調查問題並提出改善建議
- 具備以下經驗或資格者優先:Kimball 方法和多維模型;Azure Purview 或其他資料治理與目錄工具;使用 Azure DevOps 建構資料管道;Spark Structured Streaming 或 Azure Event Hubs 等串流技術;Erwin 或同類工具;GitHub Copilot、Databricks Assistant 或類似 AI 工具;以及 Azure DP-203 或 Databricks 認證
福利待遇
- 醫療和牙科保險
- 餐費和食品津貼
- 托育援助
- 延長育嬰假
- 透過 Wellhub(Gympass)和 TotalPass 使用健身房及健康與保健服務
- 利潤分享和績效獎金(PLR)
- 人壽保險
- 透過 CI&T University 持續學習
- 折扣俱樂部會員資格
- 免費線上資源,支援身心健康與福祉
- 孕期和負責任育兒課程
- 與線上課程提供商合作
- 語言學習平台
- 為身心障礙者提供招募支援和便利措施
- 專責健康與福祉團隊
- 共融專家和員工社群
