資深資料工程師——巴西遠端工作
資深遠端資料工程師職位，負責協助 Monte Bravo 建立資料管線與湖倉架構。使用 Python、PySpark、AWS 和 dbt，開發創新的金融平台。
說明
- 開發 Python 應用程式與可投入生產環境的資料管線
- 使用 PySpark 在分散式環境中處理大量資料集
- 使用 dbt 建立、管理及治理資料轉換
- 使用 Airflow 編排資料工作流程
- 使用 GitHub 進行版本控制、提取要求、程式碼審查和 CI/CD 整合
- 使用 Lambda、CloudWatch、S3、Redshift 和 Aurora 等 AWS 服務
- 實作並使用 Apache Iceberg
- 應用資料湖倉與 Medallion Architecture 架構模式
- 執行 ETL 與 ELT 流程
- 協助從零開始打造沒有技術遺留包袱的創新金融平台
職位要求
- 具備使用 Python 建立高效能、易維護應用程式和資料管線的實務經驗
- 具備使用 PySpark 處理大型分散式資料集的經驗
- 具備進階 SQL 技能
- 具備使用 dbt 建立和治理資料轉換的經驗
- 熟悉使用 Airflow 進行資料管線編排
- 具備扎實的 GitHub 使用經驗，涵蓋版本控制、提取要求、程式碼審查和 CI/CD 整合
- 了解 AWS 服務，尤其是 Lambda、CloudWatch、S3、Redshift 和 Aurora
- 具備 Apache Iceberg 使用經驗
- 了解資料湖倉與 Medallion Architecture
- 具備 ETL 與 ELT 工作流程經驗
- 具備 Databricks 經驗者佳
- 具備 Kafka 知識者佳，尤其是生產者開發與事件驅動訊息傳遞方面
福利待遇
- 提供端到端的專業發展機會
- 支持性強且健康的工作環境
- 參與具備實際意義和現實影響的實作專案
- 鼓勵創新、技術承擔和自主性的文化
- 有機會從零開始打造沒有技術遺留包袱的平台
- 使用領先工具、成熟最佳實務和創新方法