資深資料工程師，資料湖（巴西遠端）
為 Visa 的企業資料湖建置並維護 Spark、Databricks 與 Airflow 管道。 提升資料品質、編排能力，以及可靠的自助式資料存取體驗。
說明
- 使用 PySpark 和 SparkSQL 開發、測試並維護 Databricks 資料擷取、轉換和資料品質管道。
- 建立並更新 MWAA Airflow DAG，以編排資料工作流程。
- 為轉換和驗證工作撰寫並最佳化 SQL。
- 使用 Great Expectations 或同等工具實作並監控資料品質檢查。
- 參與程式碼同儕審查。
- 在資深工程師支援下排除管道故障和資料品質問題。
- 建立並更新資料集及管道文件。
- 參與衝刺規劃、估算和回顧會議。
- 遵循團隊的 CI/CD、測試和治理標準。
- 協助提升 Visa 企業資料湖的可靠性和品質。
職位要求
- 常駐巴西。
- 英語溝通能力達到 B2 或更高程度（中高級）。
- 具備至少 3 年相關經驗並持有學士或副學士學位，或具備至少 5 年相關經驗。
- 使用 Python 進行自動化和資料處理。
- 了解批次資料管道以及 ETL/ELT 模式。
- 具備 Apache Spark 基礎知識，包括 PySpark 或 SparkSQL。
- 能夠使用 Databricks 工作、工作流程和叢集管理功能，並進行效能調校。
- 使用中高階 SQL，包括連接、視窗函式和 CTE。
- 了解 Amazon S3 資料湖設計，包括分割、配置和生命週期管理。
- 掌握 AWS 核心概念，包括 S3、IAM 和 CloudWatch。
- 了解維度建模或 Kimball 建模以及獎章層架構。
- 使用 Git/GitHub 工作流程並參與程式碼審查。
- 具備 Delta Lake、Apache Airflow/MWAA、CDC 模式、資料品質概念、Terraform 基礎，或 Superset 等 BI 整合及儀表板經驗者優先。
福利待遇
- 遠端工作安排。
- 有機會在大規模環境中發揮影響力。
- 透過有意義的工作促進職涯發展和技能成長。
- 遠端員工可能有機會在 Visa 辦公室工作，相關安排將提前通知。
