資料工程師 - Capital One(紐約,現場辦公)
負責 Capital One 旅遊資料團隊的跨雲端遷移工作。 使用 Python、Spark 和 Databricks 建置支援個人化旅遊體驗的資料管道。
說明
- 與敏捷團隊合作,設計、開發、測試、實作和支援技術解決方案
- 指導開發人員、資料分析師和資料科學家,涵蓋機器學習、分散式微服務、湖倉架構和全端系統
- 使用 Python、Spark、關聯式和 NoSQL 資料庫,以及 Databricks、Snowflake 等雲端資料倉儲
- 追蹤資料工程趨勢、評估新興技術、參與技術社群並指導資料專業人員
- 與產品經理和軟體工程師合作,交付雲端優先的資料能力
- 獨立設計、建置和交付雲端資料應用程式與解決方案
- 建立並應用可提升程式碼品質、可維護性和重用性的工程模式
- 向內部和外部利害關係人解釋技術概念和資料結果
- 建置可擴充、具韌性且營運效率高的資料管道和平台
- 應用包含加密和細緻存取控制在內的資料安全實務
- 負責旅遊資料團隊大規模跨雲端遷移中的重要元件
- 使用 Python、Spark 和 Databricks 將多雲端資料整合至中央資料湖
- 支援即時個人化推薦、目標式旅遊優惠和智慧使用者福利
職位要求
- 具備電腦科學或相關定量學科學士或更高學位
- 至少四年應用程式開發經驗,不包括實習經歷
- 至少兩年分散式資料工作經驗
- 至少兩年 SQL 經驗
- 至少兩年 Python、Java 或 Scala 經驗
- 至少兩年資料管道設計和開發經驗
- 至少一年資料建模經驗,以及使用關聯式和非關聯式資料庫設計端到端解決方案的經驗
- 新申請人不符合雇主提供移民或工作授權支援的資格
- 優先條件:七年或以上應用程式開發經驗
- 優先條件:四年或以上在公有雲中設計、部署和操作工作負載的經驗
- 優先條件:四年或以上使用 EMR、Spark、Glue 或 Databricks 建置或支援分散式資料或運算工作負載的經驗
- 優先條件:四年或以上設計、實作和操作即時或串流資料管道的經驗
- 優先條件:兩年或以上使用 Monte Carlo、Splunk、Airflow 或 Dagster 等資料可觀測性或編排工具的經驗
- 優先條件:四年或以上在 NoSQL 資料庫中處理非結構化或半結構化資料的經驗
- 優先條件:四年或以上設計和支援資料倉儲解決方案的經驗
- 優先條件:兩年或以上敏捷開發環境經驗
- 優先條件:兩年或以上開發可重用、以使用者為中心的資料產品經驗
福利待遇
- 依績效提供的獎勵薪酬可能包括現金獎金和/或長期獎勵
- 提供全面且具競爭力的醫療、財務及其他福利,旨在支援整體福祉
- 為身心障礙申請人提供合理便利
