
資料工程師 4,Python、AWS 與 Spark——Capital One,紐約市
Capital One 全職現場資料工程師職位,負責開發安全、雲端優先的串流資料平台,支援個人化行銷體驗。 使用 Python、Spark、Kafka、SQL、Snowflake 和 Databricks 建置湖倉解決方案。
說明
- 獨立設計、開發、測試和部署具韌性且可擴充的雲端優先資料解決方案、湖倉架構和即時串流管道
- 領導並影響涵蓋開發、資料分析和資料科學的跨職能敏捷團隊
- 應用共用的資料工程模式,提升程式碼品質、可維護性和營運效率
- 使用 Python、SQL、Scala、Spark、NoSQL 資料庫、開放原始碼關聯式資料庫、Databricks 和 Snowflake 進行開發
- 實作傳輸中和靜態資料加密、細緻存取控制、資料品質措施、治理和允許使用標準
- 與數位產品經理和軟體工程師合作,交付可靠的解決方案並改善客戶體驗
- 向技術和非技術利害關係人說明技術概念和資料發現
- 追蹤技術發展、參與工程社群,並使用互動式 AI 工具加速交付
- 進行單元測試和程式碼同儕審查
- 改善系統效能、可觀測性以及對下游使用者的支援
- 建置可擴充的平台,為自有和付費廣告技術管道提供個人化全通路訊息傳遞和體驗
職位要求
- 具備電腦科學或相關量化領域(例如統計學、經濟學、作業研究、分析學、數學或工程學)的學士學位或更高學歷
- 至少四年應用程式開發經驗,不包括實習經驗
- 至少兩年分散式資料工作經驗
- 至少兩年 SQL 經驗
- 至少兩年 Python、Java 或 Scala 經驗
- 至少兩年設計和開發資料管道的經驗
- 至少一年使用關聯式和非關聯式資料庫進行資料建模及端對端解決方案設計的經驗
- 新申請人不符合雇主提供移民擔保或移民相關支援的資格
- 優先條件:具備電腦科學、資料工程、資訊系統或相關技術學科的碩士學位
- 優先條件:七年或以上使用 Python、SQL、Spark、Scala 或 Java 進行應用程式開發的經驗
- 優先條件:四年或以上在 AWS、Azure 或 GCP 上設計、部署和營運公有雲資料工作負載的經驗
- 優先條件:四年或以上使用 EMR、Spark、AWS Glue、Databricks、MapReduce、Hadoop 或 Hive 建置分散式資料或計算工作負載的經驗
- 優先條件:四年或以上設計、實作和營運 Kafka 等即時串流應用程式的經驗
- 優先條件:四年或以上設計和管理 Snowflake 或 Redshift 等資料倉儲的經驗
- 優先條件:四年或以上實作 NoSQL 系統,並使用 MongoDB、Cassandra 或 DynamoDB 建置半結構化資料解決方案的經驗
- 優先條件:四年或以上在 UNIX 或 Linux 環境中使用基本指令和 shell 指令碼的經驗
- 優先條件:兩年或以上使用資料編排或資料可觀測性工具的經驗
- 優先條件:兩年或以上開發可重複使用、以使用者為中心的資料產品的經驗
- 優先條件:兩年或以上在敏捷工程和交付環境中工作的經驗
- 優先條件:具備使用 Claude Code 或 GitHub Copilot 等互動式 AI 工具的實務經驗
福利待遇
- 績效型激勵薪酬可能包括現金獎金和/或長期激勵
- 全面、具競爭力且具包容性的健康、財務及其他福利,支援整體福祉
- 為有需要的申請人提供合理便利
- 致力於機會均等和反歧視
- 無毒品工作場所








