
資深資料工程師 4——Python、AWS、Spark、Kafka|Capital One,紐約
在 Capital One 建構雲端優先的湖倉與串流資料平台。 協助為數百萬名客戶打造個人化的全通路行銷體驗。
說明
- 獨立設計、開發、測試及部署具韌性的雲端優先資料解決方案、湖倉架構與即時串流管道。
- 帶領由開發人員、資料分析師和資料科學家組成的跨職能敏捷團隊。
- 採用一致的資料工程模式,提升程式碼品質、可維護性和營運效率。
- 使用 Python、SQL、Scala、Spark、NoSQL 資料庫、開放原始碼關聯式資料庫、Databricks 和 Snowflake 進行開發。
- 實作加密、細粒度存取控制、資料品質實務、治理和允許使用標準。
- 與數位產品經理和軟體工程師合作,交付可靠的解決方案並改善客戶體驗。
- 向技術和非技術利害關係人說明技術概念與資料洞察。
- 參與工程社群、追蹤技術發展,並使用互動式 AI 工具加速交付。
- 執行單元測試和同儕審查,同時最佳化效能、可觀測性和下游可用性。
- 建立可擴充的平台,支援在自有及付費廣告技術通路中提供高度個人化的全通路訊息和體驗。
職位要求
- 具備計算機科學或相關定量學科(例如統計學、經濟學、作業研究、分析學、數學或工程學)學士或以上學位。
- 至少四年應用程式開發經驗,不包括實習經歷。
- 至少兩年分散式資料工作經驗。
- 至少兩年 SQL 使用經驗。
- 至少兩年 Python、Java 或 Scala 使用經驗。
- 至少兩年設計和開發資料管道的經驗。
- 至少一年使用關聯式和非關聯式資料庫進行資料建模及端到端解決方案設計的經驗。
- 此職位不提供雇主擔保或與移民相關的就業授權支援。
- 優先條件:具備計算機科學、資料工程、資訊系統或相關技術學科碩士學位。
- 優先條件:七年或以上使用 Python、SQL、Spark、Scala 或 Java 進行應用程式開發的經驗。
- 優先條件:四年或以上在 AWS、Azure 或 GCP 中設計、部署和營運資料工作負載的經驗。
- 優先條件:四年或以上使用 EMR、Spark、AWS Glue、Databricks、MapReduce、Hadoop 或 Hive 建置分散式資料或運算工作負載的經驗。
- 優先條件:四年或以上設計、實作和營運 Kafka 等即時或串流應用程式的經驗。
- 優先條件:四年或以上設計和管理 Snowflake 或 Redshift 資料倉儲及資料模型的經驗。
- 優先條件:四年或以上實作 NoSQL 系統,並使用 MongoDB、Cassandra 或 DynamoDB 建置半結構化資料解決方案的經驗。
- 優先條件:四年或以上在 UNIX 或 Linux 環境中使用基本指令和 Shell 指令碼的經驗。
- 優先條件:兩年或以上使用 Airflow、Dagster、Monte Carlo 或 Splunk 等資料編排或可觀測性工具的經驗。
- 優先條件:兩年或以上開發可重複使用、以使用者為中心的資料產品的經驗。
- 優先條件:兩年或以上在敏捷工程和交付環境中工作的經驗。
- 優先條件:具備實際使用 Claude Code 或 GitHub Copilot 等互動式 AI 工具的經驗。
福利待遇
- 績效型獎勵薪酬可能包括現金獎金及/或長期獎勵。
- 在健康、財務福祉和其他整體健康領域提供全面且具競爭力的福利。
- 為身心障礙申請人提供合理便利。







