Swoop 資深資料工程師——加州混合辦公
在 Swoop 的人工智慧驅動醫療互動業務中,負責 NimbleRx 的資料平台。建置涵蓋批次、串流與後端服務的合規資料管線、資料倉儲模型及效能系統。
說明
- 負責完整的資料平台,涵蓋資料擷取、轉換、儲存、查詢與存取
- 隨著公司的資料需求擴展,規劃資料平台路線圖
- 使用 PySpark、EMR、Kinesis、Lambda 和 Step Functions 開發並改善批次與串流管線
- 將來自 Postgres、Salesforce、外部供應商和產品事件的資料導入以 Iceberg 為基礎的資料湖
- 為工程與分析團隊建立 SCD 資料表、事件模型及共用資料標準
- 與產品、工程、分析及營運團隊合作,將資料需求轉化為可靠的資料管線
- 建立支援資料自助使用的文件與工具
- 負責資料安全與合規,包括稽核軌跡、存取控制和臨時存取流程
- 透過在 Java 和 Spring 服務中進行複本路由、索引、快取及 I/O 監測,改善後端查詢效能
- 診斷並解決 IOPS 激增、管線中斷、結構描述變更及資料延遲問題
- 將人工智慧應用於管線腳手架、結構描述開發和調查,同時交付內部人工智慧工具
- 指導工程師與分析師有效使用資料平台
職位要求
- 至少五年交付正式環境資料管線與資料平台的經驗
- 具備進階 Python、PySpark 和 SQL 技能,包括大規模 Spark 效能調校能力
- 能夠且願意使用 Java 和 Spring Boot 開發資料層周邊服務
- 具備分散式處理技術的實務經驗,例如 Spark 和 EMR;具備使用 Kinesis 進行串流處理及使用 S3 物件儲存的經驗
- 精通 Postgres,包括查詢最佳化、索引、複寫、複本路由及資料庫瓶頸分析
- 具備 Iceberg 和 Trino 或同類技術的經驗
- 具備 CI/CD 實務和 Terraform 的工作知識
- 具備使用前沿模型或代理式編碼工具建置人工智慧解決方案的經驗
- 展現與產品、營運及其他團隊協作的能力
- 具備將安全以及 PII/PHI 合規視為核心工程責任的專業經驗
福利待遇
- 提供專業發展與職涯成長機會
- 公司曾獲評為最佳工作場所;此項肯定不屬於個人薪酬福利
