EXL資深資料工程師——美國遠端工作
在EXL負責雲原生、PB級資料平台的架構設計。 負責資料管道、串流處理、分析最佳化及資料工程領導工作。
說明
- 制定可擴充、可靠且安全的端到端資料管道架構方向與標準
- 指導工程師、審查程式碼並管理資料產品交付時程
- 與資料科學家、分析師及利害關係人合作,將業務與技術需求轉化為可投入生產的資料解決方案
- 為資料科學家和機器學習工程師提供資料存取、模型開發及資料品質保證支援
- 使用dbt Core和AWS Glue建置並最佳化高容量資料擷取與轉換作業
- 使用Dagster等協調器建立和維護模組化、可重複使用的資料管道
- 透過Confluent平台或Kinesis等AWS串流服務管理即時資料流
- 實施資料匿名化實務,並符合安全與隱私要求
- 實施和維護Apache Iceberg,以支援結構描述演進與資料管理
- 改善Snowflake、Amazon Redshift和AWS Athena中的查詢效能並控制成本
- 加入Splunk監控與可觀測性,以識別瓶頸並解決生產環境問題
職位要求
- 至少10年資料工程、資料架構或密切相關的全端資料職務之持續進階與實務經驗
- 深入了解資料工程原則、ETL/ELT模式與中繼資料管理
- 具備在雲原生環境中建置及營運PB級基礎架構的實務經驗
- 具備保險業經驗者優先,但非必要
- 具備AWS服務經驗,包括S3、IAM和VPC
- 具備Talend、dbt Core、Iceberg、AWS Glue Catalog、Snowflake、Redshift、Athena、Splunk、AWS串流服務和Git經驗
- 具備扎實的SQL、PySpark和Python技能
- 了解DataOps和DevOps基礎知識
福利待遇
- 年度獎金
- 福利資訊請參閱https://www.exlservice.com/us-careers-and-benefits
- 遠端工作/居家辦公
