State Street là một công ty dịch vụ tài chính toàn cầu, phục vụ các nhà đầu tư tổ chức thông qua các giải pháp quản lý đầu tư và dịch vụ đầu tư. Các dịch vụ của công ty bao gồm quản lý tài sản, dịch vụ lưu ký và nghiên cứu đầu tư, được hỗ trợ bởi chuyên môn trong lĩnh vực tài chính, công nghệ tài chính và ngân hàng. Công ty tập trung giúp khách hàng quản lý các hoạt động đầu tư phức tạp bằng dữ liệu, thông tin chuyên sâu và năng lực vận hành nhằm nâng cao hiệu quả và hỗ trợ việc ra quyết định tài chính.
Kỹ sư dữ liệu, Phó chủ tịch trợ lý - Princeton, NJ
Xây dựng các nền tảng lakehouse trên AWS và Databricks hỗ trợ hoạt động pháp lý và tuân thủ của State Street. Phát triển các quy trình dữ liệu có quản trị cho hoạt động phân tích, báo cáo và các ứng dụng AI/ML.
Hoa Kỳ
Massachusetts
New Jersey100.000 $ – 167.500 $ / năm
Tại văn phòngToàn thời gianTrưởng nhómNgôn Ngữ Bắt Buộc: Tiếng AnhKỹ sư dữ liệuMô tả
- Xây dựng và duy trì các quy trình dữ liệu có khả năng mở rộng bằng PySpark, Python và Spark SQL
- Phát triển và tối ưu hóa các quy trình ETL/ELT trên Databricks với Delta Lake
- Triển khai kiến trúc lakehouse Bronze, Silver và Gold cho các nền tảng dữ liệu doanh nghiệp
- Quản lý Jobs, Workflows và Notebooks của Databricks cho các khối lượng công việc theo lô và truyền trực tuyến
- Tạo các framework có thể tái sử dụng cho việc thu thập, xử lý và điều phối dữ liệu
- Đóng gói các khối lượng công việc dữ liệu bằng Docker và tự động hóa quy trình thông qua scripting
- Kết nối các quy trình Databricks với Power Apps và Power Automate
- Cung cấp dữ liệu cho người dùng doanh nghiệp thông qua API, connector và các tập dữ liệu được tuyển chọn
- Thiết kế và tối ưu hóa kiến trúc lakehouse trên Databricks
- Tích hợp SQL Server, Oracle và các nguồn dữ liệu doanh nghiệp khác
- Áp dụng mô hình hóa chiều, phân vùng và các phương pháp tối ưu hóa
- Xử lý các định dạng có cấu trúc và bán cấu trúc, bao gồm JSON và Parquet
- Cải thiện hiệu năng thông qua bộ nhớ đệm, lập chỉ mục và tối ưu hóa Spark
- Công bố các tập dữ liệu được tuyển chọn cho Power BI, Power Apps và các quy trình Power Automate
- Duy trì chất lượng dữ liệu bằng kiểm thử đơn vị, framework xác thực và các bước kiểm tra tự động
- Giám sát và khắc phục sự cố cho các khối lượng công việc và quy trình Spark phân tán
- Điều tra nhật ký và xử lý các sự cố trong môi trường sản xuất trên Databricks và đám mây
- Duy trì nguồn gốc dữ liệu, tính nhất quán và khả năng sẵn sàng cho kiểm toán
- Phối hợp với các nhóm Pháp lý, Bảo mật, Tuân thủ và Dữ liệu doanh nghiệp
- Chuyển đổi các yêu cầu kinh doanh thành giải pháp kỹ thuật dữ liệu
- Đóng vai trò chuyên gia về Databricks và kiến trúc lakehouse
- Tự chủ dẫn dắt các sáng kiến và chịu trách nhiệm về các sản phẩm bàn giao
- Hỗ trợ quản trị bằng Databricks Unity Catalog cùng các biện pháp kiểm soát AWS IAM và KMS
- Đáp ứng các yêu cầu về quyền riêng tư dữ liệu, quy định, bảo mật và kiểm toán
- Duy trì kiểm soát truy cập cũng như các tiêu chuẩn phân loại và xử lý dữ liệu
- Phối hợp với các nhóm IAM và bảo mật để bảo vệ quyền truy cập dữ liệu
- Thiết kế và duy trì quy trình CI/CD với Harness, Azure DevOps hoặc GitHub
- Tự động hóa việc triển khai tài sản Databricks bằng Databricks Repos và CLI
- Giám sát, lập lịch và tối ưu hóa quy trình bằng các công cụ điều phối Databricks
- Duy trì tài liệu về kiến trúc, luồng dữ liệu và hướng dẫn vận hành
- Cải thiện hiệu năng, khả năng mở rộng và hiệu quả chi phí của nền tảng
Yêu cầu
- Bằng cử nhân hoặc thạc sĩ ngành khoa học máy tính, kỹ thuật dữ liệu, hệ thống thông tin hoặc lĩnh vực kỹ thuật liên quan
- Ít nhất 8 năm kinh nghiệm về kỹ thuật dữ liệu hoặc phát triển nền tảng dữ liệu
- Thành thạo thực tế Databricks và Apache Spark
- Thành thạo PySpark, Python và SQL
- Kinh nghiệm với các dịch vụ dữ liệu AWS, bao gồm S3, Glue, Lambda và IAM
- Kinh nghiệm với Delta Lake và kiến trúc lakehouse
- Hiểu biết vững về xử lý dữ liệu phân tán
- Hiểu biết vững về framework ETL và ELT
- Hiểu biết vững về các kỹ thuật mô hình hóa dữ liệu
- Kinh nghiệm thực tế với các thành phần Databricks như Delta Lake, Workflows và Unity Catalog
- Kinh nghiệm chuyên sâu xây dựng các quy trình dữ liệu đầu cuối theo lô và truyền trực tuyến với AWS và Databricks
- Quen thuộc với việc tối ưu hóa hiệu năng Spark và Delta Lake
- Kinh nghiệm hỗ trợ các khối lượng công việc phân tích, báo cáo hoặc AI/ML trên nền tảng lakehouse
- Kiến thức về quản trị dữ liệu, quản lý siêu dữ liệu và các biện pháp kiểm soát bảo mật
- Kinh nghiệm trong lĩnh vực Pháp lý, Tuân thủ, Dịch vụ tài chính hoặc các ngành chịu sự quản lý khác
- Hiểu các khái niệm dữ liệu pháp lý, bao gồm hợp đồng, điều khoản, nghĩa vụ và vụ việc
- Có kinh nghiệm hoặc hiểu biết về xử lý dữ liệu phi cấu trúc hoặc các quy trình tài liệu và NLP
- Kinh nghiệm với Power BI, Power Apps hoặc Power Platform
- Kinh nghiệm quản lý dữ liệu nhạy cảm trong môi trường chịu yêu cầu kiểm toán
Phúc lợi
- Kế hoạch tiết kiệm hưu trí 401(k) với khoản đóng góp đối ứng từ công ty
- Các lựa chọn bảo hiểm bao gồm bảo hiểm nhân thọ cơ bản, y tế, nha khoa, nhãn khoa, thương tật dài hạn và các gói tùy chọn khác
- Nghỉ phép có lương bao gồm nghỉ phép, nghỉ ốm, thương tật ngắn hạn và trách nhiệm chăm sóc gia đình
- Chương trình hỗ trợ nhân viên
- Thù lao khuyến khích với khả năng đủ điều kiện nhận thưởng hằng năm dựa trên hiệu suất
- Đủ điều kiện tham gia một số kế hoạch tiết kiệm được ưu đãi thuế
- Cơ hội phát triển nghề nghiệp toàn diện
- Hỗ trợ cân bằng công việc và cuộc sống linh hoạt
- Ngày nghỉ có lương để hoạt động tình nguyện
- Mạng lưới nhân viên