Allata
Allata
Allata là công ty tư vấn toàn cầu giúp các tổ chức biến chiến lược số thành những cải thiện thiết thực trong hoạt động kinh doanh. Các nhóm của công ty hoạt động trong nhiều lĩnh vực như chiến lược, trải nghiệm khách hàng, điện toán đám mây và công nghệ, dữ liệu và trí tuệ nhân tạo, hỗ trợ khách hàng hiện đại hóa, cá nhân hóa dịch vụ và nâng cao hiệu quả vận hành. Allata phục vụ các ngành như ô tô, y tế, logistics, dịch vụ tài chính và công nghệ cao, đồng thời tận dụng kinh nghiệm của các cựu lãnh đạo CNTT và chuyên gia tư vấn để định hướng những sáng kiến số phức tạp.

Quản lý nền tảng dữ liệu Databricks (Làm việc từ xa, Texas)

Dẫn dắt kiến trúc và triển khai các nền tảng Lakehouse được quản trị và kho dữ liệu doanh nghiệp cho Allata. Định hướng quy trình dữ liệu, bảo mật, khả năng mở rộng và phát triển sản phẩm dữ liệu.

Mô tả

  • Thiết lập kiến trúc, lựa chọn công nghệ, các mẫu tham chiếu và bản thiết kế tích hợp cho nền tảng Lakehouse và kho dữ liệu doanh nghiệp.
  • Tạo mô hình khái niệm, logic và vật lý cho các sản phẩm dữ liệu đa khách thuê và theo từng ngành.
  • Chuẩn hóa các lớp dữ liệu cho hoạt động tiếp nhận, lưu trữ dữ liệu thô, tuyển chọn và cung cấp dữ liệu.
  • Thiết lập quy trình quản trị siêu dữ liệu, danh mục, dòng dữ liệu, hợp đồng dữ liệu và phân loại.
  • Xác định các biện pháp kiểm soát bảo mật và tuân thủ cho quyền truy cập, che dữ liệu, mã hóa, phân đoạn mạng và kiểm toán.
  • Lập kế hoạch về khả năng mở rộng nền tảng, tính sẵn sàng cao, khôi phục sau thảm họa, năng lực và quản lý chi phí.
  • Dẫn dắt việc lựa chọn và tích hợp Databricks, Delta Lake, Delta Live Tables, Fivetran, Azure Data Factory hoặc Data Fabric, cùng các công cụ điều phối và giám sát.
  • Thiết lập và thực thi quy trình CI/CD cho tài sản dữ liệu, bao gồm kiểm thử, phát hành tự động và kế hoạch khôi phục phiên bản.
  • Xác định phương thức tiếp nhận dữ liệu theo lô và luồng, nén dữ liệu, phân vùng và lưu trữ.
  • Thiết lập tiêu chuẩn quan sát hệ thống cho chỉ số, SLA, bảng điều khiển, nhật ký, dấu vết và cảnh báo.
  • Cung cấp định hướng kỹ thuật và hướng dẫn cho các nhóm Kỹ thuật dữ liệu.
  • Rà soát kiến trúc và mã của các thành phần trọng yếu.
  • Phối hợp với Chủ sở hữu sản phẩm dữ liệu và các bên liên quan thuộc bộ phận Bảo mật, Hạ tầng, BI và ML để chuyển yêu cầu thành giải pháp và lộ trình.
  • Xây dựng, kiểm thử và triển khai các mô-đun xử lý bằng Spark, PySpark hoặc Scala, Spark SQL và thủ tục lưu trữ.
  • Phát triển và tối ưu hóa quy trình dữ liệu trên Databricks và các nền tảng cơ sở dữ liệu.
  • Áp dụng các phương pháp DevOps, cơ sở hạ tầng dưới dạng mã, CI/CD, kiểm thử tự động và quản lý phiên bản.
  • Giải quyết các vấn đề phức tạp về chất lượng, hiệu năng và tính sẵn sàng của dữ liệu, đồng thời thúc đẩy cải tiến liên tục.

Yêu cầu

  • Có kinh nghiệm trước đây với vai trò kiến trúc sư hoặc trưởng nhóm kỹ thuật cho các nền tảng dữ liệu doanh nghiệp.
  • Am hiểu thực tiễn các công nghệ Databricks, bao gồm Delta Lake, Unity Catalog, Delta Live Tables, Auto Loader và Structured Streaming.
  • Có kỹ năng vững về Spark, PySpark và/hoặc Scala, Spark SQL và tối ưu hóa tác vụ phân tán.
  • Có kinh nghiệm thiết kế kho dữ liệu và Lakehouse.
  • Có kiến thức thực tiễn về các mô hình Medallion, Lambda và Kappa.
  • Có kinh nghiệm tích hợp các công cụ SaaS, ETL hoặc kết nối như Fivetran.
  • Có kinh nghiệm với các công cụ điều phối như Airflow, Azure Data Factory và Data Fabric.
  • Có kinh nghiệm với cơ sở dữ liệu quan hệ và lai, bao gồm MS SQL Server, PostgreSQL, Oracle, Azure SQL, AWS RDS/Aurora hoặc các hệ thống tương đương.
  • Thành thạo CI/CD cho quy trình dữ liệu bằng Azure DevOps, GitHub Actions, Jenkins hoặc công cụ tương tự.
  • Có kinh nghiệm đóng gói và triển khai cấu phần như tệp .whl và container.
  • Có kinh nghiệm xử lý dữ liệu theo lô và luồng, nén tệp, phân vùng và tinh chỉnh lưu trữ.
  • Hiểu về bảo mật đám mây, IAM/RBAC, mã hóa, khái niệm VPC/VNet và mạng đám mây.
  • Quen thuộc với các công cụ quan sát và giám sát như Prometheus, Grafana, Datadog hoặc dịch vụ đám mây tích hợp.
  • Có kinh nghiệm tự động hóa quy trình CI/CD và phát triển theo nhánh chính là một lợi thế.
  • Kỹ năng PySpark nâng cao là một lợi thế.
  • Kỹ năng nâng cao về tối ưu hóa quy trình Spark và điều phối là một lợi thế.
  • Có chứng chỉ Databricks, kiến trúc đám mây hoặc dữ liệu là một lợi thế.
  • Có khả năng xác định, khắc phục sự cố và giải quyết các vấn đề dữ liệu phức tạp.
  • Có kỹ năng hợp tác và giao tiếp tốt.
  • Ham tìm hiểu và cởi mở với công cụ, công nghệ và phương pháp mới.

Phúc lợi

  • Vị trí toàn thời gian.
  • Môi trường làm việc bình đẳng và hòa nhập.
  • Cam kết về sự đa dạng.

Việc làm liên quan

The Athletic

Quản lý cấp cao, Phân tích dữ liệu

The Athletic

Dẫn dắt hoạt động phân tích sản phẩm và tăng trưởng tại The Athletic, một công ty truyền thông thể thao. Quản lý đội ngũ chuyên viên phân tích và sử dụng thử nghiệm để định hướng các quyết định về thuê bao và sản phẩm.

Mở
Lunar Solar Group

Nhà khoa học dữ liệu đo lường tiếp thị (Làm việc từ xa, Hoa Kỳ)

Lunar Solar Group

Xây dựng các phương pháp đo lường phân bổ, mức tăng thêm và phối hợp truyền thông cho Lunar Solar Group, đơn vị tư vấn tăng trưởng và tiếp thị số. Chuyển phân tích thành khuyến nghị ngân sách thiết thực cho khách hàng.

Mở
Airbnb

Chuyên gia khoa học dữ liệu cấp cao, nghiên cứu phân tích nhân sự

Airbnb

Dẫn dắt nghiên cứu phân tích nhân sự tại Airbnb, ứng dụng suy luận nhân quả và mô hình thống kê để hỗ trợ các quyết định về lực lượng lao động, lương thưởng, tuyển dụng và giữ chân nhân tài. Phối hợp với các bên liên quan trong những phân tích và báo cáo nhạy cảm.

Mở
The Cigna Group

Trưởng nhóm cấp cao về xây dựng dữ liệu, làm việc từ xa (Hoa Kỳ)

The Cigna Group

Xây dựng các sản phẩm dữ liệu Silver và Gold có thể tái sử dụng cho dịch vụ chăm sóc sức khỏe của Cigna bằng Databricks cùng các quy trình MVP và CI/CD được quản trị. Chuyển nhu cầu kinh doanh thành giải pháp dữ liệu sẵn sàng đưa vào sản xuất và thiết lập tiêu chuẩn cho toàn bộ Data Operations.

Mở
Clear Street

Nhà khoa học dữ liệu tăng trưởng cấp cao

Clear Street

Nâng cao khả năng đánh giá, độ tin cậy và tính an toàn của trợ lý AI Clear Street. Vai trò này hỗ trợ nền tảng môi giới và giao dịch trên đám mây dành cho các nhà đầu tư chuyên nghiệp.

Mở