73 Strings là một công ty fintech toàn cầu phát triển công nghệ trí tuệ tăng cường để phân tích, định giá và giám sát các tài sản kém thanh khoản. Nền tảng của công ty kết hợp tính năng trích xuất dữ liệu, giám sát danh mục đầu tư và quy trình định giá, giúp các nhà quản lý tài sản thay thế chuyển đổi dữ liệu tài chính phức tạp thành những thông tin chuyên sâu kịp thời và có thể hành động. Công ty phục vụ các doanh nghiệp trong lĩnh vực đầu tư vốn cổ phần tư nhân, đầu tư mạo hiểm, tín dụng tư nhân và cơ sở hạ tầng, hỗ trợ các quy trình định giá hiệu quả và sáng suốt hơn nhờ phân tích dựa trên trí tuệ nhân tạo.
Kỹ sư dữ liệu cấp cao - Làm việc kết hợp tại London
Dẫn dắt việc thiết kế và vận hành các đường ống dữ liệu cùng kho dữ liệu Azure cho nền tảng định giá vốn tư nhân của 73 Strings. Phụ trách hoạt động nhập dữ liệu, chuyển đổi, chất lượng dữ liệu, CI/CD và cung cấp dữ liệu cho khách hàng.
Mô tả
- Định hình kiến trúc nền tảng trên toàn bộ quy trình nhập, xử lý và phân phối dữ liệu
- Xây dựng và vận hành các đường ống xử lý theo lô và theo luồng từ cơ sở dữ liệu, API, luồng sự kiện và dữ liệu bán cấu trúc
- Triển khai thu thập dữ liệu thay đổi và tải gia tăng, hỗ trợ sắp xếp thứ tự, xóa, phát lại và các chiều biến đổi chậm
- Tạo các tập dữ liệu theo lớp medallion và mô hình dữ liệu chiều
- Phân phối dữ liệu đến Snowflake, Microsoft SQL Server và Databricks
- Thực thi hợp đồng dữ liệu, đối soát và cách ly ở cấp hàng trước khi công bố
- Quản lý quy trình GitHub và CI/CD, bao gồm kiểm thử, xem xét mã, chuyển môi trường và triển khai hạ tầng dưới dạng mã
- Chẩn đoán và khắc phục các lỗi dữ liệu trong môi trường sản xuất
- Chuyển đổi yêu cầu từ sản phẩm, định giá và đội ngũ khách hàng thành các đường ống vận hành đáng tin cậy
Yêu cầu
- Có ít nhất 10 năm kinh nghiệm xây dựng các hệ thống dữ liệu production
- Thành thạo thực tế Snowflake hoặc Databricks với vai trò nền tảng chính, bao gồm mô hình hóa dữ liệu, tối ưu hiệu năng và kiểm soát chi phí
- Nắm vững Python và SQL để phát triển và kiểm thử các đường ống dữ liệu
- Có kinh nghiệm với thu thập dữ liệu thay đổi và xử lý sự kiện, bao gồm sắp xếp thứ tự, phát lại và tiến hóa lược đồ
- Có kinh nghiệm thực tế với Azure, Databricks, ADLS và kết nối mạng riêng
- Có kinh nghiệm quản lý khối lượng công việc dữ liệu bằng GitHub và CI/CD, sử dụng GitHub Actions hoặc hệ thống tương đương
- Có nền tảng về chất lượng dữ liệu, đối soát, giám sát và xử lý sự cố production
- Có kinh nghiệm xây dựng nền tảng dữ liệu an toàn, đa khách thuê với khả năng cô lập khách thuê, kiểm soát truy cập và bảo vệ dữ liệu
- Có khả năng làm việc trực tiếp với các đội ngũ kỹ thuật của khách hàng và phối hợp với kỹ thuật hiện trường, sản phẩm cùng các bên liên quan khác
- Ưu tiên: Có kinh nghiệm với Databricks Lakeflow, Auto CDC, Declarative Automation Bundles và DQX, hoặc các công cụ tương đương của Snowflake như Dynamic Tables, Streams and Tasks, Snowpark, triển khai bằng Snowflake CLI và Data Metric Functions
- Ưu tiên: Có kinh nghiệm với Debezium, Kafka Connect hoặc Confluent Kafka
- Ưu tiên: Có kinh nghiệm với Apache Airflow hoặc công cụ điều phối quy trình tương đương
- Ưu tiên: Có kinh nghiệm với Kafka hoặc Spark Structured Streaming, Apache Iceberg hoặc Delta Sharing và dbt
- Ưu tiên: Có kinh nghiệm với dữ liệu thị trường vốn tư nhân liên quan đến định giá, quỹ, công ty trong danh mục hoặc hoạt động vốn
Phúc lợi
- Môi trường làm việc hỗ trợ nhân viên
- Văn hóa tập trung vào đổi mới và hợp tác
- Cơ hội chủ động đảm nhận trách nhiệm và đưa ra sáng kiến
- Cơ hội học hỏi liên tục