73 Strings là một công ty fintech toàn cầu phát triển công nghệ trí tuệ tăng cường để phân tích, định giá và giám sát các tài sản kém thanh khoản. Nền tảng của công ty kết hợp tính năng trích xuất dữ liệu, giám sát danh mục đầu tư và quy trình định giá, giúp các nhà quản lý tài sản thay thế chuyển đổi dữ liệu tài chính phức tạp thành những thông tin chuyên sâu kịp thời và có thể hành động. Công ty phục vụ các doanh nghiệp trong lĩnh vực đầu tư vốn cổ phần tư nhân, đầu tư mạo hiểm, tín dụng tư nhân và cơ sở hạ tầng, hỗ trợ các quy trình định giá hiệu quả và sáng suốt hơn nhờ phân tích dựa trên trí tuệ nhân tạo.
Kỹ sư Dữ liệu Cấp cao tại 73 Strings — Làm việc kết hợp, Ấn Độ
Dẫn dắt các quy trình dữ liệu theo lô và theo luồng an toàn cho nền tảng định giá vốn tư nhân của 73 Strings. Làm việc với Azure, Databricks, Snowflake và hạ tầng CI/CD.
Mô tả
- Phát triển và vận hành các quy trình, tích hợp và hệ thống kho dữ liệu hỗ trợ việc định giá và giám sát
- Chịu trách nhiệm về các luồng dữ liệu sản xuất từ thu thập nguồn đến chuyển đổi, đối soát và cung cấp cho khách hàng
- Quản lý các quy trình dựa trên GitHub với kiểm thử tự động cùng tích hợp và triển khai liên tục
- Đóng góp vào việc phát triển kiến trúc nền tảng qua các lớp thu thập, xử lý và cung cấp dữ liệu
- Tạo và vận hành các quy trình dữ liệu theo lô và theo luồng bằng cơ sở dữ liệu, API, luồng sự kiện và dữ liệu bán cấu trúc
- Triển khai thu thập dữ liệu thay đổi và tải tăng dần, hỗ trợ sắp xếp thứ tự, xóa, phát lại và các chiều biến đổi chậm
- Phát triển các tập dữ liệu theo kiến trúc medallion và mô hình chiều trong Snowflake, Microsoft SQL Server và Databricks
- Thực thi hợp đồng dữ liệu, kiểm tra đối soát và cách ly theo từng dòng trước khi công bố dữ liệu
- Chịu trách nhiệm về các quy trình GitHub và CI/CD cho khối lượng công việc dữ liệu, bao gồm kiểm thử, đánh giá mã, thúc đẩy môi trường và triển khai hạ tầng dưới dạng mã
- Chẩn đoán sự cố dữ liệu trong môi trường sản xuất và chuyển đổi các yêu cầu về sản phẩm, định giá và khách hàng thành các quy trình vận hành đáng tin cậy
Yêu cầu
- Có ít nhất 10 năm kinh nghiệm xây dựng hệ thống dữ liệu trong môi trường sản xuất
- Thành thạo Snowflake hoặc Databricks với vai trò nền tảng chính, bao gồm mô hình hóa dữ liệu, tối ưu hiệu năng và quản lý chi phí
- Thành thạo Python và SQL để phát triển và kiểm thử các quy trình dữ liệu
- Có kinh nghiệm về thu thập dữ liệu thay đổi và xử lý sự kiện, bao gồm sắp xếp thứ tự, phát lại và tiến hóa lược đồ
- Có kinh nghiệm thực tế với Azure, Databricks, ADLS và kết nối mạng riêng
- Có kinh nghiệm sử dụng GitHub và CI/CD cho khối lượng công việc dữ liệu thông qua GitHub Actions hoặc nền tảng tương đương
- Có kiến thức về chất lượng dữ liệu, đối soát, giám sát và ứng phó sự cố trong môi trường sản xuất
- Có kinh nghiệm xây dựng nền tảng dữ liệu an toàn, đa khách thuê với khả năng cách ly khách thuê, kiểm soát truy cập và bảo vệ dữ liệu
- Ưu tiên: Databricks Lakeflow, Auto CDC, Declarative Automation Bundles và DQX, hoặc các khả năng tương đương của Snowflake
- Ưu tiên: Debezium, Kafka Connect hoặc Confluent Kafka
- Ưu tiên: Apache Airflow hoặc trình điều phối quy trình tương đương
- Ưu tiên: Kafka hoặc Spark Structured Streaming, Apache Iceberg hoặc Delta Sharing và dbt
- Ưu tiên: Có kinh nghiệm với dữ liệu thị trường vốn tư nhân như định giá, quỹ, công ty danh mục đầu tư hoặc hoạt động vốn
- Có khả năng làm việc trực tiếp với các nhóm kỹ thuật của khách hàng và phối hợp với bộ phận kỹ thuật hiện trường, sản phẩm cùng các bên liên quan khác
Phúc lợi
- Môi trường làm việc hỗ trợ lẫn nhau
- Có không gian để chủ động và dẫn dắt các cải tiến
- Cơ hội học hỏi và phát triển chuyên môn liên tục
- Văn hóa đội ngũ hợp tác