LogoFresh Jobs Ahead
State Street
State Street
Penaja Visa H1BFintechKewanganPerbankan
State Street ialah syarikat perkhidmatan kewangan global yang melayani pelabur institusi melalui penyelesaian pengurusan pelaburan dan perkhidmatan pelaburan. Tawarannya merangkumi pengurusan aset, perkhidmatan kustodian dan penyelidikan pelaburan, disokong oleh kepakaran dalam bidang kewangan, teknologi kewangan dan perbankan. Syarikat ini membantu pelanggan mengurus aktiviti pelaburan yang kompleks dengan data, pandangan dan keupayaan operasi yang direka untuk meningkatkan kecekapan serta menyokong pembuatan keputusan kewangan.
LinkedIn
Pekerjaan Syarikat

Jurutera Data, Penolong Naib Presiden - Princeton, NJ

Bina platform lakehouse AWS dan Databricks yang menyokong operasi undang-undang dan pematuhan State Street. Bangunkan saluran paip data terkawal untuk analitik, pelaporan, dan aplikasi AI/ML.

USAmerika SyarikatMAMassachusettsNJNew Jersey
$100,000 – $167,500 / tahun
Di lokasiSepenuh masaKetuaBahasa Diperlukan: InggerisJurutera data
ApacheAwanAWSAzureDockerETLOraclePySparkPythonSparkSQLUnity

Penerangan

  • Bina dan selenggara saluran paip data berskala menggunakan PySpark, Python, dan Spark SQL
  • Bangunkan dan optimumkan aliran kerja ETL/ELT Databricks dengan Delta Lake
  • Laksanakan seni bina lakehouse Bronze, Silver, dan Gold untuk platform data perusahaan
  • Urus Jobs, Workflows, dan Notebooks Databricks bagi beban kerja kelompok dan penstriman
  • Cipta rangka kerja boleh guna semula untuk pengingesan, pemprosesan, dan orkestrasi data
  • Kontenerkan beban kerja data dengan Docker dan automatikkan proses melalui penskripan
  • Sambungkan saluran paip Databricks dengan Power Apps dan Power Automate
  • Dedahkan data kepada pengguna perniagaan melalui API, penyambung, dan set data terkurasi
  • Reka bentuk dan optimumkan seni bina lakehouse Databricks
  • Integrasikan SQL Server, Oracle, dan sumber data perusahaan lain
  • Gunakan pemodelan dimensi, pemetakan partisi, dan kaedah pengoptimuman
  • Proses format berstruktur dan separa berstruktur termasuk JSON dan Parquet
  • Tingkatkan prestasi melalui caching, pengindeksan, dan pengoptimuman Spark
  • Terbitkan set data terkurasi untuk aliran kerja Power BI, Power Apps, dan Power Automate
  • Kekalkan kualiti data dengan ujian unit, rangka kerja pengesahan, dan semakan automatik
  • Pantau dan selesaikan masalah beban kerja serta saluran paip Spark teragih
  • Siasat log dan selesaikan isu pengeluaran merentas Databricks dan persekitaran awan
  • Kekalkan garis keturunan data, konsistensi, dan kesediaan audit
  • Bekerjasama dengan pasukan Undang-undang, Keselamatan, Pematuhan, dan Data Perusahaan
  • Tukarkan keperluan perniagaan kepada penyelesaian kejuruteraan data
  • Bertindak sebagai pakar perkara dalam Databricks dan seni bina lakehouse
  • Pimpin inisiatif secara bebas dan bertanggungjawab terhadap hasil kerja
  • Sokong tadbir urus dengan Databricks Unity Catalog serta kawalan AWS IAM dan KMS
  • Penuhi keperluan privasi data, kawal selia, keselamatan, dan audit
  • Kekalkan kawalan akses serta piawaian pengelasan dan pengendalian data
  • Bekerjasama dengan pasukan IAM dan keselamatan untuk melindungi akses data
  • Reka bentuk dan selenggara saluran paip CI/CD dengan Harness, Azure DevOps, atau GitHub
  • Automatikkan penggunaan aset Databricks dengan Databricks Repos dan CLI
  • Pantau, jadualkan, dan optimumkan aliran kerja dengan alat orkestrasi Databricks
  • Kekalkan dokumentasi seni bina, aliran data, dan runbook
  • Tingkatkan prestasi, kebolehskalaan, dan kecekapan kos platform

Keperluan

  • Ijazah sarjana muda atau sarjana dalam sains komputer, kejuruteraan data, sistem maklumat, atau bidang teknikal berkaitan
  • Sekurang-kurangnya 8 tahun pengalaman dalam kejuruteraan data atau pembangunan platform data
  • Kepakaran amali dengan Databricks dan Apache Spark
  • Kemahiran dalam PySpark, Python, dan SQL
  • Pengalaman dengan perkhidmatan data AWS termasuk S3, Glue, Lambda, dan IAM
  • Pengalaman dengan Delta Lake dan seni bina lakehouse
  • Pengetahuan kukuh tentang pemprosesan data teragih
  • Pengetahuan kukuh tentang rangka kerja ETL dan ELT
  • Pengetahuan kukuh tentang teknik pemodelan data
  • Pengalaman amali dengan komponen Databricks seperti Delta Lake, Workflows, dan Unity Catalog
  • Pengalaman luas membina saluran paip kelompok dan penstriman hujung ke hujung dengan AWS dan Databricks
  • Kefahaman tentang pengoptimuman prestasi Spark dan Delta Lake
  • Pengalaman menyokong beban kerja analitik, pelaporan, atau AI/ML pada platform lakehouse
  • Pengetahuan tentang tadbir urus data, pengurusan metadata, dan kawalan keselamatan
  • Pengalaman dalam Undang-undang, Pematuhan, Perkhidmatan Kewangan, atau industri terkawal lain
  • Pemahaman tentang konsep data undang-undang termasuk kontrak, klausa, obligasi, dan perkara
  • Pendedahan kepada pemprosesan data tidak berstruktur atau saluran paip dokumen dan NLP
  • Pengalaman dengan Power BI, Power Apps, atau Power Platform
  • Pengalaman mengurus data sensitif dalam persekitaran berpacukan audit

Faedah

  • Pelan simpanan persaraan 401(k) dengan padanan caruman oleh syarikat
  • Pilihan insurans termasuk hayat asas, perubatan, pergigian, penglihatan, hilang upaya jangka panjang, dan perlindungan pilihan lain
  • Cuti berbayar yang meliputi percutian, cuti sakit, hilang upaya jangka pendek, dan tanggungjawab penjagaan keluarga
  • Program Bantuan Pekerja
  • Ganjaran insentif dengan kelayakan untuk anugerah tahunan berasaskan prestasi
  • Kelayakan untuk pelan simpanan terpilih yang mempunyai kelebihan cukai
  • Peluang pembangunan profesional yang inklusif
  • Sokongan keseimbangan kerja-kehidupan yang fleksibel
  • Hari sukarelawan berbayar
  • Rangkaian pekerja

Pekerjaan Berkaitan