State Street on maailmanlaajuinen rahoituspalveluyritys, joka palvelee institutionaalisia sijoittajia varainhoidon ja sijoituspalvelujen ratkaisuilla. Sen palveluihin kuuluvat varainhoito, säilytyspalvelut ja sijoitustutkimus, joita tukevat rahoituksen, finanssiteknologian ja pankkitoiminnan asiantuntemus. Yhtiö auttaa asiakkaitaan hallitsemaan monimutkaisia sijoitustoimintoja datan, analyysien ja operatiivisten valmiuksien avulla tehostaakseen toimintaa ja tukeakseen taloudellista päätöksentekoa.
Data-insinööri, varatoimitusjohtajan apulainen – Princeton, NJ
Rakenna AWS- ja Databricks lakehouse -alustoja State Streetin laki- ja compliance-toimintojen tueksi. Kehitä hallinnoituja dataputkia analytiikkaan, raportointiin ja tekoäly- ja koneoppimissovelluksiin.
Yhdysvallat
Massachusetts
New Jersey100 000 $ – 167 500 $ / vuosi
LähityöKokoaikainenJohtavaVaadittu Kieli: englantiData-insinööriKuvaus
- Rakenna ja ylläpidä skaalautuvia dataputkia PySparkilla, Pythonilla ja Spark SQL:llä
- Kehitä ja optimoi Databricksin ETL/ELT-työnkulkuja Delta Lakella
- Toteuta Bronze-, Silver- ja Gold-tason lakehouse-arkkitehtuuri yrityksen data-alustoille
- Hallinnoi Databricks Jobs-, Workflows- ja Notebooks-toimintoja erä- ja suoratoistokuormille
- Luo uudelleenkäytettäviä kehyksiä datan siirtoon, käsittelyyn ja orkestrointiin
- Pakkaa datakuormat Docker-säilöihin ja automatisoi prosesseja komentosarjoilla
- Yhdistä Databricks-dataputket Power Appsiin ja Power Automateen
- Tarjoa liiketoimintakäyttäjille dataa rajapintojen, liittimien ja kuratoitujen tietoaineistojen kautta
- Suunnittele ja optimoi Databricks lakehouse -arkkitehtuureja
- Integroi SQL Server, Oracle ja muut yrityksen tietolähteet
- Sovella dimensiomallinnusta, osiointia ja optimointimenetelmiä
- Käsittele rakenteisia ja puolirakenteisia formaatteja, kuten JSON- ja Parquet-tiedostoja
- Paranna suorituskykyä välimuistien, indeksoinnin ja Spark-optimoinnin avulla
- Julkaise kuratoituja tietoaineistoja Power BI:tä, Power Appsia ja Power Automate -työnkulkuja varten
- Ylläpidä datan laatua yksikkötesteillä, validointikehyksillä ja automaattisilla tarkistuksilla
- Valvo ja selvitä hajautettujen Spark-kuormien ja dataputkien ongelmia
- Tutki lokitietoja ja ratkaise tuotanto-ongelmia Databricks- ja pilviympäristöissä
- Ylläpidä datan alkuperätietoja, yhdenmukaisuutta ja auditointivalmiutta
- Tee yhteistyötä laki-, turvallisuus-, compliance- ja yrityksen datatiimien kanssa
- Muunna liiketoimintavaatimukset data engineering -ratkaisuiksi
- Toimi Databricksin ja lakehouse-arkkitehtuurin asiantuntijana
- Johda hankkeita itsenäisesti ja vastaa toimituksista
- Tue hallintamalleja Databricks Unity Catalogin sekä AWS IAM- ja KMS-kontrollien avulla
- Täytä tietosuojan, sääntelyn, turvallisuuden ja auditoinnin vaatimukset
- Ylläpidä käyttöoikeusvalvontaa sekä datan luokittelu- ja käsittelystandardeja
- Työskentele IAM- ja turvallisuustiimien kanssa datan käytön suojaamiseksi
- Suunnittele ja ylläpidä CI/CD-putkia Harnessilla, Azure DevOpsilla tai GitHubilla
- Automatisoi Databricks-resurssien käyttöönotot Databricks Reposin ja CLI:n avulla
- Valvo, ajasta ja optimoi työnkulkuja Databricksin orkestrointityökaluilla
- Ylläpidä arkkitehtuuri-, datavirta- ja käyttöohjedokumentaatiota
- Paranna alustan suorituskykyä, skaalautuvuutta ja kustannustehokkuutta
Vaatimukset
- Tietojenkäsittelytieteen, data engineeringin, tietojärjestelmien tai muun vastaavan teknisen alan kandidaatin- tai maisterintutkinto
- Vähintään 8 vuoden kokemus data engineeringistä tai data-alustojen kehittämisestä
- Käytännön osaamista Databricksista ja Apache Sparkista
- PySparkin, Pythonin ja SQL:n hyvä hallinta
- Kokemusta AWS:n datapalveluista, kuten S3:sta, Gluesta, Lambdasta ja IAM:stä
- Kokemusta Delta Lakesta ja lakehouse-arkkitehtuurista
- Hajautetun datankäsittelyn vahva tuntemus
- ETL- ja ELT-kehysten vahva tuntemus
- Datan mallinnustekniikoiden vahva tuntemus
- Käytännön kokemusta Databricksin komponenteista, kuten Delta Lakesta, Workflowsista ja Unity Catalogista
- Laaja kokemus päästä päähän -erä- ja suoratoistoputkien rakentamisesta AWS:llä ja Databricksilla
- Spark- ja Delta Lake -suorituskyvyn optimoinnin tuntemus
- Kokemusta analytiikan, raportoinnin tai tekoäly- ja koneoppimiskuormien tukemisesta lakehouse-alustalla
- Datan hallinnan, metadatan hallinnan ja turvallisuuskontrollien tuntemus
- Kokemusta laki-, compliance-, rahoituspalvelu- tai muilta säännellyiltä toimialoilta
- Oikeudellisten datakäsitteiden, kuten sopimusten, lausekkeiden, velvoitteiden ja asioiden, ymmärtäminen
- Kokemusta strukturoimattoman datan käsittelystä tai dokumentti- ja NLP-putkista
- Kokemusta Power BI:stä, Power Appsista tai Power Platformista
- Kokemusta arkaluonteisen datan hallinnasta auditointivetoisissa ympäristöissä
Edut
- 401(k)-eläkesäästösuunnitelma työnantajan vastaavine maksuineen
- Vakuutusvaihtoehtoja, kuten perus- ja henkivakuutus, sairaus-, hammas- ja näkövakuutus, pitkäaikainen työkyvyttömyysvakuutus sekä muita valinnaisia vakuutuksia
- Palkallista vapaata lomaan, sairauspoissaoloihin, lyhytaikaiseen työkyvyttömyyteen ja perhehoitovastuisiin
- Työntekijöiden tukiohjelma
- Kannustepalkkioita, mukaan lukien mahdollisuus vuosittaisiin suoritukseen perustuviin palkkioihin
- Mahdollisuus valittuihin veroedullisiin säästösuunnitelmiin
- Osallistava ammatillisen kehittymisen tuki
- Joustava työn ja muun elämän yhteensovittamisen tuki
- Palkallisia vapaaehtoistyöpäiviä
- Työntekijäverkostoja