Snowflake
Snowflake
Snowflake tilbyr en skybasert dataplattform for lagring, behandling og analyse av informasjon i stor skala. Den sentraliserte arkitekturen hjelper virksomheter med å samle data, kjøre komplekse spørringer effektivt og støtte ulike arbeidsbelastninger etter hvert som behovene deres utvikler seg. Selskapets plattform er relevant for fagfolk innen nettsky, data, analyse, konsulentvirksomhet og markedsføringsteknologi, med muligheter som formes av teamene som utvikler og støtter moderne datainfrastruktur.

Senior Engineering Manager, Spark Runtime Engineering

Led Snowflakes team for Spark-kompilering og kjøretid, sett den tekniske retningen og veiled arkitektur, ytelse og pålitelighet. Bygg en sterk ingeniørorganisasjon samtidig som du videreutvikler produksjonsfunksjoner for Spark-arbeidsbelastninger.

Beskrivelse

  • Led 5–8 ingeniører som utvikler kompilator- og kjøretidsfunksjoner for Spark-arbeidsbelastninger i produksjon på Snowflake.
  • Sett den tekniske retningen for kompilering av Spark-spørringer og integrering med kjøretiden.
  • Veiled arkitekturen, gjennomgå kritiske designvalg og kode, og undersøk komplekse problemer med korrekthet, ytelse og pålitelighet.
  • Forbedre arbeidsbelastningenes ytelse og kostnadseffektivitet gjennom profilering, raskere kompilering, bedre tilgang til metadata og samarbeid med team for spørringsmotorer.
  • Fastsett praksis for korrekthet og kompatibilitet, blant annet differensielle tester mot Apache Spark, regresjonstestdekning og håndtering av atferd som ikke støttes.
  • Ha ansvar for produksjonskvalitet innen observerbarhet, hendelseshåndtering, gjenoppretting etter feil og trygge utrullinger.
  • Rekrutter, veiled og utvikle ingeniører; gi tilbakemeldinger, følg opp prestasjoner og støtt karriereutvikling.
  • Samarbeid med senior tekniske ledere og produktledelsen for å prioritere investeringer, koordinere avhengigheter og levere veikartet.
  • Test endringer mot representative kunde arbeidsbelastninger, og følg med på kompatibilitet, forsinkelse, pålitelighet og kostnadseffektivitet.

Krav

  • Minst 2 års direkte erfaring med teknisk ledelse, med dokumenterte resultater innen utvikling av ingeniører og levering av produksjonssystemer.
  • Minst 5 års praktisk erfaring med programvareutvikling, inkludert betydelig arbeid med kompilatorer, systemer for spørringsbehandling eller kjøretidsinfrastruktur.
  • Dyp ekspertise innen et relevant område, for eksempel kompilatorarkitektur og IR-transformasjoner, relasjonell spørringsbehandling, språksemantikk og typesystemer eller integrering med kjøretid.
  • Gode ferdigheter i Scala, Java, C++ eller et tilsvarende implementeringsspråk, samt evne til å gjennomgå produksjonskode og veilede tekniske beslutninger.
  • Sterk systemforståelse, blant annet for samtidighet, minneatferd og ytelsesanalyse, samt erfaring med feilsøking av komplekse produksjonsproblemer.
  • Evne til å omsette tekniske behov og kundebehov til tekniske prioriteringer og samarbeide effektivt på tvers av team og steder.
  • Ønskelig: Erfaring med Apache Sparks interne funksjoner, Catalyst, Spark Connect eller DataFrame-API-er.
  • Ønskelig: Erfaring med relasjonell algebra, SQL-generering, spørringsoptimalisering eller systemer for databasekjøring.
  • Ønskelig: Erfaring med Scala/JVM-ytelse, native kjøretidsfunksjoner, metadatacaching eller optimalisering av kompilatorytelse.
  • Ønskelig: Erfaring med å bygge testrammeverk for kompatibilitet, differensielle tester, ytelsesreferanser eller produksjonsobserverbarhet for datasystemer.
  • Ønskelig: Erfaring med å lede systemer gjennom kundeinnføring, produksjonsklargjøring og trinnvise utrullinger.

Relaterte jobber

Lambda

Leder for kjerneplattformteknikk i skyen

Lambda

Led teamet som bygger Lambdas grunnleggende Kubernetes- og distribuerte skytjenester for AI-infrastruktur. Rollen omfatter teamutvikling, teknisk leveranse, pålitelighet og drift på tvers av flere regioner.

Åpne
A

Leder for programvareutvikling (data engineering)

Ashurst Perkins Coie
5 001 – 10 000 Ansatte
EtterlevelseJuridisk

Led den globale strategien for data engineering og distribuerte team for Ashurst Perkins Coie US LLP. Bygg sikre dataplattformer, pålitelige modeller og analyseprodukter for hele virksomheten.

Åpne