Sciforium
Sciforium
Sciforium er et selskap innen AI-infrastruktur som utvikler serverløse verktøy for multimodale produksjonsapplikasjoner. Det enhetlige, OpenAI-kompatible API-et gir team tilgang til tekst-, bilde-, video- og lydtjenester, samt modellhosting, et modellbibliotek, evalueringspipelines i sanntid og administrerte agentdistribusjoner. Sciforium driver vertikalt integrert AMD GPU-maskinvare, med fokus på å hjelpe team med å utvikle, evaluere og distribuere AI-systemer med forutsigbar ytelse, lavere kostnader og bedre personvern.

Dataingeniør for grunnmodeller

Bygg datasett i petabyteskala for før- og ettertrening av Sciforiums multimodale AI-modeller. Utvikle datapipelines med høy ytelse for trening på språk, bilder og video.

Beskrivelse

  • Bygg datasett for førtrening av store språkmodeller fra start til slutt.
  • Velg ut og balanser data fra nettet, kode, bøker og tekniske artikler for å forbedre modellenes ytelse i senere oppgaver.
  • Lag pipelines for å rense, deduplisere og hente ut signaler fra petabytes med ustrukturerte data.
  • Led utviklingen av datasett for ettertrening, inkludert instruksjoner for supervised fine-tuning, dialoger med flere turer og preferansedata for RLHF/DPO.
  • Følg opp innsamling og behandling av bilde- og videodata.
  • Skriv Python-skript for databehandling med høy gjennomstrømning ved hjelp av multiprocessing og multithreading.
  • Analyser treningskorpuser statistisk for å avdekke skjevheter, kunnskapshull og kvalitetsforringelse.
  • Bygg pipelines for syntetiske data som fyller hull i naturlig innsamlede datasett.
  • Håndter utfordringer med multimodal tilpasning, videokomprimering og tidsmessig konsistens.

Krav

  • Minst fem års bransjeerfaring innen datavitenskap eller maskinlæring.
  • Dokumentert erfaring med å bygge og administrere datasett for grunnmodeller.
  • Avanserte Python-ferdigheter, inkludert multiprocessing, multithreading og effektiv minnehåndtering.
  • Erfaring med datasett i petabyteskala for store språk- eller bildemodeller i produksjon.
  • Erfaring med å bygge store treningsdatasett for LLM-er fra bunnen av ved hjelp av rå webcrawl-data og spesialiserte domenedata.
  • Praktisk erfaring med å bygge datasett for RLHF, DPO og instruksjonsfølging med flere turer.
  • Erfaring med å administrere arbeidsflyter for menneskelig merking og datasett av høy kvalitet med gullstandardetiketter.
  • God kjennskap til Spark, Ray, WebDataset, Parquet eller tilsvarende rammeverk og formater for data i stor skala.
  • Erfaring med å bygge store bilde- eller vide datasett fra bunnen av er en fordel.
  • Kjennskap til multimodal crawling, videobehandling, kodeker og komprimering er en fordel.
  • Erfaring med å utforme komplekse merkeskjemaer for benchmarktester innen resonnering, programmering og matematikk er en fordel.
  • Mastergrad eller doktorgrad innen et kvantitativt fag med fokus på datasentrert AI eller informasjonssøking er en fordel.
  • Juridisk tillatelse til å arbeide i USA.

Fordeler

  • Helse-, tannhelse- og synsdekning.
  • 401(k)-ordning.
  • Lunsj, snacks og drikke hver dag.
  • Fleksibel ferie.
  • Konkurransedyktig lønn.
  • Eierandeler.

Relaterte jobber

Verana Health

Senior/Staff Backend Engineer, plattform og datainnhenting

Verana Health

Bygg og skaler tjenester for klinisk datainnhenting, OCR, OpenSearch og onkologiplattformen hos Verana Health. Utform API-er, ETL-pipelines og mikrotjenester som støtter helseinnsikt basert på data fra virkeligheten.

Åpne
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Seniorleder for dataplattformutvikling

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1 000 Ansatte
B2BFinansForsikring

Led virksomhetens overordnede dataplattform, ingeniørteam og drift på tvers av Azure, SQL, NoSQL og analyse. Rollen omfatter pålitelighet, automatisering, regelverksetterlevelse og plattformstrategi.

Åpne
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Seniorleder for dataplattformteknikk

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1 000 Ansatte
B2BFinansForsikring

Led teamet for dataplattformteknikk som støtter forsikringsvirksomheten til Berkshire Hathaway Homestate Companies. Rollen omfatter database- og analyseplattformer, skyinfrastruktur, automatisering, pålitelighet og personalledelse.

Åpne