Sciforium
Sciforium
Sciforium är ett företag inom AI-infrastruktur som utvecklar serverlösa verktyg för multimodala produktionsapplikationer. Dess enhetliga, OpenAI-kompatibla API ger team tillgång till text-, bild-, video- och ljudtjänster samt modellhosting, ett modellbibliotek, realtidsbaserade utvärderingspipelines och hanterade agentdistributioner. Sciforium driver vertikalt integrerad AMD GPU-hårdvara med fokus på att hjälpa team att utveckla, utvärdera och distribuera AI-system med förutsägbar prestanda, lägre kostnader och bättre integritet.

Dataingenjör för grundmodeller

Bygg träningsdata i petabyteskala före och efter träning för Sciforiums multimodala AI-modeller. Utveckla högpresterande datapipelines för språk-, bild- och videomodeller.

Beskrivning

  • Bygg kompletta datauppsättningar för förträning av stora språkmodeller.
  • Välj ut och balansera data från webben, kod, böcker och tekniska artiklar för att förbättra modellernas prestanda i senare steg.
  • Skapa pipelines för att rensa, deduplicera och extrahera information ur petabytes ostrukturerad data.
  • Led utvecklingen av datauppsättningar för efterträning, inklusive instruktioner för övervakad finjustering, dialoger med flera turer och preferensdata för RLHF/DPO.
  • Övervaka insamling och bearbetning av bild- och videodata.
  • Skriv Python-skript för databearbetning med hög genomströmning och stöd för multiprocessing och multithreading.
  • Analysera träningskorpusar statistiskt för att upptäcka bias, kunskapsluckor och försämringar i datakvaliteten.
  • Bygg pipelines för syntetiska data som fyller luckor i naturligt insamlade datauppsättningar.
  • Hantera utmaningar med multimodal anpassning, videokomprimering och temporal konsistens.

Krav

  • Minst fem års branscherfarenhet inom datavetenskap eller maskininlärning.
  • Dokumenterad erfarenhet av att bygga och hantera datauppsättningar för grundmodeller.
  • Avancerade kunskaper i Python, inklusive multiprocessing, multithreading och effektiv minneshantering.
  • Erfarenhet av petabyteskaliga datauppsättningar för stora språk- eller bildmodeller i produktion.
  • Erfarenhet av att från grunden skapa stora träningsdatauppsättningar för LLM:er med råa webbcrawlar och specialiserad domändata.
  • Praktisk erfarenhet av att bygga datauppsättningar för RLHF, DPO och instruktionsföljning med flera turer.
  • Erfarenhet av att hantera arbetsflöden för mänsklig märkning och datauppsättningar av hög kvalitet med guldetiketter.
  • Goda kunskaper i Spark, Ray, WebDataset, Parquet eller jämförbara ramverk och format för storskalig data.
  • Erfarenhet av att från grunden bygga stora bild- eller videodatauppsättningar är meriterande.
  • Kännedom om multimodal crawling, videobearbetning, kodekar och komprimering är meriterande.
  • Erfarenhet av att utforma komplexa märkningsscheman för benchmarktester inom resonemang, programmering och matematik är meriterande.
  • Masterexamen eller doktorsexamen inom ett kvantitativt ämne med inriktning på datacentrerad AI eller informationssökning är meriterande.
  • Juridisk rätt att arbeta i USA.

Förmåner

  • Sjukvårds-, tandvårds- och synförsäkring.
  • 401(k)-plan.
  • Lunch, snacks och drycker varje dag.
  • Flexibel ledighet.
  • Konkurrenskraftig lön.
  • Aktieandel.

Relaterade jobb

Verana Health

Senior/Staff Backend Engineer, plattform och dataintag

Verana Health

Bygg och skala tjänster för kliniskt dataintag, OCR, OpenSearch och onkologiplattformen på Verana Health. Utforma API:er, ETL-pipelines och mikrotjänster som stödjer vårdinsikter baserade på verkliga data.

Öppna
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Senior chef för dataplattformsutveckling

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1 000 Anställda
B2BFinansFörsäkringar

Led företagets övergripande dataplattform, ingenjörsteam och drift inom Azure, SQL, NoSQL och analys. Rollen omfattar tillförlitlighet, automatisering, regelefterlevnad och plattformsstrategi.

Öppna
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Senior chef för dataplattformsteknik

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1 000 Anställda
B2BFinansFörsäkringar

Led teamet för dataplattformsteknik som stödjer Berkshire Hathaway Homestate Companies försäkringsverksamhet. Rollen omfattar databas- och analysplattformar, molninfrastruktur, automatisering, tillförlitlighet och personalledning.

Öppna