Sciforium
Sciforium
Sciforium is een infrastructuurbedrijf voor kunstmatige intelligentie dat serverloze tools ontwikkelt voor multimodale toepassingen in productie. De uniforme, OpenAI-compatibele API biedt teams toegang tot tekst-, beeld-, video- en audiodiensten, naast modelhosting, een modellencatalogus, realtime evaluatiepijplijnen en beheerde implementaties van agents. Sciforium beheert verticaal geïntegreerde AMD-gpu-hardware en richt zich op het ondersteunen van teams bij het ontwikkelen, beoordelen en implementeren van AI-systemen met voorspelbare prestaties, lagere kosten en meer privacy.

Data-engineer voor foundationmodellen

Bouw pre- en post-trainingdatasets op petabyteschaal voor de multimodale AI-modellen van Sciforium. Ontwikkel krachtige datapijplijnen voor het trainen van taal-, beeld- en videomodellen.

Beschrijving

  • Bouw van begin tot eind pre-trainingdatasets voor grote taalmodellen.
  • Selecteer en balanceer web-, code-, boek- en wetenschappelijke artikeldatasets om de prestaties van modellen in vervolgtaken te verbeteren.
  • Ontwikkel pijplijnen om petabytes aan ongestructureerde data op te schonen, te ontdubbelen en relevante signalen eruit te halen.
  • Leid de ontwikkeling van post-trainingdatasets, waaronder instructies voor supervised fine-tuning, meerbeurtendialogen en voorkeursdata voor RLHF/DPO.
  • Houd toezicht op de verwerving en verwerking van beeld- en videodata.
  • Schrijf Python-scripts voor dataverwerking met hoge doorvoer, met multiprocessing en multithreading.
  • Analyseer trainingscorpora statistisch om vertekeningen, kennishiaten en kwaliteitsverlies te ontdekken.
  • Bouw pijplijnen voor synthetische data om hiaten in natuurlijk verzamelde datasets op te vullen.
  • Pak uitdagingen aan rond multimodale uitlijning, videocompressie en temporele consistentie.

Vereisten

  • Minimaal vijf jaar werkervaring in datawetenschap of machine learning.
  • Aantoonbare ervaring met het bouwen en beheren van datasets voor foundationmodellen.
  • Gevorderde kennis van Python, waaronder multiprocessing, multithreading en efficiënt geheugenbeheer.
  • Ervaring met datasets op petabyteschaal voor grote taal- of beeldmodellen in productie.
  • Ervaring met het vanaf nul opbouwen van grote LLM-trainingsdatasets met ruwe webcrawls en gespecialiseerde domeindata.
  • Praktische ervaring met het bouwen van datasets voor RLHF, DPO en instructies met meerdere beurten.
  • Ervaring met het beheren van workflows voor menselijke annotatie en hoogwaardige gold-standarddatasets.
  • Sterke kennis van Spark, Ray, WebDataset, Parquet of vergelijkbare frameworks en formaten voor grootschalige data.
  • Ervaring met het vanaf nul opbouwen van grote beeld- of videodatasets is een pluspunt.
  • Bekendheid met multimodaal crawlen, videobewerking, codecs en compressie is een pluspunt.
  • Ervaring met het ontwerpen van complexe annotatieschema's voor benchmarks op het gebied van redeneren, programmeren en wiskunde is een pluspunt.
  • Een master- of doctoraat in een kwantitatief vakgebied met focus op datagedreven AI of information retrieval is een pluspunt.
  • Wettelijke toestemming om in de Verenigde Staten te werken.

Voordelen

  • Medische, tandheelkundige en oogzorgverzekering.
  • 401(k)-regeling.
  • Dagelijks lunch, snacks en drankjes.
  • Flexibele vrije dagen.
  • Concurrerende beloning.
  • Aandelen.

Gerelateerde vacatures

Verana Health

Senior/Staff Backend Engineer voor platform en data-inname

Verana Health

Bouw en schaal diensten voor klinische data-inname, OCR, OpenSearch en het oncologieplatform bij Verana Health. Ontwerp API's, ETL-pipelines en microservices die inzichten uit de dagelijkse zorg ondersteunen.

Openen
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Senior manager data platform engineering

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1.000 Medewerkers
B2BFinanciënVerzekeringen

Leid het bedrijfsbrede dataplatform, het engineeringteam en de operations van een verzekeringsmaatschappij met Azure, SQL, NoSQL en analytics. De functie omvat betrouwbaarheid, automatisering, compliance en de platformstrategie.

Openen
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Senior manager data platform engineering

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1.000 Medewerkers
B2BFinanciënVerzekeringen

Leid het data-platformengineeringteam dat de verzekeringsactiviteiten van Berkshire Hathaway Homestate Companies ondersteunt. De functie omvat database- en analyseplatforms, cloudinfrastructuur, automatisering, betrouwbaarheid en personeelsmanagement.

Openen