LogoFresh Jobs Ahead
Aleph Alpha
Aleph Alpha
51 – 200 Medewerkers
B2BKunstmatige intelligentie
Aleph Alpha is een bedrijf voor onderzoek naar en toepassingen van kunstmatige intelligentie dat grootschalige modellen ontwikkelt voor taal, beeldgegevens en strategisch redeneren. Het bedrijf is gevestigd in Heidelberg, Duitsland, en richt zich op het vertalen van geavanceerd AI-onderzoek naar operationele systemen, terwijl het de digitale soevereiniteit van Europa ondersteunt. De activiteiten zijn gericht op zakelijke en organisatorische toepassingen in de B2B-technologiesector.
LinkedIn
Vacatures bij het bedrijf

Senior AI Researcher voor pre-training van foundationmodellen — Aleph Alpha, Heidelberg

Leid architectuur- en pre-trainingwerk op grote schaal voor Aleph Alpha’s Europese foundationmodellen en geef vorm aan trainingsmethoden voor duizenden GPU’s. Bouw en verfijn PyTorch-trainingsrecepten met het hybride team in Heidelberg.

DEDuitslandHybrideVoltijdSeniorVereiste Taal: EngelsAI-onderzoekswetenschapperMachinelearning-ingenieur
Gedistribueerde systemenPythonPyTorch

Beschrijving

  • Ontwikkel architecturen en trainingsmethoden voor de volgende generatie foundationmodellen van Aleph Alpha.
  • Leid onderdelen van de kerntrainingsrecepten, waaronder optimizers, schema’s en initialisatie.
  • Ontwikkel verbeteringen aan PyTorch-architecturen die convergentie, stabiliteit en trainingsefficiëntie versterken.
  • Stel schaalwetten voor hyperparameters en methoden op om trainingsruns op te schalen.
  • Voer kleine proxy-experimenten uit om gedrag op duizenden GPU’s te voorspellen en trainingsrisico’s te beperken.
  • Diagnosticeer convergentieproblemen, zoals loss-pieken en divergentie.
  • Los problemen met gedistribueerde training op, zoals communicatieknelpunten, racecondities en synchronisatiefouten.
  • Werk met de teams voor Compute Performance, Data, Evaluation en Post-Training aan het gezamenlijk ontwerpen van systemen en modellen.
  • Zet wiskundige analyses en experimenteel bewijs om in weloverwogen trainingsbeslissingen.
  • Lever productieklare code die de modelkwaliteit, betrouwbaarheid van runs en efficiëntie verbetert.

Vereisten

  • Goede beheersing van Python en ruime ervaring met PyTorch-trainingsworkflows.
  • Aantoonbare resultaten in machinelearningonderzoek en softwareontwikkeling, bijvoorbeeld met uitgebrachte modellen, invloedrijk opensourcewerk of gepubliceerde onderzoeken.
  • Sterke wiskundige basis en het vermogen om formeel te redeneren over optimalisatie, schaalgedrag en trainingsdynamiek.
  • Grondige kennis van de trainingsdynamiek van transformers, optimalisatie en grote gedistribueerde trainingsruns.
  • Vermogen om gedegen experimenten op te zetten en de bevindingen te gebruiken voor robuuste trainingsbeslissingen.
  • Praktische ervaring met pre-training van grote modellen, bijvoorbeeld modellen met 7B of meer parameters, op omvangrijke infrastructuur zoals clusters met 100 of meer GPU’s.
  • Goede softwareontwikkelpraktijken, waaronder onderhoudbare, goed geteste code en reproduceerbare experimenten.
  • Vermogen om complexe architecturen efficiënt en betrouwbaar te implementeren en modelcode, trainingsgedrag en gedistribueerde systemen te debuggen.
  • Heldere communicatie en effectieve samenwerking tussen teams.
  • Bevoegdheid om in Duitsland te werken en beschikbaarheid voor regelmatige samenwerking op locatie in Heidelberg.
  • Pré: ervaring met het trainen van LLM’s of multimodale modellen op grote GPU-clusters met gedistribueerde frameworks zoals Megatron-LM, DeepSpeed of torchtitan.
  • Pré: bekendheid met schaalwetten, overdracht van hyperparameters of het voorspellen van trainingsgedrag op grote schaal op basis van proxy-runs.
  • Pré: ervaring met het profileren van gedistribueerde jobs en het diagnosticeren van trainingsafwijkingen.
  • Pré: ervaring met sparse-trainingsmethoden zoals Mixture-of-Experts.
  • Pré: publicaties in toonaangevende vakbladen of conferenties, invloedrijke opensourcebijdragen of belangrijk gerealiseerd technisch werk.

Voordelen

  • 30 dagen betaald jaarlijks verlof.
  • Toegang tot fitness- en wellnessaanbod via Wellhub.
  • Ondersteuning voor mentale gezondheid via nilo.health.
  • Aanzienlijk gesubsidieerde pensioenregeling via de werkgever.
  • Gesubsidieerd landelijk vervoersabonnement in Duitsland.
  • Budget voor extra technische apparatuur.
  • Flexibele werktijden.
  • Hybride werkregeling.
  • JobRad®-fietslease.

Gerelateerde vacatures

Monzo Bank

Teammanager financiële criminaliteit (Spaanssprekend, VK, remote)

Monzo Bank
1.001 – 5.000 Medewerkers
Sponsor voor Skilled Worker-visumB2CBankwezenFintech
GBVerenigd Koninkrijk
£ 38.300 – £ 49.000 / jaar
Op afstandVoltijdMediorSeniorVereiste Taal: EngelsVereiste Taal: SpaansFinanciële criminaliteit

Leid Monzo’s team van onderzoekers naar financiële criminaliteit, coach medewerkers en behandel complexe escalaties. Verbeter fraudebestrijding, witwascontroles en screening voor klanten in het Verenigd Koninkrijk.

Openen