Aleph Alpha è un’azienda di ricerca e applicazioni di intelligenza artificiale che sviluppa modelli su larga scala per il linguaggio, i dati visivi e il ragionamento strategico. Con sede a Heidelberg, in Germania, l’azienda si concentra sulla trasformazione della ricerca avanzata sull’IA in sistemi operativi, sostenendo al contempo la sovranità digitale dell’Europa. Il suo lavoro risponde a casi d’uso aziendali e organizzativi nel settore tecnologico B2B.
Ricercatore senior di IA, pre-addestramento di modelli fondazionali — Aleph Alpha, Heidelberg
Guida il lavoro di architettura e pre-addestramento su larga scala dei modelli fondazionali europei di Aleph Alpha, definendo metodi di addestramento per migliaia di GPU. Sviluppa e perfeziona ricette di addestramento in PyTorch con il team ibrido con sede a Heidelberg.
Descrizione
- Sviluppare architetture e metodi di addestramento per la prossima generazione di modelli fondazionali di Aleph Alpha.
- Guidare componenti fondamentali delle ricette di addestramento, inclusi ottimizzatori, pianificazioni e inizializzazione.
- Creare miglioramenti architetturali in PyTorch che rafforzino convergenza, stabilità ed efficienza dell’addestramento.
- Definire leggi di scaling degli iperparametri e metodi per scalare le sessioni di addestramento.
- Eseguire piccoli esperimenti proxy per prevedere il comportamento su migliaia di GPU e ridurre i rischi dell’addestramento.
- Diagnosticare problemi di convergenza, inclusi picchi della loss e divergenza.
- Risolvere i problemi dell’addestramento distribuito, come colli di bottiglia nella comunicazione, condizioni di race ed errori di sincronizzazione.
- Collaborare con i team di prestazioni di calcolo, dati, valutazione e post-addestramento alla co-progettazione di sistemi e modelli.
- Tradurre analisi matematiche e prove sperimentali in decisioni di addestramento solide.
- Fornire codice di qualità produttiva che migliori la qualità dei modelli, l’affidabilità delle sessioni e l’efficienza.
Requisiti
- Ottima conoscenza di Python e solida familiarità con i flussi di lavoro di addestramento in PyTorch.
- Comprovata esperienza nella ricerca sul machine learning e nell’ingegneria del software, dimostrata da modelli rilasciati, progetti open source influenti o ricerche pubblicate.
- Solide basi matematiche e capacità di ragionare formalmente su ottimizzazione, comportamento dello scaling e dinamiche di addestramento.
- Conoscenza approfondita delle dinamiche di addestramento dei transformer, dell’ottimizzazione e delle sessioni di addestramento distribuito su larga scala.
- Capacità di progettare esperimenti rigorosi e usare i risultati per guidare decisioni di addestramento robuste.
- Esperienza pratica nel pre-addestramento di modelli di grandi dimensioni, ad esempio con 7 miliardi o più di parametri, su infrastrutture consistenti, come cluster da almeno 100 GPU.
- Solide pratiche di ingegneria del software, tra cui codice manutenibile e ben testato ed esperimenti riproducibili.
- Capacità di implementare architetture complesse in modo efficiente e affidabile e di eseguire il debug del codice dei modelli, del comportamento di addestramento e dei sistemi distribuiti.
- Comunicazione chiara ed efficace collaborazione tra team.
- Idoneità a lavorare in Germania e disponibilità a collaborare regolarmente in presenza a Heidelberg.
- Costituisce titolo preferenziale l’esperienza nell’addestramento di LLM o modelli multimodali su grandi cluster GPU con framework distribuiti come Megatron-LM, DeepSpeed o torchtitan.
- Costituisce titolo preferenziale la familiarità con le leggi di scaling, il trasferimento degli iperparametri o la previsione del comportamento dell’addestramento su larga scala tramite esecuzioni proxy.
- Costituisce titolo preferenziale l’esperienza nella profilazione di job distribuiti e nella diagnosi di anomalie di addestramento.
- Costituisce titolo preferenziale la conoscenza di metodi di addestramento sparso, come Mixture-of-Experts.
- Costituiscono titolo preferenziale pubblicazioni di alto livello, contributi open source influenti o risultati tecnici significativi rilasciati.
Benefit
- 30 giorni di ferie annuali retribuite.
- Accesso a servizi per il fitness e il benessere tramite Wellhub.
- Supporto per la salute mentale tramite nilo.health.
- Piano pensionistico aziendale con un contributo sostanziale dell’azienda.
- Abbonamento agevolato al trasporto nazionale in Germania.
- Budget per attrezzature tecniche aggiuntive.
- Orario di lavoro flessibile.
- Modalità di lavoro ibrida.
- Leasing di biciclette JobRad®.