Baseten fornisce infrastrutture per l’inferenza dei modelli alle aziende che implementano applicazioni di machine learning e intelligenza artificiale. La sua piattaforma è progettata per offrire un servizio rapido e scalabile, combinando inferenza ad alta capacità, distribuzione veloce, autoscaling, gestione sicura dei modelli per le aziende e supporto per il packaging di modelli open source. Baseten aiuta i team di ingegneria e machine learning a gestire le esigenze operative dell’infrastruttura dei modelli, così che possano concentrarsi sullo sviluppo di modelli specifici per il proprio settore. L’azienda opera nei settori dell’intelligenza artificiale, del software come servizio e della tecnologia aziendale, con un team composto da 11-50 dipendenti.
Ingegnere del software per le prestazioni dell'inferenza presso Baseten (ibrido)
Baseten cerca un ingegnere delle prestazioni dell'inferenza per ottimizzare i runtime degli LLM, i kernel GPU e i sistemi di serving dei modelli. Il ruolo si concentra sul miglioramento della velocità dell'inferenza in produzione, dell'utilizzo dell'hardware e dell'efficienza dei costi.
Descrizione
- Portare in produzione metodi avanzati di inferenza, tra cui quantizzazione, decodifica speculativa, riutilizzo della cache KV, prefill a blocchi, LoRA, generazione guidata e scheduling o routing personalizzati.
- Analizzare l'intera pipeline di inferenza, ottimizzando l'overhead dei kernel, il posizionamento della memoria, lo scheduling delle richieste, la separazione tra prefill e decode e il routing consapevole della cache.
- Aumentare i token per ora GPU e l'utilizzo, bilanciando latenza, throughput e costi.
- Distribuire e ottimizzare architetture di modelli emergenti su nuove piattaforme hardware.
- Creare benchmark che comprendano diversi tipi di modello, dimensioni dei batch, lunghezze delle sequenze e configurazioni hardware.
- Contribuire con miglioramenti a progetti open source per l'inferenza, tra cui vLLM, SGLang e TensorRT-LLM.
- Collaborare con i team che si occupano di modelli, infrastruttura e clienti per ottenere miglioramenti delle prestazioni misurabili.
Requisiti
- Laurea, laurea magistrale o dottorato in informatica, ingegneria, matematica o una disciplina correlata.
- Esperienza professionale con almeno un linguaggio di programmazione general purpose, tra cui Python o C++.
- Conoscenza pratica dei metodi di ottimizzazione degli LLM, come quantizzazione, decodifica speculativa e batching continuo.
- Solida padronanza delle librerie di machine learning, in particolare PyTorch, TensorRT o TensorRT-LLM.
- Interesse dimostrato ed esperienza pratica con i modelli linguistici di grandi dimensioni.
- Conoscenza approfondita dell'architettura delle GPU.
Benefit
- Pacchetto retributivo competitivo con una partecipazione significativa al capitale.
- Per i dipendenti negli Stati Uniti, copertura completa dell'assicurazione medica, odontoiatrica e oculistica per dipendenti e persone a carico.
- Ferie retribuite flessibili, oltre a una pausa invernale aziendale.
- Congedo parentale retribuito.
- Supporto alla fertilità e alla costruzione della famiglia attraverso un'indennità Carrot.
- Per i dipendenti negli Stati Uniti, un piano 401(k) organizzato dall'azienda.
- Opportunità di lavorare con diverse startup di machine learning, favorendo un apprendimento significativo e lo sviluppo di una rete professionale.