Baseten
Baseten
Baseten fornisce infrastrutture per l’inferenza dei modelli alle aziende che implementano applicazioni di machine learning e intelligenza artificiale. La sua piattaforma è progettata per offrire un servizio rapido e scalabile, combinando inferenza ad alta capacità, distribuzione veloce, autoscaling, gestione sicura dei modelli per le aziende e supporto per il packaging di modelli open source. Baseten aiuta i team di ingegneria e machine learning a gestire le esigenze operative dell’infrastruttura dei modelli, così che possano concentrarsi sullo sviluppo di modelli specifici per il proprio settore. L’azienda opera nei settori dell’intelligenza artificiale, del software come servizio e della tecnologia aziendale, con un team composto da 11-50 dipendenti.

Engineering Manager, prestazioni dell’inferenza GPU presso Baseten

Guida l’ingegneria delle prestazioni dell’inferenza GPU presso Baseten, un’azienda di infrastrutture per l’IA. Coordina l’ottimizzazione del runtime, l’efficienza dei modelli e la crescita di un team tecnico specializzato.

Descrizione

  • Gestire, affiancare e sviluppare gli ingegneri delle prestazioni dell’inferenza attraverso incontri individuali regolari, feedback, pianificazione della carriera e valutazioni delle prestazioni
  • Selezionare ingegneri GPU e dell’inferenza promuovendo al contempo una cultura collaborativa nel team
  • Essere responsabile della roadmap e dell’esecuzione delle prestazioni del runtime
  • Esaminare i progetti tecnici, dirigere le attività di profilazione e ottimizzazione e aiutare gli ingegneri a valutare l’uso di tempo e memoria
  • Portare in produzione quantizzazione, decodifica speculativa, riutilizzo della cache KV, prefill a blocchi e pianificazione personalizzata
  • Tradurre i miglioramenti delle prestazioni in progressi misurabili nei token per ora di GPU, nell’utilizzo, nella latenza e nei costi
  • Portare nuove architetture di modelli sull’hardware emergente e ottimizzarne le prestazioni
  • Collaborare con i team Infrastructure, Inference Platform, Kernels, Model APIs e con i team a contatto con i clienti per stabilire le priorità, coordinare i lanci e fornire miglioramenti
  • Definire standard ingegneristici per qualità, benchmarking, eccellenza operativa e risposta agli incidenti
  • Far progredire l’ottimizzazione dell’inferenza agentica, i kernel agentici, l’addestramento di modelli con decodifica speculativa e il Baseten Inference Stack

Requisiti

  • Laurea, master o dottorato in informatica, ingegneria, matematica o disciplina affine
  • Esperienza manageriale che includa assunzioni ingegneristiche, mentoring, feedback e valutazioni delle prestazioni
  • Esperienza nella guida o nel supporto diretto di team di ottimizzazione GPU nell’addestramento, nell’inferenza o nei sistemi di raccomandazione
  • Conoscenza tecnica approfondita dei carichi di lavoro GPU, dell’architettura e dei compromessi prestazionali
  • Familiarità con librerie di machine learning tra cui PyTorch, TensorRT o TensorRT-LLM
  • Capacità dimostrata di definire roadmap e portare a termine progetti tecnici complessi con un team
  • Ottime capacità di comunicazione scritta e orale per allineare gli stakeholder tra i team
  • Familiarità con motori di inferenza come vLLM, SGLang o TensorRT-LLM
  • Esperienza nell’applicazione di metodi di ottimizzazione degli LLM come quantizzazione, decodifica speculativa e batching continuo
  • Esperienza nello sviluppo o nell’utilizzo di kernel GPU con CUDA, Triton o CUTLASS
  • Esperienza nella crescita di un team di ingegneria durante una rapida fase di espansione di una startup
  • Precedente esperienza pratica come ingegnere delle prestazioni o dei sistemi prima del passaggio alla gestione

Benefit

  • Pacchetto retributivo competitivo con una quota azionaria significativa
  • Per i dipendenti negli Stati Uniti, copertura completa di assistenza medica, dentistica e oculistica per dipendenti e familiari a carico
  • Ferie retribuite flessibili, inclusa una pausa invernale aziendale
  • Congedo parentale retribuito
  • Supporto alla fertilità e alla costruzione della famiglia tramite Carrot
  • Per i dipendenti negli Stati Uniti, piano 401(k) facilitato dall’azienda
  • Opportunità di lavorare con diverse startup di machine learning e creare connessioni nel settore

Offerte correlate

Kreato Global | BPO and Language Solutions

Interprete da remoto inglese-spagnolo OPI/VRI

Kreato Global | BPO and Language Solutions

Interpreta da remoto tra persone anglofone e ispanofone in ambito medico, finanziario, dei servizi sociali e dell’assistenza clienti. Fornisci supporto linguistico a Kreato Global in tutta l’America Latina.

Apri
Taurus SA

Tecnico IT e specialista del supporto clienti

Taurus SA
51 – 200 Dipendenti
CriptoFintechServizi bancari

Fornisci supporto agli utenti aziendali e ai clienti esterni di Taurus in una fintech regolamentata che opera nel settore degli asset digitali. Gestisci l’infrastruttura Azure, il supporto agli endpoint, la classificazione dei ticket e la risoluzione dei problemi dei clienti.

Apri
RecruitGo

Assistente esecutivo da remoto, prospezione e marketing — Filippine

RecruitGo
51 – 200 Dipendenti
ConsulenzaLogisticaMarketing

Fornisce supporto amministrativo, gestisce il CRM e si occupa di prospezione e marketing per RecruitGo, un’azienda di Employer of Record che serve clienti globali con talenti provenienti dai mercati emergenti. Supporta due clienti rivolti al Regno Unito nelle attività amministrative quotidiane e nelle campagne creative.

Apri
SPERTON - Where Great People Meet

Responsabile vendite di ascensori e sistemi di parcheggio

SPERTON - Where Great People Meet
51 – 200 Dipendenti

Sviluppa le vendite di ascensori e sistemi di parcheggio nella regione occidentale di Mumbai. Crea rapporti con clienti e concessionari e gestisci le trattative dal primo contatto alla realizzazione del progetto.

Apri
Salonkee

Rappresentante commerciale di software per saloni — Göttingen

Salonkee
51 – 200 Dipendenti
BellezzaMarketplaceSaaS

Fai crescere l’attività di Salonkee nel settore dei software per saloni a Göttingen con la ricerca di nuovi clienti sul territorio, le dimostrazioni del prodotto e la gestione completa delle vendite. Crea relazioni con i titolari dei saloni e accompagnali dal primo contatto fino alla chiusura.

Apri