Baseten
Baseten
Baseten fournit une infrastructure d’inférence de modèles aux entreprises qui déploient des applications d’apprentissage automatique et d’intelligence artificielle. Sa plateforme est conçue pour un service rapide et évolutif, en combinant une inférence à haut débit, un déploiement rapide, une mise à l’échelle automatique, un service sécurisé des modèles pour les entreprises et la prise en charge du conditionnement de modèles open source. Baseten aide les équipes d’ingénierie et d’apprentissage automatique à gérer les exigences opérationnelles liées à l’infrastructure des modèles afin qu’elles puissent se concentrer sur le développement de modèles propres à leur domaine. L’entreprise intervient dans les secteurs de l’intelligence artificielle, du logiciel en tant que service et des technologies d’entreprise, avec une équipe de 11 à 50 employés.

Ingénieur logiciel en performance d'inférence chez Baseten (hybride)

Baseten recrute un ingénieur en performance d'inférence pour optimiser les runtimes de LLM, les kernels GPU et les systèmes de mise en service des modèles. Le poste vise à améliorer la vitesse d'inférence en production, l'utilisation du matériel et l'efficacité des coûts.

Description

  • Mettre en production des méthodes avancées d'inférence telles que la quantification, le décodage spéculatif, la réutilisation du cache KV, le préremplissage par blocs, LoRA, la génération guidée et la planification ou le routage personnalisés.
  • Analyser l'ensemble du pipeline d'inférence en optimisant la surcharge des kernels, le placement mémoire, la planification des requêtes, la séparation du préremplissage et du décodage, ainsi que le routage tenant compte du cache.
  • Augmenter le nombre de tokens par heure de GPU et le taux d'utilisation, tout en équilibrant latence, débit et coût.
  • Déployer et optimiser des architectures de modèles émergentes sur de nouvelles plateformes matérielles.
  • Créer des benchmarks couvrant différents types de modèles, tailles de lots, longueurs de séquence et configurations matérielles.
  • Proposer des améliorations pour des projets d'inférence open source, notamment vLLM, SGLang et TensorRT-LLM.
  • Collaborer avec les équipes chargées des modèles, de l'infrastructure et de la relation client afin d'obtenir des gains de performance mesurables.

Exigences

  • Diplôme de niveau licence, master ou doctorat en informatique, ingénierie, mathématiques ou dans une discipline connexe.
  • Expérience professionnelle avec au moins un langage de programmation généraliste, notamment Python ou C++.
  • Bonne connaissance pratique des méthodes d'optimisation des LLM, telles que la quantification, le décodage spéculatif et le batching continu.
  • Maîtrise des bibliothèques de machine learning, en particulier PyTorch, TensorRT ou TensorRT-LLM.
  • Intérêt démontré et expérience pratique des grands modèles de langage.
  • Compréhension approfondie de l'architecture des GPU.

Avantages

  • Package de rémunération compétitif avec une participation significative au capital.
  • Pour les employés aux États-Unis, une couverture complète des assurances médicale, dentaire et optique est proposée aux employés et à leurs personnes à charge.
  • Congés payés flexibles, ainsi qu'une pause hivernale pour toute l'entreprise.
  • Congé parental rémunéré.
  • Soutien à la fertilité et à la parentalité grâce à une allocation Carrot.
  • Pour les employés aux États-Unis, un plan 401(k) mis en place par l'entreprise.
  • Occasions de travailler avec diverses startups de machine learning, favorisant un apprentissage important et le développement d'un réseau professionnel.

Offres similaires

SUXXEED Sales for your Success GmbH

Étudiant salarié en administration des affaires et en IA

SUXXEED Sales for your Success GmbH
201 – 500 Employés
B2BConseil

Soutenez l’équipe commerciale B2B de SUXXEED en élaborant des analyses de rentabilité liées à l’IA, en améliorant les processus et en préparant des rapports d’indicateurs clés de performance. Collaborez avec les équipes métier et les ingénieurs en IA au sein du Centre d’excellence en IA.

Ouvrir
Maxibook OÜ

Contributeur en langage scientifique et adaptation par l’IA

Maxibook OÜ

Aidez Maxibook, une startup spécialisée dans l’éducation par l’IA, à adapter des contenus scientifiques en anglais pour des publics coréens, japonais ou arabophones. Évaluez les contenus générés par l’IA au regard de l’exactitude des concepts, du naturel de la langue et de la crédibilité académique.

Ouvrir
ZACO Robot

Commercial sédentaire B2B pour robots de nettoyage professionnel

ZACO Robot

Vous qualifierez des prospects et organiserez des appels commerciaux pour les robots de nettoyage professionnels de RV-Tech, en échangeant à distance avec des décideurs d’entreprise. Le poste porte sur l’automatisation et la robotique dans un marché professionnel en pleine croissance.

Ouvrir
Prospeum

Ingénieur commercial et consultant technique

Prospeum

Configurez la plateforme d’achats dotée d’IA de Prospeum et développez des preuves de concept pour les grandes entreprises. Animez des démonstrations techniques, des intégrations et des ateliers clients pour soutenir des ventes complexes.

Ouvrir
MMG Management Consulting

Consultant en achats stratégiques

MMG Management Consulting

Pilotez la sélection des fournisseurs, les négociations et les initiatives d’achat pour les clients d’un cabinet de conseil en management à taille humaine. Collaborez avec les parties prenantes pour faire progresser les stratégies, les processus et les outils d’achat.

Ouvrir
SUXXEED Sales for your Success GmbH

Étudiant salarié en ingénierie de l’IA

SUXXEED Sales for your Success GmbH
201 – 500 Employés
B2BConseil

Rejoignez l’équipe IA de SUXXEED pour créer des applications d’IA et des automatisations concrètes pour une entreprise spécialisée dans la vente B2B. Collaborez avec les équipes IA, informatique et métier dans un poste hybride.

Ouvrir
Peraton

Ingénieur senior en connectivité hybride

Peraton

Conçoit et dépanne la connectivité entre le cloud classifié AWS, Kubernetes et les réseaux sur site. Contribue aux missions de sécurité nationale et de technologie gouvernementale de Peraton.

Ouvrir
SUXXEED Sales for your Success GmbH

Étudiant en administration des affaires (IA)

SUXXEED Sales for your Success GmbH
201 – 500 Employés
B2BConseil

Soutenez les équipes commerciales B2B de SUXXEED avec des analyses de rentabilité liées à l’IA, des rapports KPI et des améliorations de processus. Travaillez avec des ingénieurs IA et des équipes métier à Cologne, au sein du Centre d’excellence en IA.

Ouvrir