Baseten
Baseten
Baseten fournit une infrastructure d’inférence de modèles aux entreprises qui déploient des applications d’apprentissage automatique et d’intelligence artificielle. Sa plateforme est conçue pour un service rapide et évolutif, en combinant une inférence à haut débit, un déploiement rapide, une mise à l’échelle automatique, un service sécurisé des modèles pour les entreprises et la prise en charge du conditionnement de modèles open source. Baseten aide les équipes d’ingénierie et d’apprentissage automatique à gérer les exigences opérationnelles liées à l’infrastructure des modèles afin qu’elles puissent se concentrer sur le développement de modèles propres à leur domaine. L’entreprise intervient dans les secteurs de l’intelligence artificielle, du logiciel en tant que service et des technologies d’entreprise, avec une équipe de 11 à 50 employés.

Ingénieur logiciel, plateforme d’inférence LLM - Baseten hybride

Construisez la plateforme distribuée d’inférence LLM de Baseten pour les entreprises d’IA. Travaillez sur l’orchestration Kubernetes, les API de modèles, le routage, l’autoscaling et l’observabilité en production.

Description

  • Construire l’infrastructure et l’orchestration nécessaires à l’inférence LLM distribuée à grande échelle, notamment le routage, l’autoscaling, la planification et la gestion de l’environnement d’exécution.
  • Développer et exploiter des API de modèles prenant en charge les sorties structurées, les appels d’outils et de fonctions, ainsi que le service multimodal.
  • Mettre en œuvre le versionnage des API, la validation des requêtes, la mesure de l’utilisation, les quotas et l’authentification.
  • Créer l’instrumentation des métriques, des traces et des journaux, ainsi que des benchmarks reproductibles pour la vitesse, la fiabilité et la qualité.
  • Définir de solides pratiques de test, d’automatisation des mises en production et d’excellence opérationnelle.
  • Diagnostiquer et renforcer les systèmes de production utilisant Kubernetes, des environnements d’exécution distribués, des réseaux et des charges GPU.
  • Collaborer avec les ingénieurs en performance de l’inférence et les équipes partenaires afin de fournir des optimisations destinées aux clients.
  • Piloter les projets de l’architecture et du déploiement au monitoring et aux itérations guidées par les retours clients.
  • Concilier performance du système, fiabilité, simplicité opérationnelle et expérience développeur.

Exigences

  • Diplôme de licence, de master ou de doctorat en informatique, en ingénierie ou dans un domaine connexe, ou expérience pratique équivalente.
  • Au moins trois ans d’expérience dans la création et l’exploitation de systèmes distribués, d’infrastructures backend ou d’API à grande échelle où la fiabilité, la latence et l’échelle sont essentielles.
  • Expérience avérée dans la responsabilité de services backend fiables et à faible latence impliquant la limitation de débit, l’authentification, les quotas, la mesure de l’utilisation et les migrations.
  • Solide jugement en matière d’infrastructure, notamment une expérience du profilage, du tracing, de la planification de capacité et de la gestion des SLO.
  • Capacité à diagnostiquer les problèmes de performance et de fiabilité à travers les couches applicative, d’exécution et d’infrastructure.
  • Forte attention portée à l’expérience développeur.
  • Volonté d’apprendre de nouveaux langages, frameworks et systèmes, avec un intérêt pour l’ingénierie de l’inférence.
  • Excellentes compétences en communication écrite et en collaboration, notamment pour produire une documentation de conception claire et travailler efficacement entre équipes.
  • Une expérience ou des contributions à des moteurs ou frameworks d’inférence LLM tels que vLLM, SGLang, TensorRT-LLM, TGI ou Dynamo constituent un atout.
  • Solide expérience de Kubernetes, notamment des opérateurs et des ressources personnalisées ; la connaissance des maillages de services ou des passerelles API constitue un atout.
  • Une expérience de la planification distribuée, de l’autoscaling ou de l’orchestration de services constitue un atout.
  • Une expérience de l’exécution de charges GPU en production constitue un atout.
  • Une expérience de l’infrastructure ou des API destinées aux développeurs, ou des contributions à l’infrastructure open source ou aux systèmes d’apprentissage automatique, constitue un atout.
  • La connaissance des outils d’observabilité, des systèmes CI/CD ou de l’automatisation des mises en production constitue un atout.

Avantages

  • Rémunération compétitive avec une participation significative au capital.
  • Pour les employés et leurs personnes à charge aux États-Unis, couverture intégrale des assurances médicale, dentaire et optique.
  • Congés payés flexibles, y compris une pause hivernale pour toute l’entreprise.
  • Congé parental payé.
  • Soutien à la fertilité et à la constitution d’une famille grâce à une allocation Carrot.
  • Pour les employés aux États-Unis, un plan 401(k) facilité par l’entreprise.
  • Exposition à un éventail de startups spécialisées en apprentissage automatique, offrant de nombreuses possibilités d’apprentissage et de réseautage professionnel.

Offres similaires

I

Responsable senior de l’ingénierie des risques

Imprint
201 – 500 Employés
ConseilFinanceMarketing

Dirigez les équipes backend chargées de l’autorisation des paiements en temps réel, des décisions liées à la fraude et de l’évaluation du crédit chez Imprint, une plateforme intégrée de paiement et de crédit.

Ouvrir
Martin & Company

Directeur du conseil en assurance de dommages et responsabilité civile

Martin & Company
51 – 200 Employés
AssuranceConseilLogistique

Pilote des missions de conseil auprès de clients en assurance de dommages et responsabilité civile chez Martin & Company, un cabinet de conseil en assurance qui s’appuie sur la technologie. Définit le périmètre des missions, garantit la qualité des prestations, développe les comptes clients et accompagne les consultants.

Ouvrir
Commonwealth Bank

Responsable senior de l’ingénierie, technologies des paiements

Commonwealth Bank

Pilotez les plateformes de reporting des paiements au sein de cinq équipes d’ingénierie de Commonwealth Bank, en orientant la modernisation du cloud, les données en temps réel et l’ingénierie assistée par l’IA en Australie.

Ouvrir
General Dynamics Information Technology

Vice-président et directeur général, Marine et Corps des Marines

General Dynamics Information Technology

Dirige le portefeuille de services technologiques de GDIT pour la Marine et le Corps des Marines, dont le chiffre d’affaires annuel dépasse 700 millions de dollars. Définit la stratégie commerciale, supervise les résultats financiers et les prestations, et stimule la croissance des programmes de défense.

Ouvrir
Blizzard Entertainment

Directeur associé de la stratégie et de la planification marketing internationales

Blizzard Entertainment
1 001 – 5 000 Employés
Commerce électroniqueJeux vidéoSaaS

Pilote la stratégie marketing internationale de Blizzard dans le secteur du jeu vidéo, les priorités d’investissement et la planification de la croissance. Élabore des modèles financiers, des cadres d’analyse de marché et des recommandations pour la prise de décision de la direction.

Ouvrir
Powered by Search

Responsable de la croissance, Canada (télétravail)

Powered by Search
11 – 50 Employés
B2BMarketingSaaS

Pilotez le SEO, l’optimisation pour les moteurs génératifs, l’acquisition payante et la promotion de la marque au sein d’une agence B2B de génération de demande. Développez le pipeline grâce à des flux de travail d’agents IA, au contenu, aux webinaires, aux podcasts et aux événements du secteur.

Ouvrir
Service Stream

Analyste des actifs et de l’optimisation

Service Stream

Améliorez les données sur les actifs, l’analyse et les capacités d’IA des réseaux de services essentiels de Service Stream. Contribuez aux initiatives technologiques du secteur des transports, à la planification du cycle de vie et aux décisions d’investissement opérationnel.

Ouvrir