STN Incorporated
STN Incorporated
STN Incorporated fournit des services informatiques gérés et une infrastructure cloud aux entreprises et aux équipes qui développent des logiciels, des systèmes d’IA et des solutions robotiques essentiels à leurs activités. Ses services comprennent des clouds privés sur CPU, une infrastructure d’IA GPU One, des réseaux et un stockage sécurisés, ainsi que des opérations cloud continues, avec une assistance humaine 24 h/24 et 7 j/7 et des accords de niveau de service garantissant une haute disponibilité. L’entreprise prend également en charge les opérations de cybersécurité et la réponse aux incidents, la conformité et la gestion des risques, la sauvegarde et la restauration, ainsi que l’approvisionnement technologique et la gestion du cycle de vie. STN accompagne des entreprises SaaS, des concepteurs d’IA et de modèles, des sociétés de robotique et des organisations soumises à une réglementation, notamment des prestataires de santé, avec une infrastructure conçue pour faciliter la préparation aux audits et répondre à des référentiels tels que SOC 2 Type II et HIPAA.

Responsable senior de l’optimisation des charges d’inférence

Pilote l’optimisation des performances GPU pour les charges d’IA des clients sur la plateforme de centres de données autonomes de STN. Transforme son expertise en optimisation en correctifs exécutables par des agents et supervise le service interne des modèles.

Description

  • Analyse les charges d’entraînement et d’inférence des clients afin de repérer les goulots d’étranglement des performances liés au chargement des données, à la communication collective, à la bande passante mémoire, aux kernels, au batching et au parallélisme.
  • Définit des références de performance pour chaque génération de matériel, en commençant par les systèmes NVIDIA actuels.
  • Transforme son expertise en optimisation en correctifs que des agents peuvent appliquer aux clusters des clients.
  • Optimise les charges de travail avec les clients disposant d’une capacité engagée, directement ou par l’intermédiaire de leurs équipes d’exploitation.
  • À titre de responsabilité secondaire, gère le service interne des modèles, notamment le routage tenant compte des coûts et de la latence ainsi que les migrations de versions de modèles.
  • Conseille sur la répartition des GPU entre l’inférence interne et les charges de travail des clients.

Exigences

  • Possède une solide expertise en ingénierie des performances GPU, notamment en profilage, en comportement de la mémoire et de la bande passante, et en compréhension des kernels.
  • Maîtrise en pratique des piles de serving telles que vLLM, SGLang ou TensorRT-LLM, y compris le batching, la gestion du cache KV et les compromis liés à la quantification.
  • A de l’expérience de l’entraînement et de l’inférence distribués à grande échelle, notamment du parallélisme tensoriel, en pipeline et des données.
  • A de l’expérience dans l’optimisation de la communication collective, comme NCCL.
  • Maîtrise des outils de profilage tels que Nsight, DCGM et les profileurs au niveau des frameworks.
  • Sait expliquer les résultats de performance aux clients et encoder des solutions pour un agent.
  • Atouts appréciés : développement de kernels CUDA, déploiement à grande échelle de modèles à poids ouverts, conception de benchmarks et expérience technique antérieure en contact avec la clientèle.

Offres similaires

SHI International Corp.

Responsable senior du marketing des solutions d’IA

SHI International Corp.
5 001 – 10 000 Employés
ConseilIndustrie manufacturièreLogistique

Définissez le positionnement, les messages et les lancements de l’IA d’entreprise de SHI. Élaborez des outils pour les ventes, des contenus événementiels et des témoignages clients pour soutenir la croissance.

Ouvrir
Gramian Consulting

Spécialiste de la recherche et de l’évaluation des conversations avec l’IA

Gramian Consulting

Gramian Consulting recrute une personne chargée d’évaluer les conversations avec l’IA afin d’améliorer la qualité des recommandations de l’IA. Le poste s’appuie sur une analyse qualitative structurée pour évaluer des situations interpersonnelles et repérer les éléments de contexte manquants.

Ouvrir
Gartner

Directeur principal de la gestion des données pour favoriser l’IA

Gartner

Chez Gartner, vous produirez des études et des conseils aux dirigeants sur les plateformes de gestion des données et la mise en œuvre de l’IA. Vous conseillerez les dirigeants d’entreprise grâce à des analyses, des présentations et des échanges avec les clients.

Ouvrir
CDW

Ingénieur conseil en infrastructure IA, calcul et stockage

CDW

Conçoit et valide des solutions de calcul GPU et de stockage haute performance pour les charges de travail d’IA et d’apprentissage automatique en entreprise. Aide les clients de CDW à déployer l’infrastructure nécessaire à l’entraînement, au réglage fin et à l’inférence en IA.

Ouvrir
Salesforce

Responsable senior de l’innovation en IA, sciences de la vie

Salesforce

Pilote la stratégie de déploiement de l’IA de Salesforce dans les sciences de la vie, en développant des capacités réutilisables et en faisant avancer la transformation des clients. Dirige une équipe internationale réunissant produit, ingénierie et services professionnels.

Ouvrir