Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise développe des technologies d’entreprise pour les organisations qui utilisent des environnements de cloud hybride et des opérations pilotées par l’intelligence artificielle. Son portefeuille comprend les serveurs HPE ProLiant et le calcul haute performance HPE Cray, le stockage HPE Alletra, les réseaux HPE Aruba, des plateformes d’IA et des usines d’IA clé en main, ainsi que les solutions à la demande GreenLake. HPE propose également des fonctionnalités de sécurité telles que Zero Trust et SASE, ainsi que des services professionnels, de conseil et d’assistance qui aident les grandes organisations à moderniser leur infrastructure, à gérer leurs environnements de centres de données et à déployer l’IA à grande échelle.

Ingénieur logiciel senior en inférence chez HPE Hybrid

Pilotez le développement du runtime d’inférence LLM d’entreprise de HPE AI Essentials pour les infrastructures appartenant aux clients. Améliorez le serving efficace sur GPU, l’exécution distribuée et l’orchestration Kubernetes.

Description

  • Prenez en charge les composants principaux du déploiement de serving LLM, notamment l’intégration du moteur, le batching continu, la gestion et la réutilisation du cache KV ainsi que l’exécution quantifiée.
  • Collaborez avec les équipes d’ingénierie de l’inférence afin de réduire le délai avant le premier token, la latence inter-tokens, le débit GPU et la latence de queue P95/P99.
  • Développez et exploitez des fonctions d’exécution distribuée telles que le prefill et le décodage désagrégés, le parallélisme tensoriel et de pipeline, ainsi que le déport du cache KV entre la mémoire GPU, la mémoire hôte et le stockage connecté par RDMA.
  • Évaluez les runtimes émergents, les méthodes de quantification, le décodage spéculatif et le serving de modèles mixture-of-experts, puis recommandez les technologies à adopter.
  • Contribuez à construire la couche d’orchestration couvrant l’admission des modèles, la planification et le partitionnement des GPU, le routage des requêtes tenant compte du cache et l’autoscaling.
  • Résolvez les problèmes des clients de bout en bout, identifiez les causes profondes et renforcez les systèmes et processus associés.
  • Relisez le code et les conceptions, accompagnez les collègues et donnez l’exemple de pratiques d’ingénierie rigoureuses.

Exigences

  • Au moins 8 ans d’expérience en ingénierie logicielle.
  • Un à deux ans ou plus d’expérience directe avec des runtimes d’inférence LLM ou le serving de modèles en production.
  • Diplôme en informatique ou dans une discipline connexe.
  • Familiarité avec des moteurs d’inférence LLM tels que vLLM, SGLang, TensorRT-LLM, TGI ou NVIDIA NIM, y compris une expérience de modification de leurs composants internes.
  • Solides connaissances du batching continu, de l’attention paginée, de la réutilisation du cache KV et du cache de préfixes, du prefill par blocs, de la quantification et du décodage spéculatif.
  • Connaissance pratique du parallélisme tensoriel et de pipeline, des opérations collectives NCCL, de la hiérarchie de mémoire GPU et du comportement des interconnexions.
  • Maîtrise avancée de l’architecture des plateformes Kubernetes, notamment des opérateurs, des ressources personnalisées, des contrôleurs et de la planification.
  • Solides compétences en programmation Go et Python.
  • Capacité à lire, déboguer et profiler du C++ et du CUDA avec des outils tels que Nsight.
  • Familiarité avec le débogage et le profilage de charges de travail multiniveaux, notamment les applications RAG et agentiques.
  • Excellentes capacités d’analyse, de débogage et de résolution de problèmes.
  • Apprécié : contributions à vLLM, SGLang, TensorRT-LLM, llm-d, LMCache ou KServe.
  • Apprécié : expérience du serving avec prefill et décodage désagrégés, ou du déport et de la réutilisation du cache KV à grande échelle.
  • Apprécié : expérience de RDMA, GPUDirect Storage, InfiniBand ou RoCE.
  • Apprécié : expérience de MIG, de l’allocation fractionnée de GPU et de l’isolation de GPU en environnement multi-tenant.
  • Apprécié : expérience de livraison de logiciels pour des environnements d’entreprise sur site, isolés ou réglementés.

Avantages

  • Des avantages complets favorisant la santé physique, la sécurité financière et le bien-être émotionnel.
  • Des programmes soutenant le développement personnel et professionnel.
  • De la flexibilité pour les modalités de travail et les besoins personnels.
  • Une culture de travail inclusive.
  • Des aménagements raisonnables pendant le processus de candidature ou d’entretien pour les candidats qualifiés en situation de handicap.

Offres similaires

GoLean Health

Assistant médical virtuel pour un cabinet de chiropractie à distance

GoLean Health

Soutenez un cabinet de chiropractie à distance dans la gestion des assurances, des demandes de remboursement, de la facturation et des dossiers patients. Suivez les indicateurs opérationnels et coordonnez le travail entre le praticien, l’équipe de soins et le personnel administratif.

Ouvrir
GoLean Health

Assistant médical virtuel à distance (MVA)

GoLean Health

Apportez un soutien à distance à une clinique chiropratique de Caracas pour la vérification des assurances, les demandes de remboursement, les EOB et la facturation. Suivez la documentation, les rendez-vous, les paiements et les rapports opérationnels.

Ouvrir
GoLean Health

Assistant médical virtuel pour une clinique chiropratique aux États-Unis

GoLean Health

Accompagnez à distance une clinique chiropratique aux États-Unis pour la vérification des assurances, les demandes de remboursement, la facturation et la documentation clinique. Suivez les indicateurs opérationnels et coordonnez le travail entre le praticien et l’équipe soignante.

Ouvrir
GoLean Health

Assistant médical virtuel à distance (Pérou)

GoLean Health

Soutenez à distance un cabinet de chiropratique pour la vérification des assurances, les demandes de remboursement, la facturation et la documentation. Préparez des rapports opérationnels et coordonnez le travail entre le praticien, l’équipe de soins et le personnel administratif.

Ouvrir
GoLean Health

Assistant médical virtuel pour une clinique chiropratique à distance

GoLean Health

Soutenez une clinique chiropratique à distance en vérifiant les assurances et en gérant les demandes, la facturation et la documentation médicale. Préparez des rapports opérationnels et coordonnez le travail entre le praticien, l’équipe de soins et le personnel administratif.

Ouvrir
GoLean Health

Assistant virtuel médical pour un cabinet de santé aux États-Unis

GoLean Health

Apporter un soutien administratif à distance à une clinique chiropratique : vérification des assurances, gestion des demandes, des EOB et des soldes des patients. Coordonner les rapports et les activités quotidiennes d’un cabinet de santé aux États-Unis.

Ouvrir