Hewlett Packard Enterprise
Hewlett Packard Enterprise
Hewlett Packard Enterprise desarrolla tecnología empresarial para organizaciones que operan con entornos de nube híbrida y operaciones impulsadas por la inteligencia artificial. Su cartera abarca los servidores HPE ProLiant y la computación de alto rendimiento HPE Cray, el almacenamiento HPE Alletra, las redes HPE Aruba, plataformas de IA y fábricas de IA llave en mano, así como soluciones como servicio de GreenLake. HPE también ofrece capacidades de seguridad como Zero Trust y SASE, además de servicios profesionales, de asesoramiento y de soporte que ayudan a las grandes organizaciones a modernizar su infraestructura, gestionar entornos de centros de datos y desplegar la IA a gran escala.

Ingeniero sénior de software de inferencia en HPE Hybrid

Lidera el desarrollo del runtime empresarial de inferencia de LLM de HPE AI Essentials para infraestructuras propiedad del cliente. Mejora el servicio eficiente en GPU, la ejecución distribuida y la orquestación con Kubernetes.

Descripción

  • Gestiona los componentes principales del despliegue de servicio de LLM, incluida la integración del motor, el batching continuo, la gestión y reutilización de la caché KV y la ejecución cuantizada.
  • Colabora con equipos de ingeniería de inferencia para reducir el tiempo hasta el primer token, la latencia entre tokens, el rendimiento de la GPU y la latencia de cola P95/P99.
  • Desarrolla y opera funciones de ejecución distribuida, como el prellenado y la decodificación desagregados, el paralelismo de tensores y de canalización, y la descarga de la caché KV entre la memoria de la GPU, la memoria del host y el almacenamiento conectado mediante RDMA.
  • Evalúa runtimes emergentes, métodos de cuantización, decodificación especulativa y servicio de modelos de mezcla de expertos, y recomienda tecnologías para su adopción.
  • Ayuda a crear la capa de orquestación que cubre la admisión de modelos, la programación y particionamiento de GPU, el enrutamiento de solicitudes consciente de la caché y el escalado automático.
  • Resuelve problemas de clientes de principio a fin, determina las causas raíz y refuerza los sistemas y procesos relacionados.
  • Revisa código y diseños, mentoriza a colegas y promueve sólidas prácticas de ingeniería.

Requisitos

  • Al menos 8 años de experiencia en ingeniería de software.
  • Uno o dos años o más de experiencia directa con runtimes de inferencia de LLM o servicio de modelos en producción.
  • Título en informática o una disciplina relacionada.
  • Familiaridad con motores de inferencia de LLM como vLLM, SGLang, TensorRT-LLM, TGI o NVIDIA NIM, incluida experiencia modificando componentes internos del motor.
  • Amplios conocimientos de batching continuo, paged attention, reutilización de la caché KV y almacenamiento en caché de prefijos, prellenado por fragmentos, cuantización y decodificación especulativa.
  • Conocimientos prácticos de paralelismo de tensores y de canalización, operaciones colectivas NCCL, jerarquía de memoria de GPU y comportamiento de las interconexiones.
  • Dominio avanzado de la arquitectura de plataformas Kubernetes, incluidos operadores, recursos personalizados, controladores y programación.
  • Sólidas habilidades de programación en Go y Python.
  • Capacidad para leer, depurar y crear perfiles de C++ y CUDA con herramientas como Nsight.
  • Familiaridad con la depuración y creación de perfiles de cargas de trabajo multinivel, incluidas aplicaciones RAG y de agentes.
  • Excelentes habilidades analíticas, de depuración y resolución de problemas.
  • Preferible: contribuciones a vLLM, SGLang, TensorRT-LLM, llm-d, LMCache o KServe.
  • Preferible: experiencia con servicio de prellenado y decodificación desagregados o descarga y reutilización de caché KV a gran escala.
  • Preferible: experiencia con RDMA, GPUDirect Storage, InfiniBand o RoCE.
  • Preferible: experiencia con MIG, asignación fraccionada de GPU y aislamiento de GPU multiinquilino.
  • Preferible: experiencia desarrollando software para entornos empresariales locales, aislados de Internet o regulados.

Beneficios

  • Beneficios integrales que apoyan la salud física, la seguridad financiera y el bienestar emocional.
  • Programas que apoyan el crecimiento personal y profesional.
  • Flexibilidad para las modalidades de trabajo y las necesidades personales.
  • Una cultura laboral inclusiva.
  • Adaptaciones razonables durante el proceso de solicitud o entrevista para candidatos cualificados con discapacidades.

Empleos relacionados

DaVita Kidney Care

Administrador/a de marketing para socios

DaVita Kidney Care

Promociona planes de salud afiliados a DaVita mediante iniciativas de contacto con pacientes en clínicas de diálisis del sur de California. Genera confianza, apoya la inscripción y comparte información sobre los planes conforme a las directrices de marketing.

Abrir
CVS Health

Asistente ejecutivo sénior, operaciones de PBM de CVS Health

CVS Health

Brinda apoyo administrativo ejecutivo a los líderes de operaciones de PBM de CVS Health y coordina calendarios, viajes, eventos, presupuestos y operaciones confidenciales. Agiliza el trabajo de los líderes mediante la coordinación entre equipos y el seguimiento de tareas.

Abrir
Lennar

Administrador de DocuSign

Lennar

Gestiona el acceso de usuarios, los permisos y la asistencia con sobres de DocuSign en Lennar, una de las principales constructoras de viviendas de EE. UU. Da soporte a flujos de firma integrados con Salesforce y atiende solicitudes mediante tickets.

Abrir
New York University Tisch School of the Arts

Auxiliar administrativo II, Centro de Salud Estudiantil

New York University Tisch School of the Arts
501 – 1000 Empleados
ArtesEducaciónMedios

Brinda apoyo administrativo a los equipos directivos y de cumplimiento del Centro de Salud Estudiantil de NYU, y se ocupa de las operaciones de oficina, la correspondencia, los registros, los presupuestos y las consultas. Coordina las asignaciones del personal y colabora con estudiantes, pacientes, proveedores, familias y colegas de la Universidad para atender solicitudes y resolver problemas.

Abrir