STN Incorporated
STN Incorporated
STN Incorporated proporciona servicios de TI gestionados e infraestructura en la nube para empresas y equipos que desarrollan software, sistemas de IA y robótica esenciales para el negocio. Sus servicios incluyen nubes privadas de CPU, infraestructura de IA con GPU One, redes y almacenamiento seguros, y operaciones en la nube continuas, con asistencia humana las 24 horas del día, los 7 días de la semana, y acuerdos de nivel de servicio con alta disponibilidad. La empresa también gestiona operaciones de ciberseguridad y respuesta a incidentes, cumplimiento normativo y gestión de riesgos, copias de seguridad y recuperación, así como la adquisición de tecnología y la gestión de su ciclo de vida. STN presta servicios a empresas SaaS, desarrolladores de IA y modelos, compañías de robótica y organizaciones reguladas, incluidos proveedores de atención sanitaria, con una infraestructura diseñada para facilitar la preparación para auditorías y el cumplimiento de marcos como SOC 2 Tipo II y HIPAA.

Responsable sénior de optimización de cargas de inferencia

Lidera la optimización del rendimiento de GPU para cargas de trabajo de IA de clientes en la plataforma de centros de datos autónomos de STN. Convierte su experiencia en optimización en soluciones ejecutables por agentes y supervisa el servicio interno de modelos.

Descripción

  • Analiza las cargas de entrenamiento e inferencia de los clientes para localizar cuellos de botella de rendimiento en la carga de datos, la comunicación colectiva, el ancho de banda de memoria, los kernels, el batching y el paralelismo.
  • Establece referencias de rendimiento para cada generación de hardware, empezando por los sistemas NVIDIA actuales.
  • Convierte la experiencia en optimización en soluciones que los agentes puedan aplicar en los clústeres de los clientes.
  • Optimiza las cargas de trabajo con clientes que tienen capacidad comprometida, directamente o a través de sus equipos operativos.
  • Como responsabilidad secundaria, gestiona el servicio interno de modelos, incluido el enrutamiento que tiene en cuenta el coste y la latencia, y las migraciones de versiones de modelos.
  • Asesora sobre la asignación de GPU entre la inferencia interna y las cargas de trabajo de los clientes.

Requisitos

  • Aporta una sólida experiencia en ingeniería del rendimiento de GPU, incluido el perfilado, el comportamiento de la memoria y el ancho de banda, y la comprensión a nivel de kernel.
  • Tiene conocimientos prácticos de plataformas de servicio como vLLM, SGLang o TensorRT-LLM, incluidas las ventajas y desventajas del batching, la gestión de la caché KV y la cuantización.
  • Tiene experiencia con entrenamiento e inferencia distribuidos a gran escala, incluidos el paralelismo tensorial, de canalización y de datos.
  • Tiene experiencia optimizando la comunicación colectiva, como NCCL.
  • Domina herramientas de perfilado como Nsight, DCGM y los perfiladores de los frameworks.
  • Puede explicar a los clientes los hallazgos sobre rendimiento y codificar soluciones para un agente.
  • Se valorará: desarrollo de kernels CUDA, despliegue de modelos de pesos abiertos a gran escala, diseño de benchmarks y experiencia técnica previa de cara al cliente.

Empleos relacionados

Gramian Consulting

Especialista en investigación y evaluación de conversaciones con IA

Gramian Consulting

Gramian Consulting busca una persona evaluadora de conversaciones con IA para mejorar la calidad de las recomendaciones de IA. El puesto utiliza análisis cualitativo estructurado para evaluar situaciones interpersonales e identificar el contexto que falta.

Abrir
Gartner

Director sénior de gestión de datos para habilitación de IA

Gartner

En Gartner, ofrecerás investigación y asesoramiento ejecutivo sobre plataformas de gestión de datos y habilitación de IA. Orientarás a líderes empresariales mediante análisis, presentaciones y reuniones con clientes.

Abrir
CDW

Ingeniero consultor de infraestructura de IA, cómputo y almacenamiento

CDW

Diseña y valida soluciones de cómputo con GPU y almacenamiento de alto rendimiento para cargas de trabajo empresariales de IA y aprendizaje automático. Ayuda a los clientes de CDW a implementar infraestructura para entrenamiento, ajuste fino e inferencia de IA.

Abrir
Salesforce

Director sénior de innovación en IA para ciencias de la vida

Salesforce

Lidera la estrategia de entrega de IA de Salesforce para ciencias de la vida, desarrollando capacidades reutilizables e impulsando la transformación de clientes. Guía a un equipo global de producto, ingeniería y servicios profesionales.

Abrir