Sciforium
Sciforium
Sciforium es una empresa de infraestructura de inteligencia artificial que desarrolla herramientas sin servidor para aplicaciones multimodales en producción. Su API unificada y compatible con OpenAI ofrece a los equipos acceso a servicios de texto, imagen, vídeo y audio, además de alojamiento de modelos, una biblioteca de modelos, flujos de evaluación en tiempo real y despliegues gestionados de agentes. Sciforium opera hardware de GPU AMD integrado verticalmente, con el objetivo de ayudar a los equipos a desarrollar, evaluar y desplegar sistemas de IA con un rendimiento predecible, menores costes y mayor privacidad.

Ingeniero de datos para modelos fundacionales

Crea conjuntos de datos a escala de petabytes para el preentrenamiento y el posentrenamiento de los modelos de IA multimodales de Sciforium. Desarrolla canalizaciones de datos de alto rendimiento para entrenar modelos de lenguaje, visión y vídeo.

Descripción

  • Crea conjuntos de datos de preentrenamiento para modelos de lenguaje grandes de principio a fin.
  • Selecciona y equilibra datos de la web, código, libros y artículos técnicos para mejorar el rendimiento posterior de los modelos.
  • Crea canalizaciones para limpiar, deduplicar y extraer información de petabytes de datos no estructurados.
  • Lidera el desarrollo de conjuntos de datos de posentrenamiento, incluidas instrucciones de ajuste fino supervisado, diálogos de varios turnos y datos de preferencias para RLHF/DPO.
  • Supervisa la adquisición y el procesamiento de datos de visión y vídeo.
  • Escribe scripts de procesamiento de datos en Python de alto rendimiento con multiprocesamiento y multihilo.
  • Analiza estadísticamente los corpus de entrenamiento para detectar sesgos, lagunas de conocimiento y deterioros de calidad.
  • Crea canalizaciones de datos sintéticos para cubrir las lagunas de los conjuntos de datos recopilados de forma natural.
  • Aborda los retos de alineación multimodal, compresión de vídeo y coherencia temporal.

Requisitos

  • Al menos cinco años de experiencia profesional en ciencia de datos o aprendizaje automático.
  • Experiencia demostrable en la creación y gestión de conjuntos de datos para modelos fundacionales.
  • Dominio avanzado de Python, incluido el multiprocesamiento, el multihilo y la gestión eficiente de la memoria.
  • Experiencia trabajando con conjuntos de datos a escala de petabytes para modelos de lenguaje o visión grandes en producción.
  • Experiencia creando desde cero grandes conjuntos de datos de entrenamiento para LLM a partir de rastreos web sin procesar y datos especializados de distintos dominios.
  • Experiencia práctica en la creación de conjuntos de datos para RLHF, DPO y seguimiento de instrucciones en varios turnos.
  • Experiencia gestionando flujos de trabajo de etiquetado humano y conjuntos de datos de referencia de alta calidad.
  • Dominio de Spark, Ray, WebDataset, Parquet u otros marcos y formatos comparables para datos a gran escala.
  • Se valorará la experiencia creando desde cero grandes conjuntos de datos de imágenes o vídeo.
  • Se valorará el conocimiento del rastreo multimodal, el procesamiento de vídeo, los códecs y la compresión.
  • Se valorará la experiencia diseñando esquemas de etiquetado complejos para pruebas de referencia de razonamiento, programación y matemáticas.
  • Se valorará un máster o doctorado en un campo cuantitativo centrado en la IA basada en datos o la recuperación de información.
  • Autorización legal para trabajar en Estados Unidos.

Beneficios

  • Cobertura médica, dental y oftalmológica.
  • Plan 401(k).
  • Almuerzo, aperitivos y bebidas a diario.
  • Tiempo libre flexible.
  • Remuneración competitiva.
  • Participación en el capital de la empresa.

Empleos relacionados

Cardinal Health

Gerente de Ingeniería de Datos en Cardinal Health

Cardinal Health

Lidera equipos de transformación de datos empresarial en Cardinal Health y supervisa las plataformas de Google Cloud, así como las operaciones de analítica e IA/ML. Orienta la entrega, las mejoras de las plataformas y el desarrollo del talento.

Abrir
Verana Health

Ingeniero/a sénior o staff de backend, plataforma e ingesta de datos

Verana Health

Desarrolla y escala la ingesta de datos clínicos, OCR, OpenSearch y servicios de plataforma oncológica en Verana Health. Diseña API, procesos ETL y microservicios para generar conocimiento a partir de datos sanitarios del mundo real.

Abrir
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Gerente sénior de ingeniería de plataformas de datos

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1000 Empleados
B2BFinanzasSeguros

Lidera la plataforma de datos empresarial, el equipo de ingeniería y las operaciones de una aseguradora en Azure, SQL, NoSQL y analítica. El puesto abarca fiabilidad, automatización, cumplimiento normativo y estrategia de plataformas.

Abrir
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Gerente sénior de ingeniería de plataformas de datos

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1000 Empleados
B2BFinanzasSeguros

Dirija el equipo de ingeniería de plataformas de datos que da soporte a las operaciones de seguros de Berkshire Hathaway Homestate Companies. El puesto abarca plataformas de bases de datos y analítica, infraestructura en la nube, automatización, fiabilidad y gestión de personas.

Abrir