Pinterest es una plataforma de descubrimiento visual donde las personas encuentran inspiración, guardan ideas y las organizan en torno a intereses, proyectos y compras. Su experiencia combina recomendaciones personalizadas y búsqueda visual sobre temas como el diseño de interiores, la moda, las recetas y los eventos, y también ayuda a creadores y minoristas a llegar a sus audiencias mediante herramientas de comercio y publicidad.
Ingeniero/a de Software Senior Staff, Plataforma de IA - Palo Alto Híbrido
Lidera la estrategia, la arquitectura y la adopción de la plataforma de evaluación de IA y aprendizaje automático de Pinterest. Ayuda a establecer prácticas de evaluación fiables para experiencias de IA generativa en toda la empresa.
Descripción
- Identificar oportunidades de modernización y ampliar la hoja de ruta de un sistema de evaluación para toda la empresa mediante liderazgo técnico
- Definir la dirección técnica entre equipos, coordinar a los equipos asociados y aumentar la adopción de capacidades de evaluación compartidas
- Tomar decisiones arquitectónicas a largo plazo que refuercen la experiencia de usuario y la fiabilidad de la plataforma de evaluación de IA y aprendizaje automático de Pinterest
- Desarrollar métodos y estándares de evaluación que combinen métricas automatizadas, revisión experta, comentarios humanos, seguridad y resultados empresariales
- Liderar iniciativas complejas entre equipos, gestionar compromisos técnicos y riesgos, y generar un impacto medible
- Evolucionar la plataforma de evaluación de IA y aprendizaje automático de Pinterest hasta convertirla en un sistema unificado y fiable utilizado en toda la empresa
- Colaborar con los equipos de ingeniería, investigación, producto y seguridad para mejorar la calidad, las decisiones de lanzamiento y la confianza en las experiencias impulsadas por IA
Requisitos
- Al menos 3 años de experiencia práctica diseñando y operando sistemas de evaluación para IA generativa y sistemas complejos de aprendizaje automático
- Experiencia creando benchmarks y conjuntos de datos de referencia, aplicando métricas automatizadas y evaluación humana, utilizando evaluación basada en modelos y analizando fallos
- Dominio sólido de Python
- Conocimientos prácticos de los principios de los sistemas distribuidos
- Capacidad para iterar eficazmente con herramientas de IA durante la programación y el diseño de sistemas
- Amplios conocimientos de bibliotecas y marcos de evaluación de IA generativa y sistemas de recomendación, incluidos AutoEvals, OpenEvals y Ragas
- Al menos 5 años de experiencia desarrollando plataformas escalables para experimentación distribuida, versionado de datos y modelos, orquestación, observabilidad, gestión de lanzamientos y monitorización en producción
- Criterio sólido respecto a los riesgos de la IA generativa, como la robustez, el sesgo, la privacidad, la seguridad y las limitaciones de las señales de evaluación automatizada
- Título universitario en informática, ingeniería o una disciplina relacionada, o experiencia equivalente
Beneficios
- Elegibilidad para recibir acciones
- Modelo de trabajo PinFlex flexible
- Colaboración presencial una o dos veces por trimestre
- Lugar de trabajo con igualdad de oportunidades
- Apoyo para adaptaciones médicas o religiosas durante el proceso de solicitud