Pinterest ist eine visuelle Entdeckungsplattform, auf der Menschen Inspiration finden, Ideen speichern und sie nach Interessen, Projekten und Einkäufen organisieren. Das Nutzungserlebnis verbindet personalisierte Empfehlungen und visuelle Suche in Bereichen wie Wohndesign, Mode, Rezepten und Veranstaltungen. Zugleich unterstützt Pinterest Kreative und Händler dabei, mit Commerce-Tools und Werbung Zielgruppen zu erreichen.
Senior Staff Software Engineer, KI-Plattform – Hybrid in Palo Alto
Leite die Strategie, Architektur und Einführung der KI- und Machine-Learning-Evaluierungsplattform von Pinterest. Hilf dabei, unternehmensweit verlässliche Evaluierungsverfahren für GenAI-Erlebnisse zu etablieren.
Beschreibung
- Identifiziere Modernisierungsmöglichkeiten und erweitere die Roadmap für ein unternehmensweites Evaluierungssystem mit technischer Führung
- Lege die funktionsübergreifende technische Richtung fest, stimme Partnerteams aufeinander ab und steigere die Nutzung gemeinsamer Evaluierungsfunktionen
- Triff langfristige Architekturentscheidungen, die die Nutzererfahrung und Zuverlässigkeit der KI- und ML-Evaluierungsplattform von Pinterest stärken
- Entwickle Evaluierungsmethoden und -standards, die automatisierte Metriken, Expertenprüfungen, menschliches Feedback, Sicherheit und Geschäftsergebnisse verbinden
- Leite komplexe teamübergreifende Initiativen, steuere technische Zielkonflikte und Risiken und erzielte messbare Wirkung
- Entwickle die KI- und ML-Evaluierungsplattform von Pinterest zu einem einheitlichen, zuverlässigen System weiter, das unternehmensweit eingesetzt wird
- Arbeite mit Engineering-, Forschungs-, Produkt- und Sicherheitsteams zusammen, um Qualität, Go-live-Entscheidungen und das Vertrauen in KI-gestützte Erlebnisse zu verbessern
Anforderungen
- Mindestens 3 Jahre praktische Erfahrung im Entwurf und Betrieb von Evaluierungssystemen für GenAI und komplexe Machine-Learning-Systeme
- Erfahrung in der Erstellung von Benchmarks und Golden Datasets, der Anwendung automatisierter Metriken und menschlicher Evaluierung, der Nutzung modellbasierter Bewertung sowie der Fehleranalyse
- Sehr gute Kenntnisse in Python
- Praktische Kenntnisse der Prinzipien verteilter Systeme
- Fähigkeit, beim Programmieren und Systemdesign effektiv mit KI-Tools zu iterieren
- Umfassende Kenntnisse von Bibliotheken und Frameworks zur Evaluierung von GenAI- und Empfehlungssystemen, darunter AutoEvals, OpenEvals und Ragas
- Mindestens 5 Jahre Erfahrung in der Entwicklung skalierbarer Plattformen für verteilte Experimente, Daten- und Modellversionierung, Orchestrierung, Observability, Release-Management und Produktionsüberwachung
- Gutes Urteilsvermögen im Umgang mit GenAI-Risiken wie Robustheit, Verzerrungen, Datenschutz, Sicherheit und den Grenzen automatisierter Evaluierungssignale
- Bachelorabschluss in Informatik, Ingenieurwesen oder einer verwandten Fachrichtung oder gleichwertige Erfahrung
Zusatzleistungen
- Möglichkeit zur Teilnahme am Beteiligungsprogramm
- Flexibles PinFlex-Arbeitsmodell
- Zusammenarbeit vor Ort ein- bis zweimal pro Quartal
- Arbeitgeber mit Chancengleichheit
- Unterstützung bei medizinisch oder religiös begründeten Anpassungen während des Bewerbungsprozesses