Nerdy ist ein EdTech- und SaaS-Unternehmen hinter Varsity Tutors, das Live-Unterricht mit KI-gestützten Lernwerkzeugen auf einer integrierten digitalen Plattform verbindet. Das Angebot umfasst Einzelunterricht, wöchentliche Prüfungsvorbereitungskurse, Workshops, die Wiedergabe von Sitzungen, adaptive Diagnostik, KI-generierte Sitzungszusammenfassungen, einen On-Demand-KI-Tutor sowie Tutor-Copilot-Tools zum Finden passender Beispiele und Übungen. Nerdy deckt mehr als 3.000 Fächer ab und nutzt Expertenkuratierung, Lerndaten und KI-basiertes Matching, um Lernende mit hoch bewerteten Tutorinnen und Tutoren zu verbinden und Übungs- sowie Lernunterstützung individuell anzupassen.
Staff Data Scientist für NLP und LLMs
Wende NLP und große Sprachmodelle auf Telefon-, Chat- und Sitzungsprotokolle für Nerdys globale Lernplattform an. Entwickle evaluierte Modelle und produktive Datenprodukte, die messbare Geschäftsergebnisse unterstützen.
Beschreibung
- Wende NLP und große Sprachmodelle auf Telefon-, Chat- und Sitzungsprotokolle an
- Extrahiere verlässliche, strukturierte Signale aus unstrukturierter Sprache und Texten
- Lege Standards für die Gesprächsqualität fest und überführe sie in validierte Kennzahlen
- Entwickle Verfahren zur Bewertung von LLMs mit Referenzdatensätzen, Bewertungsrastern, modellgestützter Beurteilung und menschlicher Prüfung
- Erstelle Modelle für Klassifizierung, Extraktion, Bewertung und Zusammenfassung
- Untersuche, wie Gesprächsmuster mit Konversion, Problemlösung und Kundenbindung zusammenhängen
- Überführe Modelle gemeinsam mit Engineering-Teams vom Prototyp in den Produktivbetrieb
- Überwache die Modellleistung und trainiere Modelle neu, um ihre Zuverlässigkeit zu erhalten
- Entwirf und bewerte Experimente, um die geschäftlichen Auswirkungen zu messen
- Arbeite mit Data Engineering und Analytics Engineering zusammen, um verwaltete, wiederverwendbare Lakehouse-Tabellen aufzubauen
- Teile Erkenntnisse und Empfehlungen mit technischen und geschäftlichen Führungskräften
- Nutze KI-Tools für Codegenerierung und -prüfung, Experimentanalysen, die Untersuchung von Transkripten und Dokumentation und beachte dabei Datenschutz- und Sicherheitsvorgaben
Anforderungen
- Masterabschluss in Informatik, Statistik, Mathematik, Computerlinguistik oder einer verwandten quantitativen Fachrichtung; eine Promotion ist von Vorteil
- Mindestens sechs Jahre Erfahrung in der Anwendung von Data Science oder maschinellem Lernen auf reale Produkte
- Erfahrung damit, mindestens ein System von der Idee bis zum Produktivbetrieb und zur laufenden Nutzung zu führen
- Fortgeschrittene Kenntnisse in NLP und LLMs, einschließlich Prompt-Design, strukturierter Extraktion sowie Fine-Tuning oder Retrieval
- Praktische Erfahrung mit der Bewertung von LLM-Systemen anhand von Referenzdatensätzen, Bewertungsrastern, modellgestützter Prüfung, menschlichen Prüferinnen und Prüfern, Übereinstimmung zwischen Bewertenden und Regressionstests
- Sehr gute Python-Kenntnisse, einschließlich pandas, scikit-learn und PyTorch oder vergleichbarer Tools
- Fortgeschrittene SQL-Kenntnisse mit einem modernen Data Warehouse oder Lakehouse
- Erfahrung mit mindestens einem der folgenden Tools: Starburst Galaxy (Trino), Iceberg, dbt Cloud, Snowflake, BigQuery, Databricks oder Athena
- Erfahrung mit wichtigen LLM-APIs, etwa Anthropic Claude oder OpenAI
- Verständnis der Grenzen bei Kosten, Latenz und Datenschutz im Produktivbetrieb
- Erfahrung mit Spracherkennungsergebnissen, Sprecherzuordnung, Zusammenfassungen langer Kontexte, dem Umgang mit personenbezogenen Daten und Transkriptionsfehlern
- Kenntnisse in Experimentdesign und Kausalinferenz
- Fähigkeit, Ergebnisse nichttechnischen Führungskräften zu vermitteln und messbare Ziele festzulegen
- Erfahrung mit Git-basierten Arbeitsabläufen, Code-Reviews und CI/CD
- Erfahrung mit KI-orientierten Produktivitätstools wie Cursor, Make, Supabase, Netlify, Claude Code, n8n, Firecrawl, ChatGPT, Grok, Bolt oder Vercel
- Übereinstimmung mit Nerdys apolitischer, missionsorientierter Unternehmenskultur
Zusatzleistungen
- Wettbewerbsfähige Vergütung, an US-Dollar orientiert und in lokaler Währung ausgezahlt
- Vollständig remote innerhalb des eigenen Wohnsitzlandes, ohne Umzug
- Flexible freie Tage
- Bezahlte lokale Feiertage
- Kostenlose, umfassende Lernmitgliedschaft für dich und deinen Haushalt mit Einzelunterricht, unbegrenzten Kursen auf Abruf und Zugang zu Nerdys Lernprodukten und -diensten
- Zugang zu fortschrittlichen KI-Tools
- Regelmäßige Schulungen und gegenseitige Code- und Arbeitsreviews
- Kollaborative Kultur mit häufigem Feedback
- Die Möglichkeit, zu einer globalen Lernplattform beizutragen