Snorkel AI entwickelt Datenlösungen für maschinelle Lernteams. Die Plattform Expert Data-as-a-Service unterstützt Organisationen dabei, hochwertige Trainingsdatensätze zu erstellen und zu bewerten, um die Modellentwicklung zu beschleunigen und zuverlässigere KI-Anwendungen zu ermöglichen. Das 2019 aus der Forschung an der Stanford University gegründete Unternehmen arbeitet mit Organisationen aus den Bereichen Beratung, Gesundheitswesen und Logistik zusammen, um praxisnahe KI-Systeme voranzubringen.
Senior Softwareingenieur für KI und maschinelles Lernen bei Snorkel AI (Hybrid)
Senior-/Staff-Engineer für maschinelles Lernen zur Verbesserung der Agentenbewertung, des Modell-Routings und feinabgestimmter Modellsysteme. Entwickle eine robuste KI-Dateninfrastruktur für die Unternehmenskunden von Snorkel AI.
Beschreibung
- Verbessere Geschwindigkeit, Kosten und Qualität der Generierung und Bewertung von Daten für hochmoderne KI-Systeme durch ML und KI
- Untersuche, wie Daten auf Spitzenniveau erzeugt und bewertet werden
- Entwickle Hypothesen und teste sie anhand realer Produktionsdaten
- Skaliere Ansätze, die starke Ergebnisse zeigen
- Senke die Kosten der langfristigen Agentenbewertung durch adaptives Sampling, statistisch fundiertes vorzeitiges Beenden, Modellkaskaden, Caching und eine kostengünstige Vorab-Auswahl
- Leite Bewertungs- und Prüfanfragen an das kostengünstigste Modell weiter, das die Qualitätsstandards erfüllt, mit Fallbacks, Monitoring und Kostenzuordnung
- Nimm Feinabstimmungen vor und stelle Modelle mit offenen Gewichten mithilfe von LoRA und anderen parametereffizienten Techniken bereit
- Entwickle Modelle, die den Aufgabenschwierigkeitsgrad für hochmoderne Systeme vor deren Einführung vorhersagen
- Erstelle Referenzdatensätze und miss die Genauigkeit und Kalibrierung von LLM-as-Judge-Systemen
- Überführe Forschungsprototypen in wiederverwendbare, konfigurierbare Komponenten für Produktionsingenieure und Forschende
- Hilf bei der Definition von ML-Engineering-Standards, gestalte die fachliche Ausrichtung mit und unterstütze das wachsende Team
Anforderungen
- Mindestens fünf Jahre Erfahrung in der Entwicklung produktiver Systeme für maschinelles Lernen oder Software, mit Verantwortung vom Prototyp bis zur Produktion
- Praktische Erfahrung im Betrieb von LLM- oder ML-Workloads in der Produktion
- Fähigkeit, nichtdeterministische Systeme effektiv zu analysieren
- Fundierte Kenntnisse in Statistik und Experimenten, einschließlich Versuchsplanung, Hypothesentests, Stichprobenverfahren und Konfidenzintervallen
- Fortgeschrittene Python- und Software-Engineering-Kenntnisse in den Bereichen Testing, Code-Reviews und Systemdesign
- Erfahrung in der Erstellung von Evaluierungen und der rigorosen Interpretation ihrer Ergebnisse
- Fähigkeit, wirkungsvolle Probleme proaktiv zu erkennen, bevor sie offiziell zugewiesen werden
- Klare Kommunikation mit Forschungs-, Engineering- und Business-Teams
Zusatzleistungen
- Bedeutende Möglichkeiten, Prioritäten und Initiativen zu beeinflussen
- Mitspracherecht bei wichtigen strategischen Entscheidungen
- Direkter Beitrag zum anhaltenden Erfolg von Snorkel AI
- Möglichkeiten zur Vertiefung der technischen Kenntnisse
- Möglichkeiten, Verantwortung zu übernehmen
- Möglichkeiten, Kompetenzen in mehreren Funktionen zu entwickeln
- Unterstützung bei der beruflichen Entwicklung in einem wachstumsorientierten Umfeld, das auf Lernen und gemeinsamen Erfolg ausgerichtet ist
- Angemessene Vorkehrungen für Bewerbende und Mitarbeitende mit Behinderungen während des Bewerbungs- und Interviewprozesses, bei der Arbeit sowie beim Zugang zu Leistungen und Beschäftigungsvorteilen