Pinterest to wizualna platforma odkrywania, na której użytkownicy znajdują inspiracje, zapisują pomysły i porządkują je według zainteresowań, projektów oraz zakupów. Platforma łączy spersonalizowane rekomendacje z wyszukiwaniem wizualnym w takich obszarach jak aranżacja wnętrz, moda, przepisy i wydarzenia, a także pomaga twórcom i sprzedawcom detalicznym docierać do odbiorców za pomocą narzędzi handlowych i reklamowych.
Starszy główny inżynier oprogramowania, platforma AI — praca hybrydowa, Palo Alto
Pokierujesz strategią, architekturą i wdrażaniem platformy Pinterest do oceny AI i uczenia maszynowego. Pomożesz ustanowić niezawodne praktyki oceny doświadczeń z generatywną AI w całej firmie.
Opis
- Identyfikuj możliwości modernizacji i rozwijaj plan rozwoju ogólnofirmowego systemu oceny, zapewniając przywództwo techniczne
- Wyznaczaj kierunek techniczny ponad podziałami funkcjonalnymi, uzgadniaj działania zespołów partnerskich i zwiększaj wykorzystanie wspólnych możliwości oceny
- Podejmuj długoterminowe decyzje architektoniczne wzmacniające doświadczenie użytkownika i niezawodność platformy Pinterest do oceny AI i uczenia maszynowego
- Opracowuj metody i standardy oceny łączące automatyczne metryki, recenzję ekspertów, opinie ludzi, bezpieczeństwo i wyniki biznesowe
- Prowadź złożone inicjatywy między zespołami, zarządzaj kompromisami technicznymi i ryzykiem oraz dostarczaj mierzalne rezultaty
- Rozwijaj platformę Pinterest do oceny AI i uczenia maszynowego w ujednolicony, niezawodny system używany w całej firmie
- Współpracuj z zespołami inżynieryjnymi, badawczymi, produktowymi i ds. bezpieczeństwa, aby poprawiać jakość, decyzje dotyczące uruchomień i zaufanie do doświadczeń opartych na AI
Wymagania
- Co najmniej 3 lata praktycznego doświadczenia w projektowaniu i obsłudze systemów oceny dla generatywnej AI i złożonych systemów uczenia maszynowego
- Doświadczenie w tworzeniu benchmarków i zbiorów danych referencyjnych, stosowaniu automatycznych metryk i oceny przez ludzi, korzystaniu z oceniania opartego na modelach oraz analizowaniu błędów
- Bardzo dobra znajomość języka Python
- Praktyczna znajomość zasad systemów rozproszonych
- Umiejętność skutecznej iteracyjnej pracy z narzędziami AI podczas kodowania i projektowania systemów
- Rozległa znajomość bibliotek i frameworków do oceny generatywnej AI i systemów rekomendacyjnych, w tym AutoEvals, OpenEvals i Ragas
- Co najmniej 5 lat doświadczenia w tworzeniu skalowalnych platform do rozproszonych eksperymentów, wersjonowania danych i modeli, orkiestracji, obserwowalności, zarządzania wydaniami i monitorowania produkcji
- Trafna ocena ryzyka związanego z generatywną AI, w tym odporności, stronniczości, prywatności, bezpieczeństwa i ograniczeń automatycznych sygnałów oceny
- Dyplom licencjata lub inżyniera w dziedzinie informatyki, inżynierii lub pokrewnej albo równoważne doświadczenie
Benefity
- Możliwość uzyskania udziałów
- Elastyczny model pracy PinFlex
- Współpraca stacjonarna raz lub dwa razy na kwartał
- Pracodawca zapewniający równe szanse
- Wsparcie w zakresie dostosowań medycznych lub religijnych podczas procesu aplikacyjnego