Sciforium
Sciforium
Sciforium to firma zajmująca się infrastrukturą sztucznej inteligencji, tworząca bezserwerowe narzędzia do produkcyjnych aplikacji multimodalnych. Jej ujednolicony interfejs API zgodny z OpenAI zapewnia zespołom dostęp do usług obsługujących tekst, obrazy, wideo i dźwięk, a także do hostingu modeli, biblioteki modeli, potoków ewaluacji w czasie rzeczywistym oraz zarządzanych wdrożeń agentów. Sciforium korzysta z pionowo zintegrowanej infrastruktury sprzętowej opartej na procesorach graficznych AMD, pomagając zespołom tworzyć, oceniać i wdrażać systemy sztucznej inteligencji o przewidywalnej wydajności, niższych kosztach i większej prywatności.

Inżynier danych modeli bazowych

Twórz zbiory danych w skali petabajtów do wstępnego i dalszego trenowania multimodalnych modeli AI firmy Sciforium. Opracowuj wydajne potoki danych do trenowania modeli językowych, wizyjnych i wideo.

Opis

  • Twórz kompleksowe zbiory danych do wstępnego trenowania dużych modeli językowych.
  • Dobieraj i równoważ dane internetowe, kod, książki i publikacje techniczne, aby poprawiać wyniki modeli w późniejszych zadaniach.
  • Twórz potoki do oczyszczania, deduplikacji i wydobywania sygnałów z petabajtów nieustrukturyzowanych danych.
  • Kieruj opracowywaniem zbiorów danych do dalszego trenowania, w tym instrukcji do nadzorowanego dostrajania, wieloetapowych dialogów oraz danych preferencji RLHF/DPO.
  • Nadzoruj pozyskiwanie i przetwarzanie danych wizualnych oraz wideo.
  • Pisz wydajne skrypty przetwarzania danych w Pythonie z wykorzystaniem wieloprocesowości i wielowątkowości.
  • Analizuj statystycznie korpusy treningowe, aby wykrywać uprzedzenia, luki w wiedzy i spadki jakości.
  • Twórz potoki danych syntetycznych, aby uzupełniać braki w zbiorach gromadzonych naturalnie.
  • Rozwiązuj problemy wyrównania multimodalnego, kompresji wideo i spójności czasowej.

Wymagania

  • Co najmniej pięć lat doświadczenia zawodowego w dziedzinie data science lub uczenia maszynowego.
  • Udokumentowane doświadczenie w tworzeniu zbiorów danych dla modeli bazowych i zarządzaniu nimi.
  • Zaawansowana znajomość Pythona, w tym wieloprocesowości, wielowątkowości i efektywnego zarządzania pamięcią.
  • Doświadczenie w pracy ze zbiorami danych w skali petabajtów dla produkcyjnych dużych modeli językowych lub wizyjnych.
  • Doświadczenie w tworzeniu od podstaw dużych zbiorów treningowych LLM na podstawie surowych zrzutów stron internetowych i specjalistycznych danych branżowych.
  • Praktyczne doświadczenie w tworzeniu zbiorów danych dla RLHF, DPO i wykonywania instrukcji w wieloetapowych dialogach.
  • Doświadczenie w zarządzaniu procesami anotacji przez ludzi i tworzeniu wysokiej jakości zbiorów referencyjnych.
  • Bardzo dobra znajomość Spark, Ray, WebDataset, Parquet lub porównywalnych narzędzi i formatów do przetwarzania danych na dużą skalę.
  • Atutem będzie doświadczenie w tworzeniu od podstaw dużych zbiorów obrazów lub wideo.
  • Atutem będzie znajomość multimodalnego pozyskiwania danych z internetu, przetwarzania wideo, kodeków i kompresji.
  • Atutem będzie doświadczenie w projektowaniu złożonych schematów anotacji dla testów rozumowania, programowania i matematyki.
  • Atutem będzie tytuł magistra lub doktora w dziedzinie ilościowej, ze specjalizacją w AI opartym na danych lub wyszukiwaniu informacji.
  • Prawo do pracy w Stanach Zjednoczonych.

Benefity

  • Ubezpieczenie zdrowotne, stomatologiczne i okulistyczne.
  • Plan emerytalny 401(k).
  • Codzienne lunche, przekąski i napoje.
  • Elastyczny urlop.
  • Konkurencyjne wynagrodzenie.
  • Udziały w firmie.

Powiązane oferty pracy

Verana Health

Starszy/główny inżynier backendu: platforma i pozyskiwanie danych

Verana Health

Twórz i rozwijaj usługi do pozyskiwania danych klinicznych, OCR, OpenSearch oraz platformę onkologiczną Verana Health. Projektuj API, potoki ETL i mikrousługi wspierające wnioski dotyczące opieki zdrowotnej oparte na rzeczywistych danych.

Otwórz
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Kierownik zespołu inżynierii platformy danych

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1000 Pracownicy
B2BFinanseUbezpieczenia

Kierowanie korporacyjną platformą danych firmy ubezpieczeniowej, zespołem inżynierów i eksploatacją rozwiązań opartych na Azure, SQL, NoSQL i analityce. Zakres pracy obejmuje niezawodność, automatyzację, zgodność z wymaganiami oraz strategię platformy.

Otwórz
Berkshire Hathaway Homestate Companies - Workers Compensation Division

Menedżer zespołu inżynierii platformy danych

Berkshire Hathaway Homestate Companies - Workers Compensation Division
501 – 1000 Pracownicy
B2BFinanseUbezpieczenia

Kieruj zespołem inżynierów platformy danych wspierającym działalność ubezpieczeniową Berkshire Hathaway Homestate Companies. Zakres roli obejmuje bazy danych i platformy analityczne, infrastrukturę chmurową, automatyzację, niezawodność oraz zarządzanie zespołem.

Otwórz