Mindrift to marketplace talentów w dziedzinie sztucznej inteligencji oraz platforma SaaS, która łączy profesjonalnych współtwórców i ekspertów branżowych z projektami firm technologicznych dotyczącymi trenowania i oceny systemów AI. Jako część Toloka firma współpracuje z autorami, redaktorami, specjalistami ds. zapewniania jakości, naukowcami i innymi ekspertami dziedzinowymi, którzy pomagają tworzyć dane treningowe, oceniać bezpieczeństwo i zdolność modeli do rozumowania, sprawdzać jakość materiałów multimedialnych oraz opracowywać realistyczne scenariusze zwiększające skuteczność i niezawodność AI. Mindrift pozyskuje i weryfikuje współtwórców za pomocą testów oraz weryfikacji tożsamości, a następnie oferuje elastyczne, płatne projekty związane z trenowaniem i oceną AI.
Starszy inżynier ds. pozyskiwania danych w Pythonie (część etatu, praca zdalna z Gruzji)
Mindrift poszukuje starszego inżyniera Python do tworzenia niezawodnych procesów pozyskiwania danych na potrzeby projektów technologicznych związanych ze sztuczną inteligencją. Rola koncentruje się na pozyskiwaniu, weryfikowaniu i skalowaniu ustrukturyzowanych zbiorów danych ze złożonych, dynamicznych witryn internetowych.
Opis
- Zarządzać kompleksowymi procesami pozyskiwania danych ze złożonych witryn internetowych
- Dostarczać kompletne, dokładne i niezawodne ustrukturyzowane zbiory danych
- Wykorzystywać dostępne narzędzia i niestandardowe procesy w celu przyspieszenia gromadzenia i weryfikacji danych oraz realizacji zadań
- Pozyskiwać dane z dynamicznych i interaktywnych źródeł internetowych, w tym ze stron renderowanych za pomocą JavaScriptu
- Dostosowywać metody pozyskiwania danych do zmieniającego się działania witryn
- Utrzymywać jakość danych poprzez kontrole walidacyjne, sprawdzanie spójności między źródłami, wymagania dotyczące formatowania i systematyczną weryfikację
- Skalować pozyskiwanie dużych zbiorów danych dzięki wydajnemu przetwarzaniu wsadowemu lub równoległemu
- Monitorować błędy i zachowywać stabilność mimo niewielkich zmian w strukturze witryn
- Łączyć narzędzia takie jak Apify i OpenRouter z odpowiednią wiedzą techniczną
Wymagania
- Co najmniej 5 lat odpowiedniego doświadczenia w inżynierii danych, web scrapingu, automatyzacji lub tworzeniu oprogramowania
- Preferowane wykształcenie wyższe na poziomie licencjackim lub magisterskim w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnej dziedzinie technicznej
- Bardzo dobra znajomość scrapingu internetowego w Pythonie z użyciem BeautifulSoup, Selenium lub porównywalnych narzędzi, dynamicznych treści oraz API dostępnych przez proxy
- Udokumentowana umiejętność pozyskiwania informacji ze złożonych struktur, w tym hierarchii, stron archiwalnych i niespójnego kodu HTML
- Solidne doświadczenie w oczyszczaniu, normalizacji i walidacji danych przeznaczonych do dostarczenia w formacie CSV, JSON lub Google Sheets
- Praktyczne doświadczenie w obsłudze mechanizmów antybotowych i dynamicznych struktur witryn na dużą skalę
- Doświadczenie z AWS lub porównywalną infrastrukturą chmurową oraz konteneryzacją opartą na Dockerze
- Praktyczne doświadczenie w stosowaniu frameworków LLM, takich jak LangChain lub OpenRouter, do zadań automatyzacji
- Duża dbałość o szczegóły i silne przywiązanie do dokładności danych
- Umiejętność samodzielnej pracy i rozwiązywania problemów bez ścisłego nadzoru
- Znajomość języka angielskiego na poziomie Upper-Intermediate (B2) lub wyższym
- Link do profilu GitHub będzie dodatkowym atutem
Benefity
- Zdalna współpraca freelancerska w niepełnym wymiarze godzin
- Około 10–20 godzin tygodniowo w aktywnych fazach projektów
- Praca nad projektami technologicznymi i projektami związanymi z rozwojem sztucznej inteligencji