Mindrift to marketplace talentów w dziedzinie sztucznej inteligencji oraz platforma SaaS, która łączy profesjonalnych współtwórców i ekspertów branżowych z projektami firm technologicznych dotyczącymi trenowania i oceny systemów AI. Jako część Toloka firma współpracuje z autorami, redaktorami, specjalistami ds. zapewniania jakości, naukowcami i innymi ekspertami dziedzinowymi, którzy pomagają tworzyć dane treningowe, oceniać bezpieczeństwo i zdolność modeli do rozumowania, sprawdzać jakość materiałów multimedialnych oraz opracowywać realistyczne scenariusze zwiększające skuteczność i niezawodność AI. Mindrift pozyskuje i weryfikuje współtwórców za pomocą testów oraz weryfikacji tożsamości, a następnie oferuje elastyczne, płatne projekty związane z trenowaniem i oceną AI.
Starszy inżynier ds. scrapingu danych w Pythonie (freelance, praca zdalna w Arabii Saudyjskiej)
Starszy inżynier Python tworzy skalowalne procesy scrapingu danych dla projektu AI Tendem firmy Mindrift. Rola koncentruje się na pozyskiwaniu, walidacji i strukturyzowaniu złożonych danych internetowych za pomocą Pythona i narzędzi automatyzacji.
Opis
- Kierować wyspecjalizowanymi procesami scrapingu danych dla projektu Tendem firmy Mindrift i jego zastosowań w świecie rzeczywistym
- Zarządzać kompleksowymi potokami ekstrakcji danych złożonych witryn internetowych
- Tworzyć kompletne, dokładne, wiarygodne i dobrze ustrukturyzowane zbiory danych
- Wykorzystywać Apify, OpenRouter i niestandardowe przepływy pracy w celu usprawnienia gromadzenia, walidacji i realizacji zadań
- Pozyskiwać dane z dynamicznych, interaktywnych źródeł, dostosowując się do treści renderowanych przez JavaScript i zmieniającego się działania witryn
- Chronić jakość danych dzięki kontrolom walidacyjnym, porównaniom między źródłami, kontroli formatowania i systematycznej weryfikacji
- Skalować scrapowanie dużych wolumenów dzięki wydajnemu przetwarzaniu pakietowemu i równoległemu
- Badać awarie i utrzymywać stabilność potoków mimo niewielkich zmian w strukturze witryn
- Samodzielnie rozwiązywać złożone problemy związane ze skryptami, automatyzacją, ekstrakcją, strukturyzacją i walidacją danych
Wymagania
- Ponad 5 lat odpowiedniego doświadczenia w inżynierii danych, scrapingu internetowym, automatyzacji lub tworzeniu oprogramowania
- Znajomość języka angielskiego na poziomie wyższym niż średniozaawansowany (B2) lub wyższym
- Zaawansowane doświadczenie w scrapingu w Pythonie z użyciem BeautifulSoup, Selenium lub porównywalnych narzędzi, dynamicznych treści JavaScript/AJAX, nieskończonego przewijania i interfejsów API opartych na proxy
- Umiejętność pozyskiwania informacji ze złożonych hierarchii, stron archiwalnych i niespójnego kodu HTML
- Dobra znajomość czyszczenia, normalizacji i walidacji danych
- Praktyczne doświadczenie w zarządzaniu zabezpieczeniami antybotowymi i zmieniającymi się strukturami witryn na dużą skalę
- Doświadczenie z AWS lub porównywalną infrastrukturą chmurową
- Doświadczenie w pakowaniu aplikacji za pomocą Dockera
- Praktyczne doświadczenie z LangChain, OpenRouter lub podobnymi frameworkami LLM do automatyzacji
- Duża dbałość o szczegóły i silne nastawienie na dokładność danych
- Samodzielność i pewność w niezależnym rozwiązywaniu problemów
- Wykształcenie licencjackie lub magisterskie w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnej dyscyplinie technicznej będzie dodatkowym atutem
- Link do profilu GitHub będzie dodatkowym atutem
Benefity
- Elastyczna praca freelance w niepełnym wymiarze godzin
- Przewidywane obciążenie wynosi 10–20 godzin tygodniowo w okresach aktywnej realizacji projektu
- Wynagrodzenie do równowartości 37 USD za godzinę, zależnie od poziomu doświadczenia i tempa pracy
- Możliwość udziału w innowacyjnych projektach związanych z AI i rozwojem technologii
- W pełni zdalna praca