Mindrift to marketplace talentów w dziedzinie sztucznej inteligencji oraz platforma SaaS, która łączy profesjonalnych współtwórców i ekspertów branżowych z projektami firm technologicznych dotyczącymi trenowania i oceny systemów AI. Jako część Toloka firma współpracuje z autorami, redaktorami, specjalistami ds. zapewniania jakości, naukowcami i innymi ekspertami dziedzinowymi, którzy pomagają tworzyć dane treningowe, oceniać bezpieczeństwo i zdolność modeli do rozumowania, sprawdzać jakość materiałów multimedialnych oraz opracowywać realistyczne scenariusze zwiększające skuteczność i niezawodność AI. Mindrift pozyskuje i weryfikuje współtwórców za pomocą testów oraz weryfikacji tożsamości, a następnie oferuje elastyczne, płatne projekty związane z trenowaniem i oceną AI.
Starszy inżynier ds. scrapingu danych w Pythonie — praca zdalna w niepełnym wymiarze
Poprowadź niezawodny web scraping i dostarczanie ustrukturyzowanych danych dla projektów technologii AI Mindrift. Automatyzuj ekstrakcję, walidację i skalowalne przetwarzanie danych ze złożonych, dynamicznych witryn.
Opis
- Prowadzić kompleksową ekstrakcję danych ze złożonych witryn internetowych
- Dostarczać kompletne, dokładne i niezawodne ustrukturyzowane zbiory danych
- Wykorzystywać narzędzia i niestandardowe przepływy pracy, aby przyspieszać zbieranie, walidację i realizację zadań
- Pozyskiwać dane z dynamicznych źródeł internetowych, dostosowując się do treści JavaScript i zmian w zachowaniu witryn
- Dbać o jakość danych dzięki walidacji, kontrolom spójności, kontroli formatowania i systematycznej weryfikacji
- Skalować scraping dużych wolumenów dzięki wydajnemu przetwarzaniu wsadowemu i równoległemu
- Monitorować błędy i utrzymywać stabilność mimo niewielkich zmian struktury witryn
- Stosować Apify, OpenRouter i powiązane technologie do ekstrakcji oraz przetwarzania danych
Wymagania
- Ponad 5 lat odpowiedniego doświadczenia w inżynierii danych, web scrapingu, automatyzacji lub tworzeniu oprogramowania
- Wykształcenie wyższe na poziomie licencjackim lub magisterskim w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnej dziedzinie technicznej będzie dodatkowym atutem
- Silne umiejętności techniczne oraz praktyczne doświadczenie w skryptach, automatyzacji i przepływach pracy związanych z ekstrakcją danych
- Zaawansowane doświadczenie w scrapingu w Pythonie z użyciem BeautifulSoup, Selenium lub podobnych narzędzi, dynamicznych treści JavaScript/AJAX, nieskończonego przewijania i API obsługiwanych przez proxy
- Umiejętność pozyskiwania informacji ze złożonych hierarchii, zarchiwizowanych stron i niespójnego kodu HTML
- Doświadczenie w czyszczeniu, normalizacji i walidacji danych do dostarczania w formatach CSV, JSON lub Google Sheets
- Doświadczenie w obsłudze mechanizmów antybotowych i zmieniających się struktur witryn na dużą skalę
- Doświadczenie z AWS lub równoważną infrastrukturą chmurową oraz konteneryzacją Docker
- Praktyczne doświadczenie w stosowaniu LangChain, OpenRouter lub podobnych frameworków LLM do automatyzacji
- Skrupulatne podejście do dokładności i jakości danych
- Umiejętność samodzielnej pracy i skutecznego rozwiązywania problemów
- Znajomość języka angielskiego na poziomie wyższym średniozaawansowanym (B2) lub wyższym
- Link do profilu GitHub będzie dodatkowym atutem
Benefity
- Współpraca freelancerska
- Praca zdalna w niepełnym wymiarze
- Około 10–20 godzin tygodniowo w okresach aktywnej pracy
- Do równowartości 25 USD za godzinę, zależnie od poziomu doświadczenia i tempa realizacji zadań
- Możliwość pracy nad innowacyjnymi projektami technologicznymi za pośrednictwem platformy Mindrift