Mindrift to marketplace talentów w dziedzinie sztucznej inteligencji oraz platforma SaaS, która łączy profesjonalnych współtwórców i ekspertów branżowych z projektami firm technologicznych dotyczącymi trenowania i oceny systemów AI. Jako część Toloka firma współpracuje z autorami, redaktorami, specjalistami ds. zapewniania jakości, naukowcami i innymi ekspertami dziedzinowymi, którzy pomagają tworzyć dane treningowe, oceniać bezpieczeństwo i zdolność modeli do rozumowania, sprawdzać jakość materiałów multimedialnych oraz opracowywać realistyczne scenariusze zwiększające skuteczność i niezawodność AI. Mindrift pozyskuje i weryfikuje współtwórców za pomocą testów oraz weryfikacji tożsamości, a następnie oferuje elastyczne, płatne projekty związane z trenowaniem i oceną AI.
Starszy inżynier ds. scrapingu danych w Pythonie — praca zdalna w Japonii
Twórz niezawodne procesy scrapingu stron internetowych w Pythonie dla projektu Tendem AI firmy Mindrift. Pozyskuj, weryfikuj i skaluj ustrukturyzowane zbiory danych ze złożonych, dynamicznych witryn.
Opis
- Prowadzenie kompleksowego procesu ekstrakcji danych ze złożonych stron internetowych
- Dostarczanie kompletnych, dokładnych i niezawodnych ustrukturyzowanych zbiorów danych
- Wykorzystywanie dostępnych narzędzi i niestandardowych procesów w celu przyspieszenia zbierania, walidacji i realizacji zadań
- Ekstrakcja danych ze źródeł dynamicznych i interaktywnych, w tym treści renderowanych przez JavaScript
- Dostosowywanie metod scrapingu do zmian w działaniu stron internetowych
- Utrzymywanie jakości danych poprzez walidację, porównywanie danych z różnych źródeł, standardy formatowania i systematyczną weryfikację
- Skalowanie scrapingu dużych wolumenów dzięki wydajnemu przetwarzaniu wsadowemu lub równoległemu
- Monitorowanie błędów i utrzymywanie stabilności przy niewielkich zmianach struktury witryn
- Stosowanie Apify, OpenRouter i innych technologii do ekstrakcji i przetwarzania danych internetowych
Wymagania
- Co najmniej 5 lat odpowiedniego doświadczenia w inżynierii danych, scrapingu stron internetowych, automatyzacji lub tworzeniu oprogramowania
- Wykształcenie wyższe na poziomie licencjackim lub magisterskim w dziedzinie inżynierii, matematyki stosowanej, informatyki lub pokrewnej dziedzinie technicznej będzie dodatkowym atutem
- Duże doświadczenie w scrapingu w Pythonie z użyciem BeautifulSoup, Selenium lub podobnych narzędzi, pracy z dynamicznymi treściami, takimi jak JavaScript, AJAX i nieskończone przewijanie, oraz z API za pośrednictwem serwerów proxy
- Umiejętność ekstrakcji danych ze złożonych struktur, w tym hierarchii, stron archiwalnych i niespójnego kodu HTML
- Rozległa znajomość czyszczenia, normalizacji i walidacji danych oraz doświadczenie w dostarczaniu zbiorów danych w formatach CSV, JSON lub Google Sheets
- Doświadczenie w obsłudze mechanizmów antybotowych i dynamicznych struktur witryn na dużą skalę
- Doświadczenie z AWS lub równoważną infrastrukturą chmurową
- Doświadczenie w używaniu Dockera do konteneryzacji
- Praktyczne doświadczenie z frameworkami LLM, takimi jak LangChain, OpenRouter lub podobnymi narzędziami do automatyzacji
- Duża dbałość o szczegóły i zaangażowanie w zapewnianie dokładności danych
- Samodzielność i umiejętność niezależnego rozwiązywania problemów
- Znajomość języka angielskiego na poziomie wyższym niż średniozaawansowany (B2) lub wyższym
- Link do GitHuba będzie dodatkowym atutem
Benefity
- Możliwość pracy jako freelancer
- Praca w niepełnym wymiarze godzin, szacunkowo około 10–20 godzin tygodniowo w aktywnych okresach
- Praca zdalna
- Możliwość udziału w innowacyjnych projektach z zakresu technologii i rozwoju AI