
Mindrift on tekoälyalan osaajamarkkinapaikka ja SaaS-alusta, joka yhdistää ammattimaiset osallistujat ja alakohtaiset asiantuntijat teknologiayritysten tekoälyn koulutus- ja arviointiprojekteihin. Tolokan osana se työskentelee kirjoittajien, toimittajien, laadunvarmistuksen asiantuntijoiden, tutkijoiden ja muiden alansa asiantuntijoiden kanssa. He auttavat tuottamaan koulutusdataa, arvioimaan mallien turvallisuutta ja päättelykykyä, arvioimaan median laatua sekä luomaan tosielämän tilanteita tekoälyn suorituskyvyn ja luotettavuuden parantamiseksi. Mindrift rekrytoi ja arvioi osallistujat testien ja henkilöllisyyden todentamisen avulla ja tarjoaa sen jälkeen joustavia, palkallisia projektimahdollisuuksia tekoälyn koulutuksen ja arvioinnin parissa.
Senior Python-verkkokaavinnan insinööri (freelance, etätyö Egyptissä)
Rakenna luotettavia Python-pohjaisia verkkokaavintajärjestelmiä Mindriftin tekoälyprojekteihin. Kerää, validoi ja skaalaa jäsenneltyä dataa monimutkaisilta ja dynaamisilta verkkosivustoilta.
Kuvaus
- Hallitse kokonaisia tiedonpoiminnan työnkulkuja monimutkaisilla verkkosivustoilla
- Tuota kattavia, täsmällisiä ja luotettavia jäsenneltyjä aineistoja
- Käytä työkaluja ja räätälöityjä työnkulkuja tiedonkeruun, validoinnin ja tehtävien suorittamisen nopeuttamiseen
- Poimi dataa luotettavasti dynaamisista, vuorovaikutteisista ja JavaScriptillä renderöidyistä lähteistä
- Mukauta kaavintamenetelmiä verkkosivustojen toiminnan ja rakenteiden muuttuessa
- Varmista datan laatu validoinnilla, lähteiden välisillä tarkistuksilla, muotoilustandardeilla ja järjestelmällisellä tarkastelulla
- Skaalaa suurten aineistojen kaavinta tehokkaalla eräkäsittelyllä tai rinnakkaisella prosessoinnilla
- Seuraa poiminnan epäonnistumisia ja säilytä vakaus verkkosivustojen vähäisistä muutoksista huolimatta
- Hyödynnä verkkokaavinnan, tiedonpoiminnan ja datankäsittelyn asiantuntemusta Tendem-projektissa
Vaatimukset
- Vähintään 5 vuoden soveltuva kokemus data engineeringistä, verkkokaavinnasta, automaatiosta tai ohjelmistokehityksestä
- Insinöörin, sovelletun matematiikan, tietojenkäsittelytieteen tai vastaavan teknisen alan kandidaatin- tai maisterintutkinto katsotaan eduksi
- Edistynyt kokemus Python-pohjaisesta verkkokaavinnasta sekä BeautifulSoupista, Seleniumista tai vastaavista työkaluista, JavaScript- ja AJAX-sisällöistä, loputtomasta vierityksestä, rajapinnoista ja välityspalvelimista
- Kyky poimia tietoa monimutkaisista rakenteista, kuten hierarkioista, arkistoiduista sivuista ja epäyhtenäisestä HTML:stä
- Vahvat taidot datan puhdistuksessa, normalisoinnissa ja validoinnissa sekä kokemus CSV-, JSON- tai Google Sheets -aineistojen tuottamisesta
- Käytännön kokemus bottien vastaisten suojauksien ja muuttuvien verkkosivurakenteiden hallinnasta laajassa mittakaavassa
- Kokemus AWS:stä tai vastaavasta pilvi-infrastruktuurista sekä Docker-pohjaisesta kontituksesta
- Käytännön kokemus LLM-kehyksistä, kuten LangChainista, OpenRouterista tai vastaavista automaatiotyökaluista
- Poikkeuksellinen tarkkuus ja johdonmukainen keskittyminen datan oikeellisuuteen
- Kyky työskennellä itsenäisesti, selvittää ongelmia ja hallita tehtäviä vähäisellä valvonnalla
- Englannin kielen ylempi keskitaso (B2) tai sitä korkeampi taito
- GitHub-profiili tai portfolio-linkki katsotaan eduksi
Edut
- Freelance-projekti
- Osa-aikainen työmäärä aktiivisten projektivaiheiden aikana noin 10–20 tuntia viikossa
- Etätyö
- Projektin tarpeisiin mukautuva joustava työmäärä