Mindrift on tekoälyalan osaajamarkkinapaikka ja SaaS-alusta, joka yhdistää ammattimaiset osallistujat ja alakohtaiset asiantuntijat teknologiayritysten tekoälyn koulutus- ja arviointiprojekteihin. Tolokan osana se työskentelee kirjoittajien, toimittajien, laadunvarmistuksen asiantuntijoiden, tutkijoiden ja muiden alansa asiantuntijoiden kanssa. He auttavat tuottamaan koulutusdataa, arvioimaan mallien turvallisuutta ja päättelykykyä, arvioimaan median laatua sekä luomaan tosielämän tilanteita tekoälyn suorituskyvyn ja luotettavuuden parantamiseksi. Mindrift rekrytoi ja arvioi osallistujat testien ja henkilöllisyyden todentamisen avulla ja tarjoaa sen jälkeen joustavia, palkallisia projektimahdollisuuksia tekoälyn koulutuksen ja arvioinnin parissa.
Vanhempi Python-verkkodatan kaavintainsinööri (freelance, etätyö Saudi-Arabiassa)
Vanhempi Python-insinööri kehittää skaalautuvia verkkodatan kaavinnan työnkulkuja Mindriftin Tendem AI -projektiin. Tehtävässä keskitytään monimutkaisen verkkodatan poimimiseen, validoimiseen ja jäsentämiseen Pythonilla ja automaatiotyökaluilla.
Kuvaus
- Johda Mindriftin Tendem-projektin ja sen tosielämän sovellusten erikoistuneita verkkodatan kaavinnan työnkulkuja
- Hallinnoi kokonaisvaltaisia poimintaputkia monimutkaisilla verkkosivustoilla
- Tuota täydellisiä, tarkkoja, luotettavia ja hyvin jäsenneltyjä tietoaineistoja
- Hyödynnä Apifya, OpenRouteria ja mukautettuja työnkulkuja tiedonkeruun, validoinnin ja tehtävien suorittamisen tehostamiseen
- Poimi tietoa dynaamisista ja vuorovaikutteisista lähteistä mukautuen JavaScriptillä renderöityyn sisältöön ja muuttuviin sivustojen toimintatapoihin
- Varmista datan laatu validointitarkistuksilla, lähteiden välisillä vertailuilla, muotoilun hallinnalla ja järjestelmällisellä tarkistamisella
- Skaalaa suurten datamäärien kaavintaa tehokkaalla eräajolla ja rinnakkaisprosessoinnilla
- Tutki virheitä ja ylläpidä putkien vakautta, vaikka verkkosivustojen rakenteet muuttuisivat hieman
- Ratkaise itsenäisesti monimutkaisia komentosarjoihin, automaatioon, tiedon poimintaan, datan jäsentämiseen ja validointiin liittyviä haasteita
Vaatimukset
- Vähintään 5 vuoden soveltuva kokemus data-analytiikasta, verkkodatan kaavinnasta, automaatiosta tai ohjelmistokehityksestä
- Englannin kielen ylempi keskitaso (B2) tai parempi
- Edistynyt Python-pohjaisen verkkodatan kaavinnan osaaminen BeautifulSoupilla, Seleniumilla tai vastaavilla työkaluilla, mukaan lukien dynaaminen JavaScript/AJAX-sisältö, loputon vieritys ja välityspalvelinpohjaiset API:t
- Kyky poimia tietoa monimutkaisista hierarkioista, arkistoiduilta sivuilta ja epäjohdonmukaisesta HTML-koodista
- Vahva datan puhdistamisen, normalisoinnin ja validoinnin osaaminen
- Käytännön kokemus bottien torjuntamenetelmien ja muuttuvien sivustorakenteiden hallinnasta laajassa mittakaavassa
- Kokemus AWS:stä tai vastaavasta pilvi-infrastruktuurista
- Kokemus sovellusten paketoimisesta Dockerilla
- LangChainin, OpenRouterin tai vastaavien LLM-kehysten käytännön tuntemus automaatiossa
- Huolellinen työskentelyote ja vahva keskittyminen datan tarkkuuteen
- Oma-aloitteinen työskentelytapa ja varmuus ongelmien itsenäisessä selvittämisessä
- Insinöörin, sovelletun matematiikan, tietojenkäsittelytieteen tai muun vastaavan teknisen alan kandidaatin tai maisterin tutkinto katsotaan eduksi
- GitHub-profiilin linkki katsotaan eduksi
Edut
- Joustava osa-aikainen freelance-yhteistyö
- Arvioitu työmäärä 10–20 tuntia viikossa aktiivisten projektijaksojen aikana
- Korvaus enintään 37 dollaria vastaava määrä tunnilta kokemustason ja työskentelyvauhdin perusteella
- Mahdollisuus osallistua innovatiivisiin tekoälyn ja teknologian kehitysprojekteihin
- Täysin etätyö