Η Mindrift είναι μια αγορά ταλέντων τεχνητής νοημοσύνης και πλατφόρμα λογισμικού ως υπηρεσία που συνδέει επαγγελματίες συνεργάτες και ειδικούς σε διάφορους τομείς με έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης από εταιρείες τεχνολογίας. Ως μέρος της Toloka, συνεργάζεται με συγγραφείς, επιμελητές, ειδικούς διασφάλισης ποιότητας, επιστήμονες και άλλους ειδικούς θεματικών πεδίων, οι οποίοι βοηθούν στη δημιουργία δεδομένων εκπαίδευσης, στην αξιολόγηση της ασφάλειας και της ικανότητας συλλογισμού των μοντέλων, στην αξιολόγηση της ποιότητας των μέσων και στη δημιουργία ρεαλιστικών σεναρίων για τη βελτίωση της απόδοσης και της αξιοπιστίας της τεχνητής νοημοσύνης. Η Mindrift προσελκύει και αξιολογεί συνεργάτες μέσω δοκιμασιών και επαλήθευσης ταυτότητας και στη συνέχεια προσφέρει ευέλικτες αμειβόμενες ευκαιρίες σε έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης.
Ανώτερος μηχανικός εξόρυξης δεδομένων ιστού με Python (Freelance, απομακρυσμένη εργασία από την Πορτογαλία)
Ανάπτυξε αξιόπιστες ροές εξόρυξης ιστού και επεξεργασίας δεδομένων για το έργο Tendem AI της Mindrift. Εξήγαγε, επικύρωσε και κλιμάκωσε δομημένα σύνολα δεδομένων από σύνθετους και δυναμικούς ιστότοπους.
Περιγραφή
- Διαχείριση της εξαγωγής από σύνθετους ιστότοπους από άκρη σε άκρη, με παράδοση πλήρων, ακριβών και αξιόπιστων δομημένων συνόλων δεδομένων
- Χρήση εργαλείων και προσαρμοσμένων ροών εργασίας για την επιτάχυνση της συλλογής και επικύρωσης δεδομένων και της ολοκλήρωσης εργασιών
- Συλλογή δεδομένων από δυναμικές και διαδραστικές πηγές, με προσαρμογή σε περιεχόμενο που αποδίδεται μέσω JavaScript και σε μεταβαλλόμενη συμπεριφορά ιστοτόπων
- Διατήρηση της ποιότητας των δεδομένων μέσω ελέγχων επικύρωσης, συγκρίσεων μεταξύ πηγών, απαιτήσεων μορφοποίησης και συστηματικής επανεξέτασης
- Επέκταση των εργασιών εξόρυξης για μεγάλα σύνολα δεδομένων μέσω αποδοτικής ομαδοποίησης ή παράλληλης επεξεργασίας
- Παρακολούθηση αποτυχιών εξαγωγής και διατήρηση της σταθερότητας όταν οι ιστότοποι υφίστανται μικρές δομικές αλλαγές
- Αξιοποίηση τεχνογνωσίας στην εξόρυξη ιστού, την εξαγωγή και την επεξεργασία δεδομένων σε εξειδικευμένες ροές εργασίας έργων Tendem
Απαιτήσεις
- Τουλάχιστον πέντε έτη σχετικής εμπειρίας στη μηχανική δεδομένων, την εξόρυξη ιστού, την αυτοματοποίηση ή την ανάπτυξη λογισμικού
- Ισχυρές δεξιότητες εξόρυξης με Python και BeautifulSoup, Selenium ή συγκρίσιμα εργαλεία, καθώς και εμπειρία σε περιεχόμενο JavaScript και AJAX, άπειρη κύλιση, API και proxies
- Ικανότητα εξαγωγής πληροφοριών από σύνθετες ιεραρχίες, αρχειοθετημένες σελίδες και ασυνεπή HTML
- Στέρεη βάση στον καθαρισμό, την κανονικοποίηση και την επικύρωση δεδομένων, με εμπειρία στην παραγωγή δομημένων συνόλων δεδομένων σε CSV, JSON και Google Sheets
- Εμπειρία στη διαχείριση προστασιών κατά των bot και μεταβαλλόμενων δομών ιστοτόπων σε μεγάλη κλίμακα
- Εμπειρία με AWS ή συγκρίσιμη υποδομή cloud και με containerization βάσει Docker
- Πρακτική εμπειρία στην εφαρμογή πλαισίων LLM, όπως LangChain, OpenRouter ή παρόμοια εργαλεία, σε εργασίες αυτοματοποίησης
- Εργασία με μεγάλη προσοχή στη λεπτομέρεια και σταθερή εστίαση στην ακρίβεια των δεδομένων
- Ανεξάρτητη εργασία, ανάληψη ευθύνης για την αντιμετώπιση προβλημάτων και διατήρηση αυτοκατευθυνόμενης προσέγγισης
- Επάρκεια στα αγγλικά επιπέδου Upper-intermediate (B2) ή υψηλότερου
- Πτυχίο ή μεταπτυχιακό στην engineering, τα εφαρμοσμένα μαθηματικά, την επιστήμη υπολογιστών ή συναφή τεχνικό κλάδο αποτελεί πλεονέκτημα
- Σύνδεσμος προφίλ GitHub αποτελεί πλεονέκτημα
Παροχές
- Συνεργασία ως freelancer
- Μερική απασχόληση, εκτιμώμενη σε 10–20 ώρες εβδομαδιαίως κατά τις ενεργές φάσεις του έργου
- Απομακρυσμένη εργασία
- Ευκαιρία συμμετοχής σε καινοτόμα τεχνολογικά έργα μέσω της πλατφόρμας Mindrift