Η Mindrift είναι μια αγορά ταλέντων τεχνητής νοημοσύνης και πλατφόρμα λογισμικού ως υπηρεσία που συνδέει επαγγελματίες συνεργάτες και ειδικούς σε διάφορους τομείς με έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης από εταιρείες τεχνολογίας. Ως μέρος της Toloka, συνεργάζεται με συγγραφείς, επιμελητές, ειδικούς διασφάλισης ποιότητας, επιστήμονες και άλλους ειδικούς θεματικών πεδίων, οι οποίοι βοηθούν στη δημιουργία δεδομένων εκπαίδευσης, στην αξιολόγηση της ασφάλειας και της ικανότητας συλλογισμού των μοντέλων, στην αξιολόγηση της ποιότητας των μέσων και στη δημιουργία ρεαλιστικών σεναρίων για τη βελτίωση της απόδοσης και της αξιοπιστίας της τεχνητής νοημοσύνης. Η Mindrift προσελκύει και αξιολογεί συνεργάτες μέσω δοκιμασιών και επαλήθευσης ταυτότητας και στη συνέχεια προσφέρει ευέλικτες αμειβόμενες ευκαιρίες σε έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης.
Ανώτερος μηχανικός εξαγωγής δεδομένων με Python (μερική απασχόληση, εξ αποστάσεως στη Γεωργία)
Η Mindrift αναζητά ανώτερο μηχανικό Python για τη δημιουργία αξιόπιστων ροών εργασίας συλλογής δεδομένων για έργα τεχνολογίας τεχνητής νοημοσύνης. Ο ρόλος εστιάζει στην εξαγωγή, την επικύρωση και την κλιμάκωση δομημένων συνόλων δεδομένων από σύνθετους, δυναμικούς ιστότοπους.
Περιγραφή
- Διαχείριση ροών εργασίας εξαγωγής δεδομένων από άκρο σε άκρο σε σύνθετους ιστότοπους
- Παράδοση πλήρων, ακριβών και αξιόπιστων δομημένων συνόλων δεδομένων
- Αξιοποίηση διαθέσιμων εργαλείων και προσαρμοσμένων ροών εργασίας για την επιτάχυνση της συλλογής δεδομένων, της επικύρωσης και της εκτέλεσης εργασιών
- Εξαγωγή δεδομένων από δυναμικές και διαδραστικές διαδικτυακές πηγές, συμπεριλαμβανομένων σελίδων που αποδίδονται με JavaScript
- Προσαρμογή των μεθόδων συλλογής καθώς αλλάζει η συμπεριφορά των ιστότοπων
- Διατήρηση της ποιότητας των δεδομένων μέσω ελέγχων επικύρωσης, ελέγχων συνέπειας μεταξύ πηγών, απαιτήσεων μορφοποίησης και συστηματικής επαλήθευσης
- Κλιμάκωση της συλλογής μεγάλων συνόλων δεδομένων με αποδοτική ομαδοποίηση ή παράλληλη επεξεργασία
- Παρακολούθηση αποτυχιών και διατήρηση της σταθερότητας παρά τις μικρές αλλαγές στη δομή των ιστότοπων
- Συνδυασμός εργαλείων όπως τα Apify και OpenRouter με σχετική τεχνική εξειδίκευση
Απαιτήσεις
- Τουλάχιστον 5 έτη σχετικής εμπειρίας στη μηχανική δεδομένων, τη συλλογή δεδομένων από τον ιστό, την αυτοματοποίηση ή την ανάπτυξη λογισμικού
- Πτυχίο ή μεταπτυχιακό στην engineering, τα εφαρμοσμένα μαθηματικά, την επιστήμη υπολογιστών ή συναφή τεχνικό κλάδο θα θεωρηθεί προσόν
- Ισχυρή εμπειρία στη συλλογή δεδομένων από τον ιστό με Python, BeautifulSoup, Selenium ή συγκρίσιμα εργαλεία, σε δυναμικό περιεχόμενο και σε API στα οποία η πρόσβαση γίνεται μέσω proxy
- Αποδεδειγμένη ικανότητα εξαγωγής πληροφοριών από σύνθετες δομές, συμπεριλαμβανομένων ιεραρχιών, αρχειοθετημένων σελίδων και μη συνεπούς HTML
- Σημαντική εμπειρία στον καθαρισμό, την κανονικοποίηση και την επικύρωση δεδομένων για παράδοση σε CSV, JSON ή Google Sheets
- Πρακτική εμπειρία στη διαχείριση μηχανισμών κατά των bot και δυναμικών δομών ιστότοπων σε μεγάλη κλίμακα
- Εμπειρία με AWS ή συγκρίσιμη υποδομή cloud και με containerization βασισμένο σε Docker
- Πρακτική εμπειρία στην εφαρμογή πλαισίων LLM, όπως LangChain ή OpenRouter, σε εργασίες αυτοματοποίησης
- Μεγάλη προσοχή στη λεπτομέρεια και ισχυρή δέσμευση στην ακρίβεια των δεδομένων
- Ικανότητα αυτόνομης εργασίας και αντιμετώπισης προβλημάτων χωρίς στενή επίβλεψη
- Αγγλικά ανώτερου միջου επιπέδου (B2) ή υψηλότερου
- Ο σύνδεσμος προφίλ στο GitHub αποτελεί πλεονέκτημα
Παροχές
- Μερική απασχόληση ως απομακρυσμένος freelance συνεργάτης
- Περίπου 10–20 ώρες την εβδομάδα κατά τις ενεργές φάσεις των έργων
- Εργασία σε έργα ανάπτυξης τεχνολογίας και τεχνητής νοημοσύνης