Η Mindrift είναι μια αγορά ταλέντων τεχνητής νοημοσύνης και πλατφόρμα λογισμικού ως υπηρεσία που συνδέει επαγγελματίες συνεργάτες και ειδικούς σε διάφορους τομείς με έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης από εταιρείες τεχνολογίας. Ως μέρος της Toloka, συνεργάζεται με συγγραφείς, επιμελητές, ειδικούς διασφάλισης ποιότητας, επιστήμονες και άλλους ειδικούς θεματικών πεδίων, οι οποίοι βοηθούν στη δημιουργία δεδομένων εκπαίδευσης, στην αξιολόγηση της ασφάλειας και της ικανότητας συλλογισμού των μοντέλων, στην αξιολόγηση της ποιότητας των μέσων και στη δημιουργία ρεαλιστικών σεναρίων για τη βελτίωση της απόδοσης και της αξιοπιστίας της τεχνητής νοημοσύνης. Η Mindrift προσελκύει και αξιολογεί συνεργάτες μέσω δοκιμασιών και επαλήθευσης ταυτότητας και στη συνέχεια προσφέρει ευέλικτες αμειβόμενες ευκαιρίες σε έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης.
Ανώτερος Μηχανικός Συλλογής Δεδομένων με Python (Ελεύθερος επαγγελματίας, Εξ αποστάσεως στη Σουηδία)
Η Mindrift αναζητά ανώτερο μηχανικό Python για τη δημιουργία αξιόπιστων ροών συλλογής δεδομένων για έργα τεχνητής νοημοσύνης. Ο ρόλος επικεντρώνεται στην εξαγωγή, την επικύρωση και την κλιμάκωση δομημένων δεδομένων από σύνθετους και δυναμικούς ιστότοπους.
Περιγραφή
- Ηγεσία ολοκληρωμένων ροών εξαγωγής δεδομένων από σύνθετους ιστότοπους
- Παράδοση ολοκληρωμένων, ακριβών και αξιόπιστων δομημένων συνόλων δεδομένων
- Αξιοποίηση διαθέσιμων εργαλείων και προσαρμοσμένων ροών εργασίας για την επιτάχυνση της συλλογής δεδομένων, της επικύρωσης και της ολοκλήρωσης εργασιών
- Συλλογή δεδομένων από δυναμικούς και διαδραστικούς ιστότοπους με προσαρμογή σε περιεχόμενο που αποδίδεται μέσω JavaScript και σε αλλαγές στη συμπεριφορά των ιστότοπων
- Διασφάλιση της ποιότητας των δεδομένων μέσω ελέγχων επικύρωσης, συγκρίσεων μεταξύ πηγών, προτύπων μορφοποίησης και συστηματικής επαλήθευσης
- Κλιμάκωση της συλλογής μεγάλου όγκου δεδομένων μέσω αποδοτικής ομαδικής και παράλληλης επεξεργασίας
- Παρακολούθηση αποτυχιών εξαγωγής και διατήρηση της σταθερότητας του συστήματος παρά τις μικρές αλλαγές στη δομή των ιστότοπων
- Χρήση των Apify, OpenRouter και άλλων σχετικών τεχνολογιών σε συνδυασμό με ισχυρή τεχνική κρίση
Απαιτήσεις
- Τουλάχιστον πέντε έτη σχετικής εμπειρίας στη μηχανική δεδομένων, στη συλλογή δεδομένων από ιστότοπους, στον αυτοματισμό ή στην ανάπτυξη λογισμικού
- Προχωρημένη εμπειρία στη συλλογή δεδομένων με Python και BeautifulSoup, Selenium ή αντίστοιχα εργαλεία, καθώς και σε δυναμικό περιεχόμενο όπως JavaScript, AJAX και ατελείωτη κύλιση, με API που βασίζονται σε διακομιστές μεσολάβησης
- Ικανότητα εξαγωγής πληροφοριών από σύνθετες δομές, συμπεριλαμβανομένων ιεραρχιών, αρχειοθετημένων σελίδων και μη συνεπούς HTML
- Εμπειρία στον καθαρισμό, την κανονικοποίηση και την επικύρωση δεδομένων για δομημένη έξοδο σε CSV, JSON ή Google Sheets
- Πρακτική εμπειρία στη διαχείριση μηχανισμών προστασίας από bot και μεταβαλλόμενων δομών ιστότοπων σε μεγάλη κλίμακα
- Εμπειρία στη χρήση του AWS ή συγκρίσιμης υποδομής cloud και κοντέινερ Docker σε ροές εργασίας παραγωγής
- Πρακτική εμπειρία στην εφαρμογή πλαισίων μεγάλων γλωσσικών μοντέλων, όπως LangChain, OpenRouter ή παρόμοια εργαλεία, στον αυτοματισμό
- Ισχυρή προσοχή στη λεπτομέρεια με σταθερή εστίαση στην ακρίβεια των δεδομένων
- Ανεξάρτητη και αυτοκατευθυνόμενη προσέγγιση στην αντιμετώπιση προβλημάτων και στην επίλυσή τους
- Πολύ καλή γνώση Αγγλικών (B2) ή ανώτερη
- Πτυχίο ή μεταπτυχιακό στην engineering, στα εφαρμοσμένα μαθηματικά, στην επιστήμη υπολογιστών ή σε συναφή τεχνικό κλάδο αποτελεί πλεονέκτημα
- Προφίλ στο GitHub αποτελεί πλεονέκτημα
Παροχές
- Συνεργασία ως ελεύθερος επαγγελματίας
- Μερική απασχόληση εξ αποστάσεως
- Εκτιμώμενη απασχόληση 10–20 ώρες την εβδομάδα κατά τις ενεργές φάσεις του έργου