Η Mindrift είναι μια αγορά ταλέντων τεχνητής νοημοσύνης και πλατφόρμα λογισμικού ως υπηρεσία που συνδέει επαγγελματίες συνεργάτες και ειδικούς σε διάφορους τομείς με έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης από εταιρείες τεχνολογίας. Ως μέρος της Toloka, συνεργάζεται με συγγραφείς, επιμελητές, ειδικούς διασφάλισης ποιότητας, επιστήμονες και άλλους ειδικούς θεματικών πεδίων, οι οποίοι βοηθούν στη δημιουργία δεδομένων εκπαίδευσης, στην αξιολόγηση της ασφάλειας και της ικανότητας συλλογισμού των μοντέλων, στην αξιολόγηση της ποιότητας των μέσων και στη δημιουργία ρεαλιστικών σεναρίων για τη βελτίωση της απόδοσης και της αξιοπιστίας της τεχνητής νοημοσύνης. Η Mindrift προσελκύει και αξιολογεί συνεργάτες μέσω δοκιμασιών και επαλήθευσης ταυτότητας και στη συνέχεια προσφέρει ευέλικτες αμειβόμενες ευκαιρίες σε έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης.
Ανώτερος Μηχανικός Συλλογής Δεδομένων με Python (Ελεύθερος επαγγελματίας, Εξ αποστάσεως στην Αίγυπτο)
Αναπτύξτε αξιόπιστα συστήματα συλλογής δεδομένων με Python για τα έργα τεχνητής νοημοσύνης της Mindrift. Εξάγετε, επικυρώστε και κλιμακώστε δομημένα δεδομένα από σύνθετους, δυναμικούς ιστοτόπους.
Περιγραφή
- Διαχείριση ολοκληρωμένων ροών εργασίας εξαγωγής δεδομένων σε σύνθετους ιστοτόπους
- Παράδοση ολοκληρωμένων, ακριβών και αξιόπιστων δομημένων συνόλων δεδομένων
- Χρήση εργαλείων και προσαρμοσμένων ροών εργασίας για την επιτάχυνση της συλλογής και επικύρωσης δεδομένων και της ολοκλήρωσης εργασιών
- Αξιόπιστη εξαγωγή δεδομένων από δυναμικές, διαδραστικές πηγές και πηγές που αποδίδονται μέσω JavaScript
- Προσαρμογή των μεθόδων συλλογής καθώς εξελίσσονται η συμπεριφορά και η δομή των ιστοτόπων
- Προστασία της ποιότητας των δεδομένων μέσω επικύρωσης, διασταυρώσεων μεταξύ πηγών, προτύπων μορφοποίησης και συστηματικού ελέγχου
- Κλιμάκωση της συλλογής μεγάλων συνόλων δεδομένων με αποδοτική ομαδική ή παράλληλη επεξεργασία
- Παρακολούθηση αποτυχιών εξαγωγής και διατήρηση της σταθερότητας παρά τις μικρές αλλαγές στους ιστοτόπους
- Εφαρμογή τεχνογνωσίας στη συλλογή δεδομένων από τον ιστό, την εξαγωγή δεδομένων και την επεξεργασία δεδομένων στο έργο Tendem
Απαιτήσεις
- Πάνω από 5 χρόνια σχετικής εμπειρίας στη μηχανική δεδομένων, τη συλλογή δεδομένων από τον ιστό, τον αυτοματισμό ή την ανάπτυξη λογισμικού
- Πτυχίο ή μεταπτυχιακό στην engineering, στα εφαρμοσμένα μαθηματικά, στην επιστήμη υπολογιστών ή σε συναφή τεχνικό κλάδο θεωρείται επιθυμητό
- Προχωρημένη εμπειρία συλλογής δεδομένων με Python και BeautifulSoup, Selenium ή συγκρίσιμα εργαλεία, περιεχόμενο JavaScript/AJAX, άπειρη κύλιση, API και διακομιστές μεσολάβησης
- Ικανότητα εξαγωγής πληροφοριών από σύνθετες δομές, όπως ιεραρχίες, αρχειοθετημένες σελίδες και ασυνεπή HTML
- Ισχυρές δεξιότητες καθαρισμού, κανονικοποίησης και επικύρωσης δεδομένων, με εμπειρία στην παραγωγή συνόλων δεδομένων CSV, JSON ή Google Sheets
- Πρακτική εμπειρία στη διαχείριση προστασιών κατά των bot και μεταβαλλόμενων δομών ιστοτόπων σε μεγάλη κλίμακα
- Εμπειρία με AWS ή συγκρίσιμη υποδομή cloud και με containerization βασισμένο σε Docker
- Πρακτική χρήση πλαισίων LLM, όπως LangChain, OpenRouter ή παρόμοια εργαλεία για αυτοματισμό
- Εξαιρετική προσοχή στη λεπτομέρεια και σταθερή εστίαση στην ακρίβεια των δεδομένων
- Ικανότητα ανεξάρτητης εργασίας, αντιμετώπισης προβλημάτων και διαχείρισης εργασιών με ελάχιστη επίβλεψη
- Αγγλικά ανώτερου μεσαίου επιπέδου (B2) ή υψηλότερου
- Προφίλ στο GitHub ή σύνδεσμος portfolio αποτελεί πλεονέκτημα
Παροχές
- Συνεργασία σε έργο ως ελεύθερος επαγγελματίας
- Μερική απασχόληση περίπου 10–20 ώρες την εβδομάδα κατά τις ενεργές φάσεις του έργου
- Εξ αποστάσεως εργασία
- Ευέλικτος φόρτος εργασίας σύμφωνα με τις ανάγκες του έργου