Mindrift هي سوق للمواهب في مجال الذكاء الاصطناعي ومنصة برمجيات كخدمة تربط المساهمين المحترفين والخبراء المتخصصين بمشاريع تدريب الذكاء الاصطناعي وتقييمه لدى شركات التكنولوجيا. وباعتبارها جزءًا من Toloka، تتعاون مع الكتّاب والمحررين ومتخصصي ضمان الجودة والعلماء وغيرهم من الخبراء المتخصصين للمساعدة في إنشاء بيانات التدريب، وتقييم سلامة النماذج وقدرتها على الاستدلال، وتقييم جودة الوسائط، وإنشاء سيناريوهات واقعية لتحسين أداء الذكاء الاصطناعي وموثوقيته. تستقطب Mindrift المساهمين وتتحقق من كفاءتهم من خلال التقييمات والتحقق من الهوية، ثم تقدم فرصًا مرنة ومدفوعة للمشاركة في مشاريع تدريب الذكاء الاصطناعي وتقييمه.
مهندس أول لكشط البيانات باستخدام بايثون — عن بُعد في اليابان
طوّر سير عمل موثوقة لكشط الويب باستخدام بايثون لمشروع Tendem AI التابع لـ Mindrift. استخرج مجموعات بيانات منظّمة من مواقع معقدة وديناميكية، وتحقق منها ووسّع نطاقها.
الوصف
- قيادة استخراج البيانات من البداية إلى النهاية عبر مواقع إلكترونية معقدة
- تقديم مجموعات بيانات منظّمة كاملة ودقيقة وموثوقة
- استخدام الأدوات المتاحة وسير العمل المخصصة لتسريع عملية الجمع والتحقق وتنفيذ المهام
- استخراج البيانات من المصادر الديناميكية والتفاعلية، بما في ذلك المحتوى المُصيَّر باستخدام JavaScript
- تعديل أساليب الكشط مع تغيّر سلوك المواقع الإلكترونية
- الحفاظ على جودة البيانات من خلال التحقق والفحوصات عبر مصادر متعددة ومعايير التنسيق والتحقق المنهجي
- توسيع نطاق كشط كميات كبيرة من البيانات باستخدام التجميع الفعال أو المعالجة المتوازية
- مراقبة حالات الفشل والحفاظ على الاستقرار رغم التغييرات الطفيفة في بنية المواقع
- تطبيق Apify وOpenRouter وتقنيات أخرى لاستخراج البيانات من الويب ومعالجتها
المتطلبات
- ما لا يقل عن 5 سنوات من الخبرة ذات الصلة في هندسة البيانات أو كشط الويب أو الأتمتة أو تطوير البرمجيات
- تُعد درجة البكالوريوس أو الماجستير في الهندسة أو الرياضيات التطبيقية أو علوم الحاسوب أو مجال تقني ذي صلة ميزة إضافية
- خبرة قوية في كشط البيانات باستخدام Python وBeautifulSoup وSelenium أو أدوات مماثلة، والتعامل مع المحتوى الديناميكي مثل JavaScript وAJAX والتمرير اللانهائي، ومع واجهات API التي يتم الوصول إليها عبر وكلاء
- القدرة على استخراج البيانات من هياكل معقدة، بما في ذلك التسلسلات الهرمية والصفحات المؤرشفة وHTML غير المتسق
- خلفية قوية في تنظيف البيانات وتوحيدها والتحقق منها، مع خبرة في تقديم مجموعات بيانات بصيغ CSV أو JSON أو Google Sheets
- خبرة في إدارة آليات مكافحة الروبوتات وهياكل المواقع الديناميكية على نطاق واسع
- خبرة في AWS أو بنية تحتية سحابية مكافئة
- خبرة في استخدام Docker للحاويات
- خبرة عملية في أطر عمل النماذج اللغوية الكبيرة مثل LangChain أو OpenRouter أو أدوات مماثلة للأتمتة
- اهتمام شديد بالتفاصيل والتزام بدقة البيانات
- نهج مستقل مع القدرة على استكشاف المشكلات وإصلاحها بشكل مستقل
- إجادة اللغة الإنجليزية بمستوى فوق المتوسط (B2) أو أعلى
- يُعد تقديم رابط GitHub ميزة إضافية
المزايا
- فرصة للعمل المستقل
- عمل بدوام جزئي يُقدَّر بنحو 10–20 ساعة أسبوعيًا خلال المراحل النشطة
- العمل عن بُعد
- فرصة للمساهمة في مشاريع مبتكرة في مجالي التكنولوجيا وتطوير الذكاء الاصطناعي