Mindrift
Mindrift
Mindrift একটি কৃত্রিম বুদ্ধিমত্তা প্রতিভা মার্কেটপ্লেস এবং SaaS প্ল্যাটফর্ম, যা পেশাদার অবদানকারী ও বিষয়বিশেষজ্ঞদের প্রযুক্তি কোম্পানিগুলোর AI প্রশিক্ষণ এবং মূল্যায়ন প্রকল্পের সঙ্গে সংযুক্ত করে। Toloka-এর অংশ হিসেবে, এটি লেখক, সম্পাদক, QA বিশেষজ্ঞ, বিজ্ঞানী এবং অন্যান্য বিষয়বিশেষজ্ঞদের সঙ্গে কাজ করে। তাঁরা প্রশিক্ষণ ডেটা তৈরি, মডেলের নিরাপত্তা ও যুক্তি বিশ্লেষণ মূল্যায়ন, মিডিয়ার গুণমান যাচাই এবং AI-এর কর্মদক্ষতা ও নির্ভরযোগ্যতা উন্নত করার জন্য বাস্তবজগতের পরিস্থিতি তৈরিতে সহায়তা করেন। Mindrift মূল্যায়ন ও পরিচয় যাচাইয়ের মাধ্যমে অবদানকারীদের নিয়োগ এবং যাচাই করে, এরপর AI প্রশিক্ষণ ও মূল্যায়নসংক্রান্ত কাজে নমনীয়, পারিশ্রমিকযুক্ত প্রকল্পের সুযোগ দেয়।

সিনিয়র পাইথন ডেটা স্ক্র্যাপিং ইঞ্জিনিয়ার (ফ্রিল্যান্স, সুইডেনে রিমোট)

Mindrift AI প্রকল্পগুলোর জন্য নির্ভরযোগ্য স্ক্র্যাপিং ওয়ার্কফ্লো তৈরি করতে একজন সিনিয়র পাইথন ইঞ্জিনিয়ার খুঁজছে। এই ভূমিকায় জটিল ও পরিবর্তনশীল ওয়েবসাইট থেকে কাঠামোবদ্ধ ডেটা সংগ্রহ, যাচাই এবং বৃহৎ পরিসরে প্রক্রিয়াকরণে গুরুত্ব দেওয়া হবে।

বিবরণ

  • জটিল ওয়েবসাইটজুড়ে সম্পূর্ণ ডেটা সংগ্রহের ওয়ার্কফ্লো পরিচালনা করুন
  • সম্পূর্ণ, নির্ভুল ও নির্ভরযোগ্য কাঠামোবদ্ধ ডেটাসেট সরবরাহ করুন
  • ডেটা সংগ্রহ, যাচাই ও কাজ সম্পন্ন করার গতি বাড়াতে উপলভ্য টুল এবং উপযোগী ওয়ার্কফ্লো প্রয়োগ করুন
  • ডায়নামিক ও ইন্টার‌্যাকটিভ ওয়েবসাইট থেকে ডেটা সংগ্রহ করুন এবং JavaScript-রেন্ডার করা কনটেন্ট ও পরিবর্তনশীল সাইট আচরণের সঙ্গে মানিয়ে নিন
  • যাচাইকরণ পরীক্ষা, বিভিন্ন উৎসের তুলনা, ফরম্যাটিং মানদণ্ড এবং পদ্ধতিগত যাচাইয়ের মাধ্যমে ডেটার মান সুরক্ষিত রাখুন
  • দক্ষ ব্যাচিং ও সমান্তরাল প্রসেসিংয়ের মাধ্যমে বৃহৎ পরিমাণের স্ক্র্যাপিং প্রসারিত করুন
  • ডেটা সংগ্রহের ব্যর্থতা পর্যবেক্ষণ করুন এবং ওয়েবসাইটের কাঠামোতে ছোটখাটো পরিবর্তনের মধ্যেও সিস্টেমের স্থিতিশীলতা বজায় রাখুন
  • দৃঢ় প্রযুক্তিগত বিচারবোধের সঙ্গে Apify, OpenRouter এবং অন্যান্য প্রাসঙ্গিক প্রযুক্তি ব্যবহার করুন

প্রয়োজনীয়তা

  • ডেটা ইঞ্জিনিয়ারিং, ওয়েব স্ক্র্যাপিং, অটোমেশন বা সফটওয়্যার ডেভেলপমেন্টে অন্তত পাঁচ বছরের প্রাসঙ্গিক অভিজ্ঞতা
  • BeautifulSoup, Selenium বা তুলনীয় টুল, JavaScript, AJAX ও infinite scroll-এর মতো ডায়নামিক কনটেন্ট এবং প্রক্সি-ভিত্তিক API ব্যবহারে উন্নত Python স্ক্র্যাপিং অভিজ্ঞতা
  • হায়ারার্কি, আর্কাইভ করা পৃষ্ঠা এবং অসামঞ্জস্যপূর্ণ HTML-সহ জটিল কাঠামো থেকে তথ্য সংগ্রহের সক্ষমতা
  • কাঠামোবদ্ধ CSV, JSON বা Google Sheets আউটপুটের জন্য ডেটা পরিষ্কার, স্বাভাবিকীকরণ ও যাচাইয়ের অভিজ্ঞতা
  • বৃহৎ পরিসরে অ্যান্টি-বট সুরক্ষা এবং পরিবর্তনশীল ওয়েবসাইট কাঠামো পরিচালনার বাস্তব অভিজ্ঞতা
  • প্রোডাকশন ওয়ার্কফ্লোতে AWS বা তুলনীয় ক্লাউড অবকাঠামো এবং Docker কনটেইনার ব্যবহারের অভিজ্ঞতা
  • অটোমেশনে LangChain, OpenRouter বা অনুরূপ টুলের মতো LLM ফ্রেমওয়ার্ক প্রয়োগের হাতে-কলমে অভিজ্ঞতা
  • বিস্তারিত বিষয়ে দৃঢ় মনোযোগ এবং ডেটার নির্ভুলতার ওপর ধারাবাহিক গুরুত্ব
  • সমস্যা শনাক্তকরণ ও সমাধানে স্বাধীন এবং স্বনির্দেশিত পদ্ধতি
  • উচ্চ-মধ্যম স্তরের ইংরেজি দক্ষতা (B2) বা তার বেশি
  • ইঞ্জিনিয়ারিং, অ্যাপ্লাইড ম্যাথমেটিক্স, কম্পিউটার সায়েন্স বা সংশ্লিষ্ট প্রযুক্তিগত বিষয়ে স্নাতক বা স্নাতকোত্তর ডিগ্রি অতিরিক্ত সুবিধা
  • GitHub প্রোফাইল অতিরিক্ত সুবিধা

সুবিধাসমূহ

  • ফ্রিল্যান্স কাজের সুযোগ
  • পার্ট-টাইম রিমোট কাজ
  • সক্রিয় প্রকল্পের পর্যায়ে প্রতি সপ্তাহে আনুমানিক ১০–২০ ঘণ্টা