
Mindrift একটি কৃত্রিম বুদ্ধিমত্তা প্রতিভা মার্কেটপ্লেস এবং SaaS প্ল্যাটফর্ম, যা পেশাদার অবদানকারী ও বিষয়বিশেষজ্ঞদের প্রযুক্তি কোম্পানিগুলোর AI প্রশিক্ষণ এবং মূল্যায়ন প্রকল্পের সঙ্গে সংযুক্ত করে। Toloka-এর অংশ হিসেবে, এটি লেখক, সম্পাদক, QA বিশেষজ্ঞ, বিজ্ঞানী এবং অন্যান্য বিষয়বিশেষজ্ঞদের সঙ্গে কাজ করে। তাঁরা প্রশিক্ষণ ডেটা তৈরি, মডেলের নিরাপত্তা ও যুক্তি বিশ্লেষণ মূল্যায়ন, মিডিয়ার গুণমান যাচাই এবং AI-এর কর্মদক্ষতা ও নির্ভরযোগ্যতা উন্নত করার জন্য বাস্তবজগতের পরিস্থিতি তৈরিতে সহায়তা করেন। Mindrift মূল্যায়ন ও পরিচয় যাচাইয়ের মাধ্যমে অবদানকারীদের নিয়োগ এবং যাচাই করে, এরপর AI প্রশিক্ষণ ও মূল্যায়নসংক্রান্ত কাজে নমনীয়, পারিশ্রমিকযুক্ত প্রকল্পের সুযোগ দেয়।
সিনিয়র পাইথন ওয়েব স্ক্র্যাপিং ইঞ্জিনিয়ার - ব্রাজিলে রিমোট
Mindrift-এর AI প্রযুক্তি প্রকল্পগুলোর জন্য নির্ভরযোগ্য ওয়েব স্ক্র্যাপিং, ডেটা যাচাই এবং কাঠামোবদ্ধ ডেটাসেট সরবরাহের দায়িত্বে থাকা সিনিয়র পাইথন ইঞ্জিনিয়ার। এই ভূমিকায় ডায়নামিক ওয়েবসাইট, অ্যান্টি-বট সিস্টেম, ক্লাউড অবকাঠামো এবং LLM-ভিত্তিক অটোমেশন টুল নিয়ে কাজ করতে হবে।
বিবরণ
- জটিল ওয়েবসাইটজুড়ে সম্পূর্ণ ডেটা আহরণ কর্মপ্রবাহ পরিচালনা করুন
- ব্যাপক কভারেজ, উচ্চ নির্ভুলতা এবং নির্ভরযোগ্য সময়সীমাসহ কাঠামোবদ্ধ ডেটাসেট সরবরাহ করুন
- ডেটা সংগ্রহ, যাচাই এবং কাজ সম্পাদনের গতি বাড়াতে বিদ্যমান টুল ও উপযোগী কর্মপ্রবাহ ব্যবহার করুন
- JavaScript-রেন্ডার করা পেজসহ ডায়নামিক ও ইন্টার্যাক্টিভ উৎস থেকে তথ্য আহরণ করুন
- ওয়েবসাইটের আচরণ পরিবর্তিত হলে স্ক্র্যাপিং পদ্ধতি সামঞ্জস্য করুন
- যাচাই, একাধিক উৎসের তুলনা, ফরম্যাটিংয়ের প্রয়োজনীয়তা এবং পদ্ধতিগত পরীক্ষা ব্যবহার করে ডেটার মান বজায় রাখুন
- দক্ষ ব্যাচিং বা সমান্তরাল প্রক্রিয়াকরণের মাধ্যমে বিপুল পরিমাণ স্ক্র্যাপিং স্কেল করুন
- ওয়েবসাইটের কাঠামোতে ছোট পরিবর্তন হলে ব্যর্থতা শনাক্ত করুন এবং স্থিতিশীলতা বজায় রাখুন
- স্ক্র্যাপিং ও প্রসেসিং কর্মপ্রবাহে Apify, OpenRouter এবং সংশ্লিষ্ট প্রযুক্তি সমন্বিত করুন
প্রয়োজনীয়তা
- ডেটা ইঞ্জিনিয়ারিং, ওয়েব স্ক্র্যাপিং, অটোমেশন বা সফটওয়্যার ডেভেলপমেন্টে অন্তত পাঁচ বছরের প্রাসঙ্গিক অভিজ্ঞতা
- ইঞ্জিনিয়ারিং, অ্যাপ্লাইড ম্যাথমেটিক্স, কম্পিউটার সায়েন্স বা সংশ্লিষ্ট কারিগরি বিষয়ে স্নাতক বা স্নাতকোত্তর ডিগ্রি থাকলে তা অতিরিক্ত যোগ্যতা হিসেবে বিবেচিত হবে
- স্ক্রিপ্টিং, অটোমেশন এবং ডেটা আহরণ কর্মপ্রবাহে ব্যবহারিক অভিজ্ঞতাসহ শক্তিশালী কারিগরি ভিত্তি
- BeautifulSoup, Selenium বা তুলনীয় টুল, ডায়নামিক কনটেন্ট এবং প্রক্সি-ভিত্তিক API ব্যবহার করে Python স্ক্র্যাপিংয়ে ব্যাপক অভিজ্ঞতা
- হায়ারার্কি, আর্কাইভ করা পেজ এবং অসামঞ্জস্যপূর্ণ HTML-সহ জটিল কাঠামো থেকে তথ্য আহরণের সক্ষমতা
- ডেটা ক্লিনিং, নর্মালাইজেশন এবং যাচাইয়ে দৃঢ় অভিজ্ঞতা
- স্কেলে অ্যান্টি-বট সিস্টেম ও ডায়নামিক ওয়েবসাইট কাঠামো পরিচালনার প্রমাণিত সক্ষমতা
- AWS বা তুলনীয় ক্লাউড অবকাঠামো এবং Docker কনটেইনারাইজেশনে অভিজ্ঞতা
- অটোমেশন কাজে LangChain, OpenRouter বা অনুরূপ LLM ফ্রেমওয়ার্ক প্রয়োগের ব্যবহারিক অভিজ্ঞতা
- বিশদ বিষয়ে তীক্ষ্ণ মনোযোগ এবং ডেটার নির্ভুলতার প্রতি অঙ্গীকার
- স্বনির্দেশিতভাবে কাজ করা এবং স্বাধীনভাবে সমস্যা সমাধানের সক্ষমতা
- উচ্চ-মধ্যবর্তী ইংরেজি দক্ষতা (B2) বা তার বেশি
- GitHub প্রোফাইলের লিংক থাকলে তা অতিরিক্ত যোগ্যতা হিসেবে বিবেচিত হবে
সুবিধাসমূহ
- ফ্রিল্যান্স কাজের সুযোগ
- পার্ট-টাইম রিমোট কাজ
- সক্রিয় প্রকল্প পর্যায়ে প্রতি সপ্তাহে আনুমানিক ১০–২০ ঘণ্টা কাজ
- অভিজ্ঞতার স্তর ও অবদানের গতির ওপর নির্ভর করে প্রতি ঘণ্টায় সমতুল্য সর্বোচ্চ $২৫ পারিশ্রমিক
- উদ্ভাবনী প্রযুক্তি ও AI উন্নয়ন প্রকল্পে অবদান রাখার সুযোগ