• Taher's Newsletter
  • Posts
  • আপওয়ার্কে ওয়েব অটোমেশন এবং স্ক্র্যাপিংয়ের ৫০০০ জব পোস্ট নিয়ে এনালাইসিস

আপওয়ার্কে ওয়েব অটোমেশন এবং স্ক্র্যাপিংয়ের ৫০০০ জব পোস্ট নিয়ে এনালাইসিস

ওয়েব অটোমেশনের মার্কেট আসলে অনেক বড়, এতই বড় যে এনালাইসিস করে কুল কিনারা করতে হলো। কিন্তু আসলে এটা কত বড় তা নিয়েই এই মেগা পোস্ট।

ওইদিন বাংলাদেশের একটা খুব বড় কোম্পানীর এক বড় ভাই বললেন তোমার পরিচিত বা স্টুডেন্ট অটোমেশন ইন্জিনিয়ার থাকলে আমাকে দাও। আমি বললাম ভাই আপনাকে দিয়ে দিলে আমার কি হবে?

বুঝতে পারতেসেন? চাহিদা কিন্তু আসলেই ব্যাপক যে ছোট বড় মাঝারি কোম্পানীতে এই স্কিল লেগে যাচ্ছে। অবশ্য, জব মার্কেটে এভাবে ফুঁটে না উঠলেও, আপওয়ার্ক থেকে প্রায় ৫ হাজার জব পোস্ট এনালাইসিস করে বর্তমান ফ্রিল্যান্স মার্কেটপ্লেসের অবস্থা সম্পর্কে অসাধারণ কিছু ইনসাইটস বের করতে পেরেছি।

এই এনাইলাইসিসে আমি আপনাদের ওয়েব অটোমেশন এবং স্ক্র্যাপিং নিশের উপর ভিত্তি করে কিছু তথ্য শেয়ার করবো, যা দিয়ে আপনারা আপনাদের ফ্রিল্যান্সিং ক্যারিয়ারের বিভিন্ন ডিসিশন সহজে নিতে পারবেন।

কেন এই কাজ করলাম? মোটিভ কি?

পিচ্চি কাল থেকেই অটোমেশন আর স্ক্র্যাপিং নিয়ে এই পর্যন্ত প্রায় ১৫+ বছরের মত কাজ করতেসি। বেশিরভাগ ক্লায়েন্টই মার্কেটপ্লেসের বাইরে থেকে এসেছে আমার লেখালেখি, অপেন সোর্স প্রজেক্টে কাজ করা, স্ট্যাকওভারফ্লো আর ফোরামে একটিভ থাকা সহ্য অন্যান্য কমিউনিটি কন্ট্রিবিউশন থেকে।

মাঝে মাঝেই অনেক বড় বড় কাজ আসার পর দেখা গেল একা না করতে পেরে টিম বিল্ড করা লেগেছে, সেই টিমকে শেখাতে হয়েছে, কারণ স্কিলগুলা কমন কিন্তু আবার আনকমন। শিখাতে গেলে সময় দেয়া লাগে অনেক, ইউটিউবে এটার রিসোর্স ছড়ানো ছিটানো থাকায় আরো ঝামেলা হচ্ছিল বলে নিজেই ব্যাচ করে করে শেখানো শুরু করেছিলাম।

এবার এমন একটা ব্যাচের কোর্স আনার সময় দেখা গেল খুব কমন একটা প্রশ্ন ছিল এই কাজ শিখে ফ্রিল্যান্সিং সেক্টরে কিছু করা যাবে কিনা। আমি বারবার বলেছি ফ্রিল্যান্সিংয়ের জন্য ২ মাসের শর্ট কোর্স করা বুদ্ধিমানের কাজ না, ২ মাসের পর আপনাকে আরো স্টাডি ও প্রিপেরেশন নিতে হবে। আই মিন যে অলরেডি ফ্রিল্যান্সিং পারে, তার জন্য এই শর্ট কোর্স কাজে লাগানো খুবই সহজ ব্যাপার, কিন্তু সেই ধৈর্য কয়জনের আছে?

তো যাই হউক, এগুলো নিয়ে যেহেতু গুছানো কোন তথ্য নাই, নিজেই লিখে ফেললাম। সব মিলিয়ে আপনার ক্যারিয়ারে ডিসিশন নিতে একটু হলেও যদি উপকার হয় তাহলে ভালোই।

এত ডাটা কিভাবে কালেক্ট করলাম?

আপওয়ার্কের ডাটা কালেক্ট করা কিন্তু টার্মসের বাইরের কাজ। অনেক রকম রেস্ট্রিকশনও আছে, এদিক ওদিক হলেই একাউন্ট ব্যানড হয়ে যেতে বাধ্য। কিন্তু এনালাইসিস ও রিসার্চ পারপাসে এই সুযোগ হাতছাড়া করতে চাইলাম না।

নেটওয়ার্ক ট্যাবেই সব রিকুয়েস্টের ডাটা পাওয়া যাচ্ছিল। আস্তে আস্তে কালেক্ট করতেসিলাম।

আমরা এটাকে কয়েক ধাপে কালেক্ট করেছি, কয়েকদিনে ভাগ করে, কয়েকবার করে; যাতে ডাটা যা কালেক্ট করি সেটা কনসিসটেন্ট থাকে। শুরুতে আমরা লগিন না করে ডাটা কালেক্ট করতেসিলাম, যেহেতু একাউন্টে প্রেশার পড়তে পারে। কিন্তু পরে দেখলাম অনেক তথ্য মিসিং যাচ্ছে, বিশেষ করে ক্লায়েন্টের ডাটা।

পরবর্তীতে ব্রাউজারের কনসোল আর নেটওয়ার্ক রিসোর্স প্যানেল ভাল করে ঘেটে সেখানে এজাক্স রিকুয়েস্টগুলোকে ক্যাপচার করা শুরু করি। আর হালকা করে অটোমেট করে পরের পেইজের ডাটা কালেক্ট করা শুরু করি।

আমরা অনেকগুলা কিওয়ার্ড নিয়ে টেস্ট করেছি। কারণ অনেক ক্লায়েন্টই সঠিক কিওয়ার্ড সবসময় বসাতে পারে না। ওয়েব অটোমেশন, স্ক্র্যাপিং, ডাটা স্ক্র্যাপিং, ডাটা মাইনিং সহ বেশ অনেক রকম কিওয়ার্ড দিতে হয়েছিল।

বেশ কয়েকবার করে, ৯০০+ লাইনের কিছু কোড লিখা হয়

এরপর জব পোস্ট গুলোতে বেশ কয়েক ভাগে ভাগ করে কার্সর আর অগম্যান্ট এআই, প্লাস ম্যানুয়াল কিছু পরিশ্রম দিয়ে কিছু স্ক্রিপ্ট লিখলাম এনালাইসিস করার জন্য। বেশ অনেকবার ট্রায়াল এন্ড এররের পর চার্টগুলো পেলাম। অবশ্যই এআই ছাড়াও কাজটা করা যেত, কিন্তু সময় অনেক বেশি চলে যেত।

বর্তমান মার্কেটের অবস্থা

এই মূহর্তে বিভিন্ন কিওয়ার্ডে সার্চ দিয়ে ৫ হাজারের বেশি জব পোস্ট পাওয়া গেল মাত্র ২ সপ্তাহের টাইম রেন্জে। কিছু জব পোস্ট হয়তো রেন্জের বাইরে ছিল, কিন্তু এর পরেও এটা প্রমাণিত যে বর্তমান ইন্ডাস্ট্রিতে ডাটা রিলেটেড কাজের প্রচুর ডিমান্ড। প্রচুর বিজনেসের জন্য ওয়েব অটোমেশন এবং স্ক্র্যাপিং জরুরী একটা কাজ।

প্রতি সপ্তাহে, প্রতিদিন, প্রতি ঘন্টায়, প্রতি মিনিটে নতুন নতুন জব পোস্ট হচ্ছে। মানুষের ডাটা রিলেটেড কাজ বাড়তেসে ঝড়ের গতিতে।

কোথা থেকে জবগুলা পোস্ট করা হচ্ছে?

আমেরিকার মানুষ বেশি বেশি জব পোস্ট করতেসে

কে কোথা থেকে জবগুলো পোস্ট করেছে সেটা একটা মজার বিষয়। প্রায় বিশাল একটা অংশই পোস্ট করা হয়েছিল আমেরিকা থেকে। যদিও আপওয়ার্ক জব পোস্টগুলোতে আমেরিকা আর ইউএসএ আলাদা করে মার্কিং করে রেখেছিল।

প্রায় ১৮০০+ জব পোস্ট ছিল আমেরিকা থেকে। এরপর ইউকে, অস্ট্রেলিয়া, কানাডা ইত্যাদি।

কিন্তু অদ্ভুতভাবে এরপর ছিল ইন্ডিয়া আর পাকিস্তান। ইন্ডিয়া আর পাকিস্তান থেকে বিশাল সংখ্যক জব পোস্ট দেখে একটু অবাক হতেই হয়েছিল।

জিওগ্রাফির সাথে অবশ্যই ফ্রিল্যান্সার আর এম্প্লয়ির নাম্বার, জবের বাজেট সহ অনেক কিছুই কোলারেট করেছে। এগুলো পরে আলোচনা করা হবে।

কখন মার্কেট বেশি গরম থাকে?

সোম মঙ্গলবার বুধবার বেশি চাহিদা থাকে

বেশিরভাগ জব পোস্টের একটিভিটি দেখলে বোঝা যায় জব পোস্টগুলো মঙ্গলবার বেশি একটিভ থাকে। আমাদের দেশের মঙ্গলবার কিন্তু আবার আমেরিকায় সোমবার, এটা মাথায় রাখতে হবে। টাইমজোনের হিসাবে সোমবার শেষের দিকে, মঙ্গলবার শুরুর দিকে প্রচুর জব পোস্ট হয়। আবার শনি আর রবিবার সবচেয়ে কম একটিভিটি থাকে। এই সময়টাতে বিশ্বের বিভিন্ন দেশে নরমাল ছুটি থাকে।

ফ্রিল্যান্সার হতে গেলে নাকি রাত জাগা লাগে? সত্য নাকি?

বাংলাদেশ হিসাব করলে দুপুরের দিকে আসলে জব পোস্ট পাওয়া খুব কঠিন, বিশেষ করে আমেরিকার জব পোস্টগুলো এই সময়ে তেমনটা থাকে না। থাকলে অন্য রিজিওনেরগুলা বেশি থাকে। এরপর সন্ধ্যার দিকে একটিভিটি বাড়তে থাকে, একদম ভোর পর্যন্ত এটা চলতে থাকে।

টিপঃ অনেক ফ্রিল্যান্সার রাত জেগে কাজ করে যার অন্যতম মূল কারণ এই বিশাল সংখ্যক ক্লায়েন্ট রাতের দিকে অনলাইনে থাকে। যদিও কম্পিটিশন ওই সময়েই সবচেয়ে বেশি থাকে, এবং ঠিক মাঝরাতে কাজ না করে সন্ধ্যা কিংবা ভোরের দিকে কাজ শুরু করলে হয়তো একটু কম কম্পিটিশনের কাজগুলোতে এপ্লাই করা যাবে।

ভুয়া ক্লায়েন্ট?

আনভেরিফাইড মানেই ভুয়া না, জাস্ট ভেরিফাই করা বাকি আরকি

প্রায় ১০% এর মত জব পোস্ট আনভেরিফাইড একাউন্ট থেকে পোস্ট করা হয়। এমনকি ভেরিফাই করা একাউন্ট থেকেও যে অনেক পোস্ট করা হয় তা নয়। যেহেতু আপওয়ার্কের কানেক্ট কিনতে টাকা লাগে, সেহেতু ভেরিফাইড ক্লায়েন্ট, বিশেষ করে যার অতীত হিস্টোরি আছে, তাদের জব পোস্টে এপ্লাই করলে রিস্ক কম থাকবে।

কারণ আনভেরিফাইড ক্লায়েন্ট আপনাকে বা আপওয়ার্ককে টাকা না দিলে আপনি কিছুই করতে পারবেন না। শুধু যে নির্দিষ্ট দেশের ক্লায়েন্ট দুই নাম্বারি করে তা না, এমনকি আমেরিকা, কানাডার ক্লায়েন্টও আপনার সাথে দুই নাম্বারি করতে পারে, এটা মাথায় রাখতে হবে।

যদিও আপওয়ার্ক সহ অন্যান্য মার্কেটপ্লেসে স্ক্যাম এড়ানোর জন্য অনেক রকম পদক্ষেপ নিয়েছে; কিন্তু চালাক ক্লায়েন্টগুলা আপনাকে চুঁষে খেতে চাইবে এটাই স্বাভাবিক। মাছ থাকলে টোপ পড়বেই।

কোন ইনডাস্ট্রিতে চাহিদা বেশি?

ওয়েব অটোমেশন আর স্ক্র্যাপিং নিজে বড় একটা সেক্টর না। বরং এটা অনেকগুলা সেক্টরের সাথে জড়িত একটা টপিক। ডাটা সায়েন্স এবং এনালিটিক্সে অটোমেশনের কাজ প্রচুর, এরপর ওয়েব ডেভেলপমেন্ট, ডেভঅপস, টেস্টিং ইত্যাদি। এগুলার মাঝখানে ফিনান্স, হেলথকেয়ার, এইসব সেক্টরে বাজেট তুলনামূলকভাবে বেশি থাকে।

ডাটা সায়েন্সের সাথে অটোমেশনের কি সম্পর্ক? 😕 

ওয়েব স্ক্র্যাপিং মূলত কয়েকটা ইন্ডাস্ট্রিতে বেশি কাজে আসে।

  • ইকমার্স আর রিটেইল, যেখানে আপনাকে মার্কেটের ট্রেন্ড এনালাইসিস, কাস্টমারের বিহ্যাভিওর ট্র্যাকিং করা ইত্যাদি করা হয়।

  • ট্রাভেলস এবং হসপিটালিটি, যেখানে রিয়াল টাইম প্রাইসিং আর কম্পিটিটিভ এনালাইসিসের উপর একটা বিজনেসের এডভেন্টেজ থাকে। যার কম্পিটিশন এনালাইসিস যত ভালো, তার কাস্টমার তত বেশি।

  • রিয়েল এস্টেট, একটা বিশাল জব মার্কেট এই রিয়েল স্টেট, বিশেষ করে জিলো, রিয়েলটর ইত্যাদি টপিকের উপর থাকে। সেখানে মার্কেট এনালাইসিস, ইনভেস্টমেন্টের ডিসিশন, বিভিন্ন সাইড প্রডাক্ট ও মার্কেটিংয়ের কাজ করা হয়।

  • রিক্রুটমেন্ট ও হায়ারিং, এই সেক্টরে জব পোস্টের ডাটা কালেক্ট করা, স্যালারি রেন্জ কালেক্ট করা, রিভিউ কালেক্ট করা, এমনকি টার্গেট ক্যান্ডিডেটকে খুঁজে বের করা আর ব্যাকগ্রাউন্ড চেক করার জন্যও স্ক্র্যাপিং ব্যবহার করা হয়।

  • সেল্স এন্ড মার্কেটিং, এখানে লিড জেনারেশন, প্রসপেক্ট লিস্ট তৈরি, সহ বেশ কিছু কাজে ওয়েব অটোমেশন এবং স্ক্র্যাপিং ব্যবহার করা হয়।

প্রাইসিং মডেল এবং কম্পিটিশন

বেশিরভাগ ফিক্সড প্রাইস জবই ৫০ ডলারের কম বাজেটের ছিল, আর কম খরচে সর্বোচ্চ লেভেলের ডেলিভারেবল চাওয়ার একটা প্যাটার্ন দেখা যায়। কিন্তু এত প্রেশারের পরেও এই জব পোস্টগুলাতেই মানুষ সবচেয়ে বেশি এপ্লাই করেছে। তবে কিছু ফিক্সড প্রাইস জব পোস্টের বাজেট ৫ হাজার ডলারেরও বেশি ছিল, সেগুলোতে কম্পিটিশনও কম ছিল।

আওয়ারলি পজিশনগুলোতে অবস্থা একটু ভিন্ন, বেশিরভাগ আওয়ারলি জব পোস্টে ১০ ডলারের বেশি বাজেট ছিল, আর এভারেজ ২৫-৫০ এর মধ্যে দেখা যাচ্ছিল। কিছু প্রিমিয়াম পজিশন ত ১০০ ডলারের বেশি, এমনকি ২০০ ডলার করেও বাজেট দিয়ে রেখেছিল।

তবে ১০ হাজার ডলারের প্রজেক্টও ছিল, ১ লাখ ডলারেরও।

যেসব প্রজেক্টের বাজেট কম কিংবা হাওয়ারলি রেইট কম, সেগুলোর এপ্লিকেশন বেশি ছিল, বাজেট কম হলে এপ্লিকেশন ত কম হবার কথা, তাইনা? ১ হাজার ডলারের কম বাজেটের প্রজেক্টে কম্পিটিশন সবচেয়ে বেশি ছিল। আসলে কম বাজেটের জব দিয়েই মানুষ শুরু করে, আর কম্পিটিশন বাড়লে কম বাজেটে কাজ অফারের ব্যাপার আরো বড়তে থাকবে এটাই স্বাভাবিক।

২০০ ডলার দিয়ে মানুষ জব পোস্ট করেছে, এপ্লাইও করেছে

একইভাবে কম হাওয়ারলি রেইটের জব পোস্টেও কম্পিটিশন অনেক বেশি ছিল। ৫০ ডলারের বেশি হাওয়ারলি রেইটের জব পোস্টে মানুষ কম এপ্লাই করেছে। হয়তো স্কিল ইস্যু, নাহলে রিজিওনাল ইস্যু, অথবা ক্লায়েন্টের রিকোয়ারমেন্ট অনুযায়ী অভিজ্ঞতার ব্যাপার এখানে কাজ করেছে।

নতুন ও ছোট ক্লায়েন্টে পোস্টে এপ্লিকেশন বেশি। বড় ক্লায়েন্টগুলাকে ধরলেই লাভ।

এছাড়া ক্লায়েন্ট যত বড় এবং পুরাতন, তার ওখানে জব পোস্ট এবং এপ্লিকেশন তত কম। ব্যাপারটা বেশ অদ্ভুত লাগলো। ক্লায়েন্ট যত বড় হবে তার কাজে মানুষ ঝাপিয়ে পড়ার জন্য তত বেশি উদগ্রীব হবে না? ব্যাপার হলো, যত এক্সপেরিয়েন্সড ডেভেলপার হয়, সে তত বড় ক্লায়েন্টকে টার্গেট করে, এতে করে কম্পিটিশন কম থাকে। যদিও সেখান পর্যন্ত খুব কম মানুষই যেতে পারে।

কোন স্কিলের চাহিদা বেশি?

এই জব পোস্ট গুলোতে বেশ কিছু স্কিলের নাম দেয়া ছিল। সবচেয়ে কমন ছিল ডাটা স্ক্র্যাপিং, এরপর ডাটা এন্ট্রি। তারমানে ডাটা স্ক্র্যাপিং আর এন্ট্রি রিলেটেড কাজ। এরপর ছিল লিড জেনারেশন, ডাটা মাইনিং এবং লিস্ট বিল্ডিং। এছাড়া প্রোগ্রামিং ল্যাঙ্গুয়েজ হিসাবে পাইথন এবং জাভাস্ক্রিপ্টের নাম অনেকভাবে এসেছে।

উদাহরণ স্বরূপ, একটা জব পোস্টে ২৫০০ কনটাক্টের ডিটেইলস বের করতে বলেছে।

আপওয়ার্কের একটা টাইপিকাল জব পোস্ট

সেখানে উনি কোম্পানী নাম, লিংকেডইন ইউআরএল এগুলা দিয়ে দিবে, আর আপনার কাজ হবে সেখানে কোম্পানীতে কয়জন কাজ করেছে, কোম্পানীতে এখন কি কেউ হায়ার করতেসে কিনা, করলে কোন কোন রোলে হায়ার করতেসে, এটা কি বিটুবি কোম্পানী নাকি বিটুসি কোম্পানী, কোম্পানী কখনো ফান্ড করা হয়েছে কিনা ইত্যাদি। ২৪ ঘন্টার মধ্যে কাজটা করে জমা দিতে হবে, এবং উনার বাজেট ১৫০ ডলার। এই জব পোস্টে অনেক মানুষ এপ্লাই করেছে। ২০-৫০ জনের মত অলরেডি এপ্লাই করেও ফেলেছে ৪ ঘন্টার মধ্যে। অবশ্যই শুরুতে এপ্লাই করা উচিৎ কম্পিটিশন কমাতে।

তো এই জব পোস্টেই ডাটা স্ক্র্যাপিং, ডাটা এন্ট্রি, ডাটা মাইনিং, লিস্ট বিল্ডিং, ওয়েব স্ক্র্যাপিং, ডাটা এক্সট্রাকশন সহ বেশ কিছু স্কিল সিলেক্ট করা।

তো অটোমেশন আর স্ক্র্যাপিং রিলেটেড কাজ করতে চাইলে কি কি জানা লাগবে?

এটা আসলে লম্বা একা প্রসেস। কিন্তু শুরুটা আপনি হয়তো অলরেডি করে ফেলেছেন। হয়তো আপনি অলরেডি পারেন এবং অটোমেশনের সাথে জড়িত হয়েও গিয়েছেন, কিন্তু বুঝতে পারেন নাই।

১ - এইচটিএমএল, সিএসএস এর বিষয়। আসলেই একটা এইচটিএমএল এর স্ট্রাকচারের মত বেসিক জিনিসের উপর ওয়েব স্ক্র্যাপিং আর অটোমেশনের একটা বিশাল অংশ দাড়িয়ে আছে। কোন রকম এলিমেন্ট কেমন বিহ্যাভ করে তার উপর আপনার স্ক্র্যাপিং স্ট্রাটাজিই চেন্জ করা লাগতে পারে।

২- ডাটা এক্সট্রাকশন টেকনিকঃ সিএসএস সিলেক্টর, এক্সপাথ, এআই এক্সট্রাকশন, প্রম্পট সহ অনেকগুলো বিষয়, এবং সাথে কোন কোন ডাটা পয়েন্ট কালেক্ট করা লাগবে, তা জানতে হবে। ধরেন প্রডাক্ট পেইজের কি কি ডাটা কালেক্ট করা লাগে? টাইটেল, মডেল, প্রাইস, ছবি, ভ্যারিয়েন্ট, স্পেসিফিকেশনস ইত্যাদি, তাইনা?

৩- প্রোগ্রামিং ল্যাঙ্গুয়েজঃ পাইথন খুবই জনপ্রিয়, আপনি পাইথন দিয়ে শুরু করতে পারেন। তবে আমি জাভাস্ক্রিপ্ট পছন্দ করি। কারণ ওয়েবের প্রায় সবই জাভাস্ক্রিপ্টে, আর তখন দুইটা আলাদা ল্যাঙ্গুয়েজ শেখা লাগেনা আরকি।

৪- অটোমেশন আর ক্রলিংঃ বিভিন্ন স্ক্রিপ্ট আর টুলস ব্যবহার করে, ক্রন জব, কিউ সহ অন্যান্য মাধ্যমে কিভাবে সুন্দর করে ওয়েবসাইটগুলা থেকে বিভিন্ন ইউআরএলে যেতে হবে, তা জানা লাগবে।

৫- এরর হ্যান্ডেলিংঃ ডায়নামিক কনটেন্ট, টাইমআউট, এইচটিটিপি এরর, বট প্রটেকশন সহ অনেক জটিল বিষয়ে এরর খাবেন, সেগুলা হ্যান্ডেল করা জানতে হবে।

আপনিই বলেন, আপনি কি জার্নির শুরুতেই এইচটিএমএল, সিএসএস, জাভাস্ক্রিপ্ট এগুলার নাম শুনেছেন না? নাম শুনেছেন মানে আপনি অর্ধেক অলরেডি পারেন, হাহা।

ওয়েট, আমি শুনসি, সাইটের টার্ম ভেঙ্গে ডাটা কালেক্ট করা না হারাম?

কমেন্টটা খুঁজে পাচ্ছি না, কিন্তু এমন ফেসবুকীয় শায়েখদের কমেন্ট প্রায়ই পড়া হয় আজকাল। ☹️ হালাল হারাম ফতোয়া আসলে দেয়ার আগে ত আলেম, মুফতি, ইসলামিক স্কলারদের কাছে যেতে হবে, তাইনা? জাস্ট ফেসবুকে একটা লেখা পড়লাম আর গনহারে রিপ্লাই করা শুরু করলাম তা হলো? এটা ভালো কোন কথা?

যাই হউক, উনাকে কিছু পয়েন্ট ধরিয়ে দিই।

  • এইযে চ্যাটজিপিটি, কো পাইলট, ডিপসিক, জেমিনি, সহ শত শত এআই টুলস, এগুলা ট্রেইনিং করার জন্য এত ডাটা কোথায় পেল? নিশ্চয়ই বিলিয়ন বিলিয়ন ডাটা কেউ ম্যানুয়ালি ইনপুট দেয় নাই। এআই সার্চ ইন্জিন ও ক্রলারগুলা ত একই সিস্টেমেই ডেভেলপ করা হচ্ছে।

  • আপনি যত স্ক্রিনশট আর পিডিএফ, এমনকি এসইও টুলস ব্যবহার করেন; সেগুলো এই ডাটা কোথা থেকে পায়? একটা ওয়েবসাইটের স্ক্রিনশট কালেক্ট করার যে সিস্টেম, সেটাকে অটোমেট আর স্ক্র্যাপিংয়ের ক্ষেত্রেও একই সিস্টেম। কোড একই।

  • আপনি যত লিংক বিল্ডাপ টুলস ব্যবহার করেন, ধরেন এপোলো, রকেটরিচ, সহ যা আছে, এরা এত লিড কোথায় পায়? রিক্রুটাররা মানুষকে রিচ করার জন্য ইমেইল কোথায় পায়, মার্কেটাররা মার্কেট করার ইমেইল ডাটাবেইজ কোথায় পায়? লিড জেনারেশন কাজের অংশে লিড কোথা থেকে আসে? নিশ্চয়ই ওয়েব অটোমেশন এবং স্ক্র্যাপিং এখানে কাজ করে।

  • আপনার ওয়েবসাইটের পারফরমেন্স, বাগ ফিক্সের জন্য ইটুই টেস্টিং সহ যা আছে, এগুলা সবই ত ঘুরে ফিরে একই টুলস আর টেকনিক ব্যবহার করে করা হয়। ওইখানে যাও, এই ফর্ম ফিলাপ করো, এখানে ক্লিক করো, এইত!

তো, আপনি আপনার সাইটের ফাংশনালিটি ঠিক করতেসেন, একটা রিসার্চের কাজ করতেসেন, লিড জেনারেট করতেসেন, বা যাই করতেসেন; জিনিস ত একই শিখতে হবে, অন্য কিছু না। হালাল হারামের প্রশ্নের জন্য কাজের নিয়ত ত সন্দেহযুক্ত হতে হবে, কাজের ক্ষেত্র সন্দেহযুক্ত হতে হবে, কাজের আউটপুট সন্দেহযুক্ত হতে হবে।

বাকিটা আপনারা একজন আলেমের সাথে পরামর্শ করে নিন, অবশ্যই আমাকে জানাবেন আপনি কি জানতে পেরেছেন। আমারও ভুল থাকতে পারে।

সারমর্ম

তো যাই হউক, বোঝা যাচ্ছে ওয়েব অটোমেশন এবং স্ক্র্যাপিং মার্কেট আসলে ছোট না। এটা বিশাল বড় একটা মার্কেট। এখানে কম্পিটিশন দিনকে দিন বেড়েই চলেছে। মাত্র ২ সপ্তাহে ৫ হাজার পাবলিক জব পোস্ট মানে হলো দিনে ৩৫০ এর বেশি জব পোস্ট হয়েছে এই সেক্টরে। তার উপর হাই ভ্যালু আর ভ্যারিফাইড ক্লায়েন্ট পর্যন্ত পৌছাতে পারলে আর কি লাগে? কম্পিটিশন ওখানে নাই বললেই চলে।

ওয়েব অটোমেশন আর স্ক্র্যাপিংয়ের তাবিজ, আই মিন, কোর্সের প্রমোশন করতে গিয়ে রিসার্চ করতে গিয়ে এত ডাটা পাব তা শুরুর আগে জানতাম না। আর এইযে পুরাটা লিখলাম, এটাও কিন্তু একটা রিসার্চের কাজ। দেখেন আমি একটা ডাটা নিয়ে সেটা থেকে একটা পুরো মার্কেট সহ সবার আচরণ এনালাইসিস করে ফেললাম, যাতে করে আমার টার্গেট রেট কত হতে পারে, কখন এপ্লাই করলে ভালো হবে, কি কি শেখা লাগবে না লাগবে, সব বের করা সম্ভব হলো।

আপনাদের কোন কিছু জানার থাকলে রিপ্লাই দিতে পারেন। আর ভালো লাগলে শেয়ার করতে পারেন।

Reply

or to participate.