ওয়েব স্পিডিং এবং ওয়েব ক্রলারের সংজ্ঞা

মাকড়সা প্রোগ্রামগুলি (বা স্বয়ংক্রিয় স্ক্রিপ্ট) যা ওয়েবে অনুসন্ধানের জন্য ওয়েবের মাধ্যমে 'ক্রল' করে। মাকড়সা ওয়েবসাইট ইউআরএল মাধ্যমে ভ্রমণ এবং ইমেল ঠিকানা মত ওয়েব পেজ থেকে তথ্য টানতে পারেন। মাকড়সা এছাড়াও সার্চ ইঞ্জিনে ওয়েবসাইটে পাওয়া তথ্য ফিড ব্যবহার করা হয়।

মাকড়সা, যা 'ওয়েব ক্রলার' নামেও পরিচিত, ওয়েবে অনুসন্ধান করে এবং তাদের অভিপ্রায় সব বন্ধুত্বপূর্ণ নয়।

স্প্যামার স্পাইডার ওয়েবসাইট তথ্য সংগ্রহ

গুগল, ইয়াহু! এবং অন্যান্য সার্চ ইঞ্জিনগুলি শুধুমাত্র ওয়েবসাইটগুলি ক্রলিংয়ে আগ্রহী নয় - তাই স্ক্যামার এবং স্প্যামারগুলি রয়েছে।

মাকড়সা এবং অন্যান্য স্বয়ংক্রিয় সরঞ্জামগুলি স্প্যামারদের ওয়েবসাইটগুলিতে ইমেল ঠিকানাগুলি খুঁজতে (ইন্টারনেটে এই অনুশীলনটি প্রায়শই 'ফসল কাটার' হিসাবে উল্লেখ করা হয়) ব্যবহার করে এবং স্প্যাম তালিকা তৈরি করতে তাদের ব্যবহার করে।

মাকড়সা এছাড়াও আপনার ওয়েবসাইট সম্পর্কে আরও তথ্যের জন্য অনুসন্ধান ইঞ্জিন ব্যবহার করে একটি সরঞ্জাম ব্যবহার করা হয় তবে আপনার সাইটটি ক্রল করতে কীভাবে নির্দেশাবলী ছাড়াই একটি ওয়েবসাইট (বা 'অনুমতি') ছাড়াই একটি ওয়েবসাইট অবহিত করা যায়, এটি গুরুত্বপূর্ণ তথ্য সুরক্ষা ঝুঁকিগুলি উপস্থাপন করতে পারে। মাকড়সা লিঙ্ক অনুসরণ করে ভ্রমণ, এবং তারা ডাটাবেস, প্রোগ্রাম ফাইল, এবং অন্যান্য তথ্য লিঙ্ক আপনি খুঁজে পেতে চান না তাদের লিঙ্ক খুঁজে পেতে খুব অভিভূত।

ওয়েবমাস্টাররা কি স্পাইডার এবং অন্যান্য রোবট তাদের সাইট পরিদর্শন করেছেন দেখতে লগ দেখতে পারেন। এই তথ্য ওয়েবমাস্টারদের কে তাদের সাইট indexing হয়, এবং কত ঘন ঘন জানতে সাহায্য করে।

এই তথ্যটি দরকারী কারণ এটি ওয়েবমাস্টারগুলিকে তাদের এসইও সুরক্ষিত করতে এবং রোবট.txt ফাইলগুলিকে আপডেট করতে সহায়তা করে যাতে নির্দিষ্ট রোবটগুলি ভবিষ্যতে তাদের সাইটে ক্রল করা থেকে নিষিদ্ধ হয়।

অবাঞ্ছিত রোবট ক্রলার থেকে আপনার ওয়েবসাইট রক্ষা করার টিপস

আপনার ওয়েবসাইট থেকে অবাঞ্ছিত ক্রলারদের রাখা একটি মোটামুটি সহজ উপায়। এমনকি যদি আপনি আপনার সাইটের ক্রাউল করা দূষিত মাকড়সাগুলির বিষয়ে উদ্বিগ্ন না হন তবেও (আপনার ইমেল ঠিকানাটি সর্বাধিক ক্রলার থেকে আপনাকে রক্ষা করবে না), আপনাকে এখনও গুরুত্বপূর্ণ নির্দেশাবলীর সাথে অনুসন্ধান ইঞ্জিন সরবরাহ করতে হবে।

সমস্ত ওয়েবসাইটগুলিতে একটি ফাইল থাকতে হবে যা রুট ডিরেক্টরিতে অবস্থিত একটি robots.txt ফাইল নামে পরিচিত। এই ফাইলটি আপনাকে ওয়েব ক্রলারদের নির্দেশ দিতে দেয় যেখানে আপনি তাদের সূচী পৃষ্ঠাগুলিতে দেখতে চান (যদি না অন্য কোন নির্দিষ্ট পৃষ্ঠার মেটা ডেটা কোন সূচী না থাকে তবে) এটি যদি কোনও সার্চ ইঞ্জিন হয়।

যেমন আপনি বলতে পারেন যে ক্রলারগুলি যেখানে আপনি ব্রাউজ করতে চান সেখানেই আপনি চান যে তারা কোথায় যাবে না এবং এমনকি আপনার সমগ্র ওয়েবসাইট থেকে নির্দিষ্ট ক্রলারগুলিকে ব্লক করতে পারে।

এটি মনে রাখা গুরুত্বপূর্ণ যে রোবট.txt ফাইলটি একসঙ্গে রাখলে সার্চ ইঞ্জিনগুলির জন্য অসাধারণ মূল্য থাকবে এবং আপনার ওয়েবসাইটের কর্মক্ষমতা উন্নত করতেও এটি একটি মূল উপাদান হতে পারে তবে কিছু রোবট ক্রলার এখনও আপনার নির্দেশাবলী উপেক্ষা করবে। এই কারণে, আপনার সমস্ত সফ্টওয়্যার, প্লাগইন এবং অ্যাপ্লিকেশনগুলি সর্বদা আপ টু ডেট রাখতে গুরুত্বপূর্ণ।

সম্পর্কিত নিবন্ধ এবং তথ্য

তথ্য সংগ্রহের ব্যাপকতার কারণে অপ্রতিরোধ্য (স্প্যাম) উদ্দেশ্যে ব্যবহার করা হয়, ২003 সালে আইনটি কিছু অভ্যাস অবৈধ করার জন্য পাস করা হয়েছিল। এই ভোক্তা সুরক্ষা আইন ২003 সালের ক্যান-স্প্যাম আইনের অধীনে পড়ে।

আপনার ব্যবসায় কোনও ভর মেলিং বা তথ্য সংগ্রহের সাথে জড়িত থাকলে CAN-SPAM আইনটি পড়তে সময় লাগবে।

আপনি এন্টি স্প্যাম আইন এবং স্প্যামারগুলির সাথে কীভাবে মোকাবিলা করতে পারেন এবং নিম্নলিখিত নিবন্ধগুলি পড়ার মাধ্যমে আপনি কীভাবে একজন ব্যবসায়ীর মালিক হিসাবে কাজ করতে পারেন তা সম্পর্কে আরো জানতে পারেন:

• ক্যান-স্প্যাম আইন ২003
• অলাভজনক জন্য ক্যান স্প্যাম আইন বিধি
• 5 ক্যান-স্প্যাম নিয়ম ছোট ব্যবসা মালিকদের বোঝার প্রয়োজন