Robot.txt হলো সেই ফাইল যা গুগল কে বলে দিবে আপনার সাইটের কোন পেইজ বা ফাইলকে রিড করতে পারবে কি পারবেনা।
এটাই আপনার সাইটকে googlebot এর crawling এ overloading request হতে বাঁচায়।
Search Engine এর bot always আপনার সাইটের robot.txt follow করে সাইট রিড করতে আসে। বিশেষ করে গুগল।
মনে রাখবেন, একটা সাইটের জন্য একটা robot.txt হবে। যদি আপনার সাইট ভিন্ন ভিন্ন language এ ভিন্ন sub domain এ হয়, তাহলে প্রতিটার জন্য আলাদা robot.txt file হবে।
যদি আপনি Rank math or Yoast use করেন তাহলে, auto setting করা থাকে।
না বুঝে কোন সেটিং পরিবর্তন করবেন না।
For English Audience
Robot.txt is the file that tells Google whether it can read any page or file on your site.
This saves your site from overloading Googlebot’s crawling requests.
The search Engine’s bot always follows your site’s robot.txt to read your site. Especially Google.
Remember, there will be one robot.txt for one site. If your site is in different subdomains in different languages, there will be separate robot.txt files for each.
If you use Rank math or Yoast, the auto setting is set.
Do not change any setting without understanding.
One of the Top SEO Consultants In Bangladesh. In 7 years of my career, I have worked with more than 80 brands & uncountable love from my SEO clients. To provide SEO service I have an in-house SEO team.
