برچسب: ایندکس گوگل

robots.txt Tester

همان طور که گفته شد (Crawl گوگل سرچ کنسول (بخش دوم))، فایل robots.txt یکفایل متنی است که در ریشه سایت قرار که در ریشه سایت قرار می گیرد و توسط آن امکان تعریف برخی قوانین برای ربات های موتور جستجو وجود دارد.