Crawl گوگل سرچ کنسول (بخش دوم)

robots.txt Tester

همان طور که گفته شد (Crawl گوگل سرچ کنسول (بخش دوم))، فایل robots.txt یکفایل متنی است که در ریشه سایت قرار که در ریشه سایت قرار می گیرد و توسط آن امکان تعریف برخی قوانین برای ربات های موتور جستجو وجود دارد. در نتیجه این فایل باید به صورت example.com/robots.txt در دسترس باشد. توسط ابزار robots.txt Tester این امکان وجود دارد که علاوه بر رویت فایل robots.txt سایت، بتوانید بررسی کنید که گوگل بات به کدام فایلها یا مسیرها دسترسی دارد یا خیر.

برای این کار آدرس مورد نظر را در فیلد مربوطه نوشته و پس انتخاب User-agent از منوی آبشاری،روی دکمه TEST کلیک کنید. اگر گوگل بات به آدرس مورد نظر شما دسترسی داشته باشد، عبارتALLOWED به رنگ سبز به شما نمایش داده می شود و اگر بر اساس نوشته های robots.txt گوگل بات به آدرس مد نظر شما دسترسی نداشته باشد، عبارت BLOCKED به رنگ قرمز نمایش داده می شود و آن خط از نوشته robots.txt که باعث بلاک شدن گوگل بات شده نیز به رنگ قرمز در می آید تا شما متوجه علت عدم دسترسی گوگل بات به آدرس مورد نظرتان بشوید.

همچنین می توانید به صورت دستی در صفحه robots.txt Tester قوانین مد نظرتان را بنویسید و تست کنید. البته دقت داشته باشید که اعمال تغییرات در robots.txt به معنای اعمال تغییرات در فایل اصلی که روی سرور قرار دارد نیست و صرفا کاربرد آزمایش و بررسی دارد. با کلیک روی عبارت See live robots.txt می توانید فایل اصلی را مشاهده کنید.

Sitemaps

در قسمتSitemaps سرچ کنسول می توانید همه نقشه های سایتتان را به گوگل ارائه کنید تا گوگل بات بتواند از طریق آن سریع تر و با دقت بالاتر به کراول صفحات سایت بپردازد. اگر نقشه سایت بر طبق دستورالعملهای گوگل وبمستر ایجاد شده باشد می تواند تا حد زیادی به ایندکس شدن صفحات سایت کمک کند ولی اگ به  عنوان نمونه تاریخ last modified صفحه را آپدیت نکند، می تواند باعث سردرگمی موتور جستجو شده و در روند ایندکس شدن صفحات تاثیر منفی بگذارد. جهت ارائه نقشه سایت در سرچ کنسول در صفحه Sitemaps ابتدا روی دکمه به رنگ قرمزADD/TEST SITEMAP کلیک کنید، سپس آدرس سایت را در فیلد مربوطه وارد کرده و روی دکمه Test کلیک کنید.

اگر نقشه سایت دارای ایراد اساسی باشد، در این مرحله در صفحه نتیجه تست نقشه سایت به شما پیغامی مبنی بر وجود ارور در نقشه سایت نمایش داده می شود ولی اگر نقشه سایت مشکل ساختاری نداشته باشد، در صفحه نتیجه تست نقشه سایت به شما نشان داده خواهد شد که چند آدرس در نقشه ای که جهت تست به سرچ کنسول ارائه کرده بودید وجود داشت. سپس همین مرحله را تکرار کرده و این بار به جای دکمه Test روی دکمه Submit کلیک کنید تا نقشه سایت شما در صف بررسی قرار بگیرد. پس از بررسی نقشه سایت توسط گوگل، مشابه تصویر زیر به شما اطلاع داده می شود که همواره چند آدرس در نقشه سایت شما موجود است و گوگل چند آدرس را ایندکس کرده است:

Submit نقشه سایت

همان طور که در تصویر بالا مشاهده می کنید، در ستون Submitted  که در هر نقشه سایت چه تعداد از آن URL ها ایندکس شده اند. در صورتیکه نقشه سایتی که Submit کرده اید با ایراد مواجه شود، در ستون Issues می توانید تعداد اخطارها را مشاهده کرده و با کلیک بر روی آن از جزئیات ایراد مطلع شوید.

جهت ثبت نقشه سایت در سرچ کنسول جدید نیز ابتدا وارد صفحه Sitemaps شوید و طبق تصویر زیر، آدرس نقشه سایت مورد نظرتان را وارد کرده و روی دکمه SUBMIT  کلیک کنید.

دکمه TESTدر سرچ کنسول جدید وجود ندارد و در هنگام Submit کردن نقشه سایت در صورتیکه ایرادی وجود داشته باشد به شما اطلاع داده می شود. هم در سرچ کنسول جدید و هم در سرچ کنسول قدیمی می توانید همه نقشه های سایتتان را به گوگل ارائه کنید.
گزارش نقشه های سایت ارائه شده در سرچ کنسول جدید به شکل زیر به شما نمایش داده می شوند و شما می توانید با کلیک بر روی هر کدام از جزئیات گزارش مطلع شوید.

سرچ کنسول جدید جزئیات زیادی را در مورد نقشه سایت ارائه می دهد که لازم است که سئو کاران با دقت آنها را بررسی کنند.

URL Parameters

به صورت کلی URL Parameter ها پارامترهایی هستند که بعد از علامت سوال در آدرس URL وجود دارند. به عنوان نمونه در آدرس زیر، پارامتر brand یک پارامتر URL است که مقدار آن برابر با sony است.

example.com/tv?brand=sony

پارامتر های URL کاربردهای مختلفی مانند پارامتر فیلتر، جستجو، مرتب سازی، صفحه بندی و Session ID دارند. موتور جستجوی گوگل می تواند بیشتر پارامترهای URL را تشخیص دهد ولی این امکان نیز در سرچ کنسول وجود دارد که برای درک بهتر گوگل بات از پارامترهای URL بتوانید کاربرد هر پارامتر را به صورت جداگانه برای گوگل بات تعریف کنید.

صفحه URL Parameters

در صورتیکه پارامترهای URL سایت توسط گوگل بات شناسایی شده باشند، می توانید آنها در صفحه URL Parameters در سرچ کنسول مشاهده کنید و در صورت نیاز آنها را ویرایش کنید. و اگر پارامتر URL دارید که هنوز وسط گوگل بات شناسایی نشده باشد، می توانید آن را به صورت دستی تعریف کنید. البته به این نکته توجه داشته باشید که در صورتیکه هیج پارامتری را تعریف نکنید، گوگل بات توسط هوش مصنوعی در مورد ایندکس کردن و یا ایندکس نکردن آدرسهایی که حاوی آن پارامتر هستند تصمیم می گیرد. ولی اگر تعریف پارامتر به درستی انجام نشود، ممکن است به خارج شدن صفحه از ایندکس گوگل یا de-index شدن صفحه نیز بینجامد. بنابراین هنگامی به تعریف پارامتر URL بپردازید که از نحوه انجام آن اطلاع کافی داشته باشید.

جهت ویرایش پارامترهایی که گوگل بات آنها را شناسایی کرده و یا خودتان قبلا آن را تعریف کرده اید >رویEdit/Reset کلیک کنید.

جهت تعریف پارامتر جدید بر روی دکمه Add parameter کلیک کنید. سپس مانند تصویر زیر، در پنجره ای که باز می شود در فیلد Parameter، نام پارامتر URL مد نظرتان را بنویسید.

دقت کنید که این فیلد به حروف کوچک و بزرگ حساس است.
سپس در صورتیکه پارامتر مورد نظر تغییری در صفحه ایجاد نمی کند (مانند Session ID)، از منوی آبشاری گزینه No را انتخاب و اگر پارامتر URL تغییری در صفحه ایجاد می کند (مانند صفحه بندی، فیلتر، مرتب سازی) گزینه Yes را انتخاب نمایید.

اگر گزینه No را انتخاب کرده باشید، روی دکمه save کلیک کنید تا تعریف پارامتر به اتمام برسد ولی اگر گزینه Yes را انتخاب کرده باشید، همانند تصویر زیر باید از منوی آبشاری بعدی، از بین گزینه هایPaginates ،Translates ،  Specifies ،Narrows ،Sorts و Other گزینه مناسب را انتخاب کنید.

کاربرد گزینه های منوی آبشاری

کاربرد گزینه های منوی آبشاری موجود در تصویر بالا بدین شرح است:

• Sorts: پارامترهایی که جهت مرتب سازی صفحه استفاده می شوند، مانند مرتب سازی بر اساس حروف الفبا، تاریخ، گرانتر به ارزانتر، جدید به قدیم و غیره مانند sort=date
• Narrows: پارامترهایی که محتوای صفحه را فیلتر و محدود می کنند مانند پارامتر URL برای فیلتر محصولات بر اساس برند، موجود بودن کالا، ابعاد و غیره مانند size=large
• Specifies: پارامتر URL که مجموعه ای از محتوا را تعیین می کند. مانند store=Women
• Translates: پارامتر URL که جهت نمایش صفحه به زبان دیگر استفاده می شود مانند lang=en
• Paginates: پارامتر URL که برای صفحه بندی استفاده می شود مانند 01=page
• Other: اگر تغییری که پارامتر URL در صفحه ایجاد می کند به غیر از موارد بالا است، گزینه Other را انتخاب نمایید.

در ادامه باید همانند تصویر زیر برای گوگل بات مشخص کنید که آدرسهایی که با پارامتر تعریف شده وجود دارند را کراول بکند یا خیر. گزینه Let Googlebot decide به صورت پیشفرض انتخاب شده است. اگر در انتخاب گزینه ها اطمینان کافی ندارید، این گزینه را انتخاب کنید که در نتیجه آن، گوگل او در مورد کراول یا عدم کراول صفحه تصمیم گیری کند.

اگر می خواهید که گوگل بات همه آدرس های حاوی پارامتر مورد نظر شما را کراول کند، گزینه Every Up و اگر قصد دارید گوگل بات آنها را کراول نکند، گزینه No URLs را انتخاب نمایید.

گزینه Only URLs with value

اگر قصد دارید که فقط آدرسهایی با پارامتر مورد نظر شما و مقدار مشخص توسط گوگل بات کراول شوند، گزینه Only URLs with value را انتخاب کرده و از منوی آبشاری، مقدار مورد نظرتان را انتخاب کنید. این گزینه در صورتی قابل انتخاب کردن است که دارای پارامتر URL با مقدار مورد نظر شما هستند قبلا توسط گوگل بات شناسایی شده باشند.

پس از تعریف URL Parameter مختلف، در هر لحظه می توانید آنها را مشاهده، ویرایش و یا حذف نمایید.

مطلب قبلی: Crawl گوگل سرچ کنسول (بخش اول)

مطلب بعدی: Security Issues در گوگل سرچ کنسول