آموزش جامع فایل robots.txt و بهینه سازی فایل وردپرس robots.txt

%d9%86%d8%ad%d9%88%d9%87-%d8%a7%db%8c%d9%86%d8%af%da%a9%d8%b3-%d8%aa%d9%88%d8%b3%d8%b7-%d9%85%d9%88%d8%aa%d9%88%d8%b1-%d8%ac%d8%b3%d8%aa%d8%ac%d9%88
این مقاله را با دوستان‌تان به اشتراک بگذارید

 فایل robots.txt چیست؟

فایل robots.txt فایلی است که توسط وب مستران و مدیران سایت برای راهنمایی موتورهای جستجو نظیر گوگل و بینگ استفاده می‌شود. این سایت به گوگل و سایر موتورهای جستجو می‌گوید که چطور محتوای سایت را پیمایش و ذخیره کنند.

همچنین این فایل مشخص می‌کند که گوگل و سایر موتورهای جستجو می‌توانند یک صفحه را ذخیره کنند و یا خیر. به صورت کلی دو عمل برای موتورهای جستجو وجود دارد. Allow و disallow که به ترتیب مشخص کننده اجازه دادن و اجازه ندادن است.

فرمت کلی این فایل به صورت زیر است:

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

این ۲ خط یک دستور کامل را مشخص می‌کنند. به تعداد دلخواه می‌توان از این ۲ خطی‌ها در کنار هم داشت و برای هر بخش از سایت به موتورهای جستجو اجازه دسترسی و یا عدم دسترسی داد.

فایل robots.txt در کجا قرار می‌گیرد و چگونه توسط موتور جستجو مورد دسترسی قرار می‌گیرد؟

این فایل باید در پوشه‌ی اصلی سایت شما قرار گیرد و به صورت زیر قابل دسترسی باشد.

https://learn-marketing.ir/robots.txt

محتوای فایل robots.txt برای سایت ما به صورت زیر است:

User-agent: *

Disallow: /wp-content/plugins/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://learn-marketing.ir/sitemap_index.xml

با توجه به اینکه سایت ما با استفاده از وردپرس طراحی و پیاده‌سازی شده است، بخش افزونه‌ها در آدرس wp-content/plugins قرار دارد و این خط به موتور جستجو می‌گوید که به این بخش‌ها دسترسی نداشته باشد.

نکته‌ی بسیار مهم: این فایل صرفاً یک راهنما از طرف سایت به گوگل و سایر موتورهای جستجو است و هیچ تضمینی را در قبال ذخیره شدن یا نشدن بخش‌هایی از سایت نمی‌دهد. گوگل و سایر موتورهای جستجو می‌توانند به راحتی این فایل را نادیده بگیرند و هر کاری که می‌خواهند انجام دهند 🙂

کمی توضیح درباره فایل robots.txt و چند نمونه مثال از آن:

در ادامه می‌خواهیم چند نمونه از این فایل را به همراه توضیحات ذکر کنیم. نمونه فایل زیر را در نظر بگیرید:

نمونه ۱):

User-agent: *

Disallow: /

در بخش user-agent عبارت * نوشته شده است که به معنای همه و تمامی می‌باشد و در بخش disallow عبارت / نوشته شده است که به معنای آدرس پایه و ابتدایی سایت می‌باشد.

در مجموع این فایل به گوگل و موتورهای جستجو می‌گوید که اجازه‌ی ذخیره‌سازی هیچ بخشی از سایت را ندارند.

نمونه ۲):

محتوای زیر را در نظر بگیرید.

User-agent: *

Disallow:

مشابه مورد قبلی در بخش user-agent از عبارت * استفاده شده است که به معنای تمامی و همه می‌باشد و با توجه به این که در بخش disallow چیزی نوشته نشده است، این فایل به گوگل اجازه می‌دهد که تمامی محتوای سایت را مورد بررسی و ذخیره سازی قرار دهد.

نمونه ۳):

فایل زیر را در نظر بگیرید.

User-agent: Googlebot

Disallow: /wp-admin/

در این فایل بر خلاف فایل‌های نمونه ۱ و ۲ که از * در بخش user-agent استفاده شده بود، نام یک ربات خاص یعنی googlebot ذکر شده است. بنابراین این فایل فقط به موتور جستجوی گوگل دستور می‌دهد (به عنوان چند مثال دیگر از user-agent می‌توان به Baiduspider، msnbot، yahoobot اشاره کرد).

در بخش disallow آدرس یک زیردامنه قرار داده شده است. بنابراین این فایل به گوگل می‌گوید که به آدرس‌هایی که با wp-admin شروع می‌شوند، دسترسی نداشته باشد.

نمونه ۴):

فایل زیر را در نظر بگیرید:

User-agent: Bingbot

Disallow: /suburl/not-access-page.html

مشابه نمونه ۳ این فایل فقط برای یک موتور جستجو یعنی bing نوشته شده است و فقط یک صفحه‌ی خاص را ممنوعه اعلام کرده است.

چند نکته مهم درباره فایل robots.txt:

۱) همان‌طور که گفته شد، این فایل باید در پوشه‌ی اصلی سایت و به آدرس زیر قابل دسترسی باشد.

http://your-site-url.ir/robots.txt

۲) نام فایل حساس به حروف کوچک و بزرگ است و دقیقاً باید به صورت robots.txt نوشته شود (و نه Robots.txt)

۳) داشتن فایل robots.txt به این معنا نیست که گوگل و سایر موتورهای جستجو نمی‌توانند محتوای سایت شما را بخوانند. این فایل صرفاً یک راهنما به آن‌هاست. آن‌ها می‌توانند به دستورات نوشته شده در آن عمل کنند و یا نکنند.

۴) خیلی خوب است که همیشه در انتهای فایل robots.txt آدرس سایت مپ خود را ذکر کنید. برای مثال در سایت مپ سایت خود ما، آدرس سایت مپ به انتهای فایل اضافه شده است.

Sitemap: https://learn-marketing.ir/sitemap_index.xml

۵) اگر زیر دامنه هایی دارید، به ازای هر زیر دامنه باید یک فایل جداگانه robots.txt داشته باشید. برای مثال اگر بخش مقالات خود را به صورت blog.site.ir قرار داده اید، لازم است که برای این سایت یک robots.txt جداگانه داشته باشید.

در ادامه در مورد روش‌های بهینه سازی فایل robots.txt برای وردپرس صحبت خواهیم کرد.

بهینه سازی فایل robots.txt برای وردپرس:

بخش بسیاری از سایت‌های داخلی با استفاده از وردپرس طراحی و پیاده‌سازی شده‌اند و بنابراین در این‌جا قصد داریم که مواردی را که باید در بهینه سازی این فایل در وردپرس رعایت کنید را برای شما توضیح دهیم.

۱) اضافه کردن سایت مپ یا نقشه‌ی سایت به فایل robots.txt

همان‌طور که قبلاً اشاره شد بهتر است که آدرس نقشه‌ی سایت خود را به انتهای فایل robots.txt اضافه کنید. با استفاده از افزونه هایی نظیر Yoast یا All in one SEO می‌توانید نقشه‌ی سایت خود را تولید کنید.

پس از تولید نقشه سایت، آدرس فایل سایت مپ را به صورت زیر در فایل robots.txt اضافه کنید.

Sitemap: https://learn-marketing.ir/sitemap_index.xml

۲) حذف فولدر افزونه ها در robots.txt

بهتر است پوشه‌ی افزونه ها یعنی plugins و همچنین فایل robots.txt را که به صورت پیش‌فرض در وردپرس وجود دارد را به صورت disallow در robots.txt خود اضافه کنید.

فرمت لازم برای انجام این کار به صورت زیر است:

Disallow: /wp-content/plugins/

Disallow: /readme.html

۳) نیازی به بلاک کردن آدرس wp-admin نیست

خیلی از افراد فکر می‌کنند که باید آدرس /wp-admin/ را در فایل robots.txt ببندند تا گوگل و سایر موتورهای جستجو به صفحات ادمین سایت شان، دسترسی نداشته باشند اما نیازی به این کار نیست.

خود وردپرس از مکانیزم خیلی بهتری برای بستن دسترسی موتورهای جستجو به بخش ادمین استفاده می‌کند که بسیار مطمئن و امن است و بنابراین نیازی به بلاک کردن آدرس wp-admin در فایل robots.txt نیست.

عضویت در خبرنامه آکادمی

با عضویت در خبرنامه هر شنبه به صورت صد در صد رایگان آخرین و داغ‌ترین مباحث روز بازاریابی را در ایمیل خود دریافت کنید.

envelope-o
این مقاله را با دوستان‌تان به اشتراک بگذارید

دریافت رایگان کتاب ۷ مزیت میلرلایت
 بر سایر سیستم های ایمیل مارکتینگ

کتاب رایگان ۷ اصل اساسی برای برندسازی

کتاب ۷ اصل اساسی برای برندسازی

برندسازی تنها راه افزایش قطعی فروش و درآمد شماست. داشتن چهره‌ای متفاوت از سایر رقباست که باعث می‌شود نسبت به دیگران ترجیح داده شوید.

همین الان این کتاب را به رایگان در ایمیل خود دریافت کنید

x