صفحه اصلی - جوان سرور

آموزش بهینه ساختن فایل robots.txt وردپرس

در ابتدای کار توضیحی در مورد این فایل به شما داده میشود تا بیشتر با آن آشنا شوید :

فایل robots.txt در وردپرس، نقش مهمی در سئو و رتبه بندی موتور جستجو دارد. این فایل به شما کمک می کند که از ایندکس کردن و خزیدن رباتهای موتور جستجو در بخش هایی از سایت خود جلوگیری کنید . هر چند، گاهی اوقات ممکن است پیکربندی اشتباه فایل robots.txt  سایت شما را کاملا از دسترس موتورهای جستجو خارج کند . بنابراین، این مهم است که پس از انجام تغییرات ، فایل robots.txt به خوبی بهینه سازی شود و دسترسی به بخش مهم سایت شما را مسدود نکند.

آموزش بهینه سازی فایل robots.txt وردپرس

ااشتباهات بسیاری در رابطه با ایندکس شدن یا نشدن محتوا در robots.txt صورت میگیرد که در ادامه بهآن میپردازیم.

SEO شامل صدها عنصر است و یکی از بخش های مهم آن فایل robots.txt می باشد. این فایل متنی کوچک که در روت وب سایت شما قرار دارد، می تواند به بهینه سازی وب سایت شما کمک کند. بسیاری از وب مستر ها تمایل دارند که از ویرایش فایل robots.txt جلوگیری کنند اما این کار سختی نیست و با دانستن نکات مهم و پایه میتوان این فایل را ایجاد و ویرایش کرد.

الزامات استفاده از فایل robots.txt

فایل robots.txt کمک می کند تا ربات موتور جستجو به صفحاتی که باید ایندکس کند هدایت شود. هنگامی که ربات یا اسپایدر موتور جستجو برای ایندکس صفحات به سایت شما وارد میشود ابتدا به دنبال فایل robots.txt میگردد و مسیر این فایل را برای ایندکس کردن صفحات وب سایت شما دنبال خواهد کرد .

اگر از وردپرس استفاده میکنید ، فایل robots.txt را میتوانید در روت وردپرس خود بیابید . در وب سایت های استاتیک، اگر این فایل توسط شما یا برنامه نویس وب سایت تان ایجاد شده باشد، آن را در پوشه روت خود پیدا خواهید کرد. در غیر اینصورت میتوانید با استفاده از notepad به سادگی یک فایل ایجاد کرده و با نام  robots.txt آن را ذخیره کنید . سپس این فایل را با استفاده از FTP به دایرکتوری روت دامنه خود ارسال کنید.

آموزش بهینه سازی فایل robots.txt وردپرس

آموزش بهینه سازی فایل robots.txt

ایجاد فایل robots.txt

همانطور که قبلا ذکر شد، robots.txt به طور کلی نام یک فایل متنی است. بنابراین، اگر  این فایل را در وب سایت خود نداشته باشید، با استفاده از ویرایشگر متن مورد نظر خود (به عنوان مثال: notepad ) آن را با یک یا چند رکورد ایجاد کنید. هر رکورد حاوی اطلاعات مهمی برای موتور جستجو است. به عنوان مثال:

1- User-agent: googlebot
2- Disallow: /cgi-bin

اگر این خط در فایل robots.txt  نوشته شود ، اجازه می دهد ربات گوگل همه صفحات سایت شما را به جز پوشه cgi-bin در دایرکتوری روت ایندکس کند. این بدان معناست که ربات گوگل ، پوشه cgi-bin را ایندکس نخواهد کرد . با استفاده از گزینه Disallow شما می توانید هر ربات و یا اسپایدر موتور جستجو را برای ایندکس کردن هر صفحه یا پوشه محدود کنید. سایت های بسیاری هستند که این فایل را به گونه ای تنظیم میکنند که پوشه Archive و یا صفحاتی که حاوی محتوای تکراری هستند ایندکس نشوند.

وارد کردن نام ربات موتور جستجو :

اگر می خواهید بازدید کنندگان زیادی از موتورهای جستجو داشته باشید، باید به هر ربات جستجو اجازه دهید صفحات سایت شما رو ایندکس کنند. مطابق مثال زیر با قرار دادن مقدار * برای User-agent  به هر ربات جستجو اجازه ایندکس صفحات را خواهید داد :

1- User-agent: 
2- Disallow: /cgi-bin

نکات مهم :

  1. در فایل robots.txt از comment استفاده نکنید.
  2. در ابتدای هر خط و یا بین حروف هر کلمه خط فاصله قرار ندهید، در صورت کوچک ترین تغییرات فایل مشکل دار میشود. به عنوان مثال:

غلط 

 1-  User-agent: *
2- Dis allow: /support

صحیح

1- User-agent: *
2- Disallow: /support

  1. قواعد و ترتیب دستورات را تغییر ندهید:

غلط

1- Disallow: /support
2- User-agent: *

صحیح

User-agent: *
1- User-agent: *
2- Disallow: /support
  1. اگر می خواهید چند پوشه توسط موتور های جستجو ایندکس نشود، آنها را به صورت پشت سر هم قرار ندهید :

غلط

1- User-agent: *
2- Disallow: /support /cgi-bin /images/

صحیح

1- User-agent: *
2- Disallow: /support
3- Disallow: /cgi-bin
4- Disallow: /images
  1. از حروف بزرگ وکوچک به درستی استفاده کنید، به عنوان مثال شما می خواهید دایرکتوری “Download” ایندکس نشود و در فایل robots.txt آن را به صورت “download” می نویسید، این باعث اشتباه ربات موتور جستجو خواهد شد.
  2. اگر می خواهید تمام صفحات و دایرکتوری سایت شما ایندکس شوند ، رکوردهای زیر را قرار دهید :
1- User-agent: *
2- Disallow:

  1. اما اگر می خواهید هیچ یک از صفحات و دایرکتوری سایت شما ایندکس نشوند ، رکوردهای زیر را قرار دهید :
1- User-agent: *
2- Disallow:/

پس از ویرایش ،از طریق FTP ،فایل robots.txt  را در روت یا صفحه اصلی دایرکتوری سایت خود آپلود کنید.

فایل robots.txt برای وردپرس :

شما می توانید فایل robots.txt وردپرس خود را با ورود به اکانت FTP سرور ویرایش کنید و یا در داشبورد وردپرس از پلاگین هایی مانندRobots meta برای ویرایش این فایل استفاده کنید. موارد دیگری هم وجود دارند که به همراه آدرس sitemap باید در فایل robots.txt اضافه شوند. اضافه کردن آدرس sitemap کمک می کند تا موتور جستجو برای پیدا کردن آن در سایت شما و ایندکس کردن صفحات سریع تر عمل کند.

در اینجا یک فایل robots.txt نمونه را مشاهده میکنید:

آموزش بهینه ساختن فایل robots.txt وردپرس

 

سایر آموزش ها
به راهنمایی بیشتری نیاز دارید؟‌ با ما در تماس باشید 66950028-021
logo-enamad