وبلاگ

بهینه سازی robot.txt وردپرس برای سئو

بهینه سازی robot.txt وردپرس برای سئو
دیجیتال مارکتینگ / آموزش سئو

بهینه سازی robot.txt وردپرس برای سئو

فهرست مطالب

فایل Robots.txt به موتورهای جستجو می گوید که چگونه می توانند وب سایت شما را جستجو کنند. به همین دلیل بهینه سازی robot.txt آن را به یک ابزار فوق العاده قدرتمند برای سئو تبدیل می کند. در این مقاله ، پیرامون این موضوع صحبت می کنیم که چگونه یک فایل robots.txt بی نقص برای سئو ایجاد کنید.​

پرونده robots.txt چیست؟​

Robots.txt یک فایل متنی است که دارندگان وب سایت می توانند با استفاده از آن برای رباتهای موتور جستجو مشخص می کنند که چگونه در صفحات سایت شما بخزند و مطالب آن را فهرست کنند.

این فایل به طور معمول در پوشه اصلی وب سایت شما ذخیره می شود. قالب اصلی فایل robots.txt به این شکل است:​

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

شما می توانید چندین دستورالعمل داشته باشید تا با استفاده از آن URL های خاص را مجاز یا ممنوع کرده و چند نقشه سایت اضافه کنید. اگر یک URL را مجاز بدانید و ممنوع نکنید، ربات های موتور جستجو تصور می کنند که اجازه دارند آن را بخزند.

بیشتر بخوانید:

سئو چیست؟ چگونه سایت خود را سئو کنیم ؟

در اینجا یک نمونه فایل robots.txt مشاهده می کنید:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

در مثال فوق از فایل robots.txt ، ما به موتورهای جستجو اجازه داده ایم که پرونده ها را در پوشه آپلودهای وردپرس خود جستجو و فهرست کنند. در خطوط دستوری بعدی از اینکه ربات های جستجو وارد پلاگین ها و پوشه های مدیریت وردپرس شوند و بخزند و آن ها را نمایه سازی کنند آن ها را منع کرده ایم.

در نهایت آدرس XML  نقشه سایت را معرفی کرده ایم.

آیا برای سایت وردپرس نیازی به وجود یک پرونده Robots.txt هست؟

اگر در سایت خود فایل robots.txt ندارید ، موتورهای جستجو همچنان وب سایت شما را می خزند و فهرست می کنند. با این وجود ، نمی توانید به موتورهای جستجو بگویید که نباید از کدام صفحات یا پوشه ها بازدید  کنند.

این امر برای اولین باری که یک وبلاگ راه اندازی می کنید و محتوای زیادی ندارید ، تأثیر زیادی نخواهد داشت. با این وجود وقتی وب سایت شما رشد می کند و محتوای زیادی دارید ، پس احتمالاً می خواهید کنترل بهتری بر نحوه خزیدن و نمایه سازی وب سایت خود داشته باشید.

در اینجا چند دلیل ارائه می کنیم. ربات های جستجو برای هر وب سایت سهمیه خزیدن دارند. این بدان معنی است که آنها تعداد مشخصی از صفحات را در یک جلسه بررسی می کنند. اگر آنها خزیدن در تمام صفحات سایت شما را به پایان نرسانند ، آنها دوباره برمی گردند و در جلسه بعدی خزیدن را از سر می گیرند. این می تواند سرعت نمایه سازی وب سایت شما را کاهش دهد.

با جلوگیری از تلاش رباتهای جستجو برای جستجوی صفحات غیرضروری مانند صفحات مدیریت وردپرس ، پرونده های پلاگین و پوشه تم ها ، می توانید این مشکل را برطرف کنید. با عدم اجازه بررسی صفحات غیرضروری ، می توانید سهمیه خزیدن خود را ذخیره کنید. این به موتورهای جستجو کمک می کند تا صفحات بیشتری را در سایت شما جستجو کرده و در اسرع وقت آنها را فهرست بندی کنند.

بیشتر بخوانید:

بک لینک چیست؟ چگونه بک لینک های بیشتری بدست بیاوریم؟

 

دلیل دیگر استفاده از فایل robots.txt زمانی است که می خواهید موتورهای جستجو را از نمایه سازی یک پست یا صفحه در وب سایت خود منع کنید. این امن ترین راه برای مخفی کردن مطالب نیست ، اما به شما کمک می کند تا از نمایش آنها در نتایج جستجو جلوگیری کنید.

فایل Robots.txt ایده آل چگونه به نظر می رسد؟

بسیاری از وبلاگ های معروف از یک پرونده robots.txt بسیار ساده استفاده می کنند. محتوای آنها بسته به نیاز سایت ممکن است متفاوت باشد:​

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این فایل robots.txt به همه ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و پیوندی به نقشه های سایت XML وب سایت برای آنها فراهم می کند.

برای سایت های وردپرسی ، قوانین زیر را در پرونده robots.txt توصیه می کنیم:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

این کد به ربات های جستجو می گوید تا تمام تصاویر و پرونده های وردپرس را فهرست بندی کنند. این کار ربات های جستجو را از نمایه سازی پرونده های افزونه وردپرس ، منطقه مدیر وردپرس ، فایل readme وردپرس و پیوندهای وابسته منع می کند.

با افزودن نقشه سایت به پرونده robots.txt ، جستجوی همه صفحات سایت خود را برای ربات های Google آسان می کنید. حال که دانستید یک فایل ایده آل robots.txt به چه شکل است ، بیایید نگاهی به نحوه ایجاد یک فایل robots.txt در وردپرس بیندازیم.

بیشتر بخوانید:

توضیحات متا چیست؟ تاثیر Meta Description در سئو

چگونه یک فایل Robots.txt در وردپرس ایجاد کنیم؟

برای ایجاد یک فایل robots.txt در وردپرس دو روش وجود دارد. شما می توانید هریک را که برای شما مناسب باشد انتخاب کنید.

بیشتر بخوانید:

ثبت سایت وردپرسی در سرچ کنسول گوگل (Google Search Console)

روش 1: ویرایش فایل Robots.txt با استفاده از افزونه All in One SEO

All in One SEO همچنین به عنوان AIOSEO نیز شناخته می شود. بهترین افزونه SEO WordPress در بازار است که بیش از 2 میلیون وب سایت از آن استفاده می کنند. استفاده از آن آسان است و به همراه یک مولد فایل robots.txt ارائه می شود.

توجه: نسخه رایگان AIOSEO نیز موجود است و از این ویژگی برخوردار است.

پس از نصب و فعال سازی افزونه ، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود به طور مستقیم استفاده کنید. برای ویرایش پرونده robots.txt کافیست به ابزارها سپس نام افزونه بروید.​

بهینه سازی robot.txt

ابتدا باید بر روی  “Enable Custom Robots.txt” کلیک کنید. با روشن کردن این گزینه ، می توانید یک فایل سفارشی robots.txt در وردپرس ایجاد کنید.

All in One SEO پرونده موجود robots.txt شما را در بخش “Robots.txt Preview” در پایین صفحه نمایش نشان می دهد. این نسخه قوانین پیش فرض را که توسط وردپرس اضافه شده است نشان می دهد.

بهینه سازی robot.txt

این قوانین پیش فرض به موتورهای جستجو می گوید که از پرونده های اصلی وردپرس شما استفاده نکنند ، به ربات ها اجازه می دهد تا تمام مطالب را فهرست بندی کنند و پیوندی به نقشه های سایت XML سایت شما فراهم می کند.

اکنون ، می توانید قوانین سفارشی خود را برای بهبود robots.txt برای جستجوگرها اضافه کنید.

برای افزودن یک قانون ، یک عامل کاربری در قسمت “User Agent” وارد کنید. استفاده از a* این قانون را برای همه نمایندگان کاربران اعمال می کند. سپس با استفاده از دستور Allow (اجازه دادن) یا Disallow ( عدم اجازه( ، مشخص کنید موتورهای جستجو اجازه خزیدن در سایت را دارند یا خیر.

سپس ، نام پرونده یا مسیر دایرکتوری را در قسمت “Directory Path” وارد کنید.

این قانون به طور خودکار در فایل robots.txt شما اعمال می شود. برای افزودن قانون دیگر ، دکمه ” Add Rule” را کلیک کنید.

قوانین سفارشی شما به این شکل خواهد بود.

بهینه سازی robot.txt

پس از اتمام کار ، فراموش نکنید که برای ذخیره تغییرات خود بر روی دکمه ” save changes” کلیک کنید.

روش 2. با استفاده از FTP به صورت دستی پرونده Robots.txt را ویرایش کنید

برای این روش ، شما باید از یک سرویس گیرنده FTP برای ویرایش پرونده robots.txt استفاده کنید. به سادگی با استفاده از سرویس گیرنده FTP به حساب میزبانی وردپرس خود متصل شوید. پس از ورود ، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود مشاهده کنید.

روش 2. با استفاده از FTP به صورت دستی پرونده Robots.txt را ویرایش کنید

اگر آن را نمی بینید ، پس احتمالاً پرونده robots.txt ندارید. در این صورت ، می توانید یکی ایجاد کنید.

روش 2. با استفاده از FTP به صورت دستی پرونده Robots.txt را ویرایش کنید

Robots.txt یک فایل متنی ساده است ، به این معنی که می توانید آن را در رایانه خود بارگیری کرده و با استفاده از ویرایشگر متن ساده مانند Notepad یا TextEdit آن را ویرایش کنید.

پس از ذخیره تغییرات ، می توانید دوباره آن را در پوشه اصلی وب سایت خود بارگذاری کنید.

بیشتر بخوانید:

سرپ چیست؟ انواع مختلف SERP را بشناسیم | مفهوم سرپ در سئو

چگونه فایل Robots.txt خود را آزمایش کنیم؟

هنگامی که فایل robots.txt خود را ایجاد کردید ، همیشه بهتر است آن را با استفاده از یک ابزار تستر robots.txt تست کنید. ابزارهای زیادی برای آزمایش robots.txt وجود دارد ، اما توصیه می کنیم از یکی از ابزارهای موجود در کنسول جستجوی گوگل (Google Search Console) استفاده کنید. ابتدا باید وب سایت خود را با Google Search Console پیوند دهید.

سپس ، می توانید از ابزار آزمایش Google Search Console Robots استفاده کنید. تست کننده ویژگی وب سایت robots.txt را انتخاب کنید.

چگونه فایل Robots.txt خود را آزمایش کنیم؟

 به سادگی سایت خود را از لیست کشویی انتخاب کنید. این ابزار به طور خودکار پرونده robots.txt وب سایت شما را واکشی می کند و در صورت یافتن خطاها و هشدارها آن ها را برجسته می کند.

چگونه فایل Robots.txt خود را آزمایش کنیم؟

سخن آخر

هدف از بهینه سازی فایل robots.txt شما جلوگیری از خزیدن موتورهای جستجو در صفحاتی است که در دسترس عموم نیست. به عنوان مثال ، صفحات موجود در پوشه plugins یا صفحات موجود در پوشه مدیر وردپرس.

یک تئوری رایج در بین متخصصان سئو این است که مسدود کردن دسته بندی وردپرس ، برچسب ها و صفحات بایگانی سرعت خزیدن را بهبود می بخشد و منجر به فهرست بندی سریعتر و رتبه بندی بالاتر می شود.

امیدواریم این مقاله به شما کمک کند تا یاد بگیرید چگونه فایل robots.txt وردپرس خود را برای سئو بهینه کنید.

 

 

منبع: https://www.wpbeginner.com/wp-tutorials/how-to-optimize-your-wordpress-robots-txt-for-seo/