راهنمای کامل وردپرس robots.txt

برای اطمینان از اینکه سایت شما در صفحات نتایج موتورهای جستجو (SERP) رتبه بالایی دارد، باید ربات های موتورهای جستجو را آسان کنید تا مهمترین صفحات آن را بررسی کنند. داشتن یک ساختار خوب robots.txt فایل در محل به هدایت آن ربات‌ها به صفحاتی که می‌خواهید ایندکس شوند کمک می‌کند (و از بقیه جلوگیری می‌کند).

در این مقاله قصد داریم به موارد زیر بپردازیم:

1. چه robots.txt فایل است، و چرا مهم است
2. جایی که وردپرس robots.txt فایل قرار دارد.
3. روش ایجاد یک robots.txt فایل.
4. چه قوانینی را باید در وردپرس خود لحاظ کنید robots.txt فایل.
5. روش تست کردن robots.txt را فایل کنید و به کنسول جستجوی گوگل ارسال کنید.

در پایان بحث ما، همه چیزهایی را که برای پیکربندی کامل نیاز دارید، خواهید داشت robots.txt فایل برای وب سایت وردپرس شما. بیایید شیرجه بزنیم!

چه وردپرسی robots.txt فایل است (و چرا به یکی نیاز دارید)

هنگامی که یک وب سایت جدید ایجاد می کنید، موتورهای جستجو ارسال می کنند مینیون ها (یا ربات های آنها) برای “خزیدن” در آن و ایجاد نقشه از تمام صفحات موجود در آن. به این ترتیب، وقتی کسی کلمات کلیدی مرتبط را جستجو می‌کند، می‌دانند چه صفحاتی را به عنوان نتیجه نمایش دهند. در سطح پایه، این به اندازه کافی ساده است.

مشکل این است که وب سایت های مدرن حاوی زیاد عناصر بیشتر از صفحات. وردپرس شما را قادر می سازد تا پلاگین هایی را نصب کنید، به عنوان مثال، که اغلب با دایرکتوری های خود ارائه می شوند. با این حال، نمی خواهید این موارد در نتایج موتور جستجوی شما نشان داده شوند، زیرا محتوای مرتبطی ندارند.

چه robots.txt فایل انجام می دهد مجموعه ای از دستورالعمل ها را برای ربات های موتور جستجو ارائه می دهد. به آنها می گوید: “هی، شما می توانید اینجا را نگاه کنید، اما به آن اتاق ها آن طرف نروید!” این فایل می تواند به همان اندازه که شما می خواهید دقیق باشد، و ایجاد آن نسبتاً آسان است، حتی اگر یک جادوگر فنی نباشید.

در عمل، موتورهای جستجو همچنان وب سایت شما را می خزند، حتی اگر شما یک وب سایت نداشته باشید robots.txt تنظیم فایل با این حال، ایجاد نکردن یکی ناکارآمد است. بدون این فایل، ایندکس کردن تمام محتوای شما را به ربات‌ها واگذار می‌کنید، و آن‌قدر دقیق هستند که ممکن است قسمت‌هایی از وب‌سایت شما را نشان دهند که نمی‌خواهید افراد دیگر به آن دسترسی داشته باشند.

مهمتر از آن، بدون یک robots.txt فایل، شما تعداد زیادی ربات در سرتاسر وب سایت شما خواهید داشت. این می تواند بر عملکرد آن تأثیر منفی بگذارد. حتی اگر ضربه ناچیز باشد، page سرعت چیزی است که همیشه باید در بالای لیست اولویت های شما باشد. به هر حال، چیزهای کمی وجود دارد که مردم به اندازه وب سایت های کند از آن متنفرند.

جایی که فایل WordPress robots.txt در آن قرار دارد

هنگامی که یک وب سایت وردپرس ایجاد می کنید، به طور خودکار یک وب سایت مجازی راه اندازی می کند robots.txt فایلی که در پوشه اصلی سرور شما قرار دارد. به عنوان مثال، اگر سایت شما در yourfakewebsite.com، باید بتوانید به آدرس مراجعه کنید yourfakewebsite.com/robots.txt، و مشاهده کنید که فایلی مانند این بالا آمده است:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

این یک نمونه از موارد بسیار اساسی است robots.txt فایل. به بیان انسانی، قسمت درست بعد از آن عامل کاربر: اعلام می کند که قوانین زیر برای کدام ربات ها اعمال می شود. ستاره به این معنی است که قوانین جهانی هستند و برای همه ربات ها اعمال می شوند. در این حالت، فایل به آن ربات‌ها می‌گوید که نمی‌توانند وارد شما شوند wp-admin و wp-شامل دایرکتوری ها این تا حدی منطقی است زیرا آن دو پوشه حاوی فایل های حساس زیادی هستند.

با این حال، ممکن است بخواهید قوانین بیشتری را به فایل خود اضافه کنید. قبل از اینکه بتوانید این کار را انجام دهید، باید درک کنید که این یک است مجازی فایل. معمولا وردپرس robots.txt مکان در داخل شماست root دایرکتوری که اغلب نامیده می شود public_html یا www (یا به نام وب سایت شما نامگذاری شده است):

با این حال robots.txt فایلی که وردپرس برای شما تنظیم می کند به طور پیش فرض اصلاً از هیچ دایرکتوری قابل دسترسی نیست. کار می کند، اما اگر می خواهید تغییراتی در آن ایجاد کنید، باید خود را ایجاد کنید فایل و در سایت خود آپلود کنید root پوشه به عنوان جایگزین

ما چندین روش برای ایجاد یک جدید را پوشش خواهیم داد robots.txt برای وردپرس در یک دقیقه با این حال، در حال حاضر، بیایید در مورد چگونگی تعیین اینکه قوانین شما باید شامل چه قوانینی باشد صحبت کنیم.

چه قوانینی را در وردپرس خود بگنجانید robots.txt فایل

در بخش آخر، نمونه ای از وردپرس تولید شده را مشاهده کردید robots.txt فایل. این فقط شامل دو قانون کوتاه بود، اما بیشتر وب سایت ها بیشتر از آن را راه اندازی می کنند. بیایید نگاهی به دو متفاوت بیندازیم robots.txt فایل ها، و در مورد کارهایی که هر کدام به طور متفاوت انجام می دهند صحبت کنید.

این اولین وردپرس ما است robots.txt مثال:

User-agent: *
Allow: /
# Disallowed Sub-Directories
Disallow: /checkout/
Disallow: /images/
Disallow: /forum/

این یک ژنریک است robots.txt فایل برای یک وب سایت با یک انجمن. موتورهای جستجو اغلب هر موضوع را در یک انجمن فهرست می کنند. بسته به روی انجمن شما برای چیست، با این حال، ممکن است بخواهید آن را مجاز نکنید. به این ترتیب، گوگل صدها موضوع را در مورد کاربرانی که صحبت های کوچک می کنند فهرست نمی کند. همچنین می‌توانید قوانینی را تنظیم کنید که نشان‌دهنده فروم‌های فرعی خاصی است که باید از آنها اجتناب کنید، و به موتورهای جستجو اجازه دهید بقیه آنها را بخزند.

همچنین متوجه خطی خواهید شد که نوشته شده است اجازه: / در بالای فایل این خط به ربات‌ها می‌گوید که می‌توانند در تمام صفحات وب‌سایت شما بخزند، به غیر از استثناهایی که در زیر تعیین کرده‌اید. به همین ترتیب، متوجه خواهید شد که ما این قوانین را به عنوان جهانی بودن (با ستاره)، درست مانند مجازی وردپرس تنظیم کرده ایم. robots.txt فایل انجام می دهد.

حالا بیایید وردپرس دیگری را بررسی کنیم robots.txt مثال:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: Bingbot
Disallow: /

در این فایل، همان قوانینی را که وردپرس به صورت پیش فرض انجام می دهد، تنظیم می کنیم. با این حال، ما همچنین مجموعه جدیدی از قوانین را اضافه کردیم که مسدود می کنند ربات جستجوی بینگ از خزیدن در وب سایت ما. همانطور که ممکن است تصور کنید Bingbot نام آن ربات است.

شما می‌توانید در مورد اینکه کدام ربات‌های موتور جستجو به وب‌سایت شما دسترسی دارند و کدام‌ها دسترسی ندارند، کاملاً مشخص باشید. در عمل، البته، Bingbot بسیار خوش خیم است (حتی اگر به خوبی Googlebot نباشد). با این حال، وجود دارد هستند برخی از ربات های مخرب وجود دارد.

خبر بد این است که آنها همیشه از دستورالعمل های شما پیروی نمی کنند robots.txt فایل (به هر حال آنها شورشی هستند). شایان ذکر است که در حالی که اکثر ربات‌ها از دستورالعمل‌هایی که در این فایل ارائه می‌دهید پیروی می‌کنند، شما اجبار کردن آنها این کار را انجام دهند. فقط قشنگ میپرسی

اگر بخوانید روی با توجه به موضوع، پیشنهادات زیادی برای اینکه چه چیزی مجاز باشد و چه چیزی مسدود شود، پیدا خواهید کرد روی وب سایت وردپرس شما با این حال، در تجربه ما، قوانین کمتر اغلب بهتر هستند. در اینجا نمونه ای از مواردی است که برای اولین بار به شما توصیه می کنیم robots.txt فایل باید به شکل زیر باشد:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

به طور سنتی، وردپرس دوست دارد دسترسی به آن را مسدود کند wp-admin و wp-شامل دایرکتوری ها با این حال، این دیگر نیست بهترین عمل محسوب می شود. به علاوه، اگر متادیتا را برای اهداف بهینه سازی موتور جستجو (SEO) به تصاویر خود اضافه کنید، منطقی نیست که ربات ها را از خزیدن آن اطلاعات منع کنید. در عوض، دو قانون فوق آنچه را که اکثر سایت‌های اساسی نیاز دارند، پوشش می‌دهند.

آنچه شما در خود گنجانده اید robots.txt فایل بستگی دارد روی با این حال، سایت و نیازهای خاص شما. پس با خیال راحت بیشتر تحقیق کنید روی مال خودت

چگونه یک وردپرس بسازیم robots.txt فایل (3 روش)

زمانی که تصمیم گرفتید چه چیزی در شما خواهد بود robots.txt تنها چیزی که باقی می ماند ایجاد یک فایل است. می توانید ویرایش کنید robots.txt در وردپرس یا با استفاده از افزونه یا به صورت دستی. در این بخش، روش استفاده از دو افزونه محبوب برای انجام کار را به شما آموزش می دهیم و در مورد روش ایجاد و آپلود فایل صحبت می کنیم. روی مال خودت بیایید به آن برسیم!

1. از Yoast SEO استفاده کنید

Yoast SEO به سختی نیاز به معرفی دارد این محبوب ترین افزونه سئو برای وردپرس است و به شما امکان می دهد پست ها و صفحات خود را برای استفاده بهتر از کلمات کلیدی خود بهینه کنید. جدای از آن، در مورد افزایش خوانایی محتوایتان نیز به شما کمک می کند، به این معنی که افراد بیشتری می توانند از آن لذت ببرند.

ما شخصاً به دلیل سهولت استفاده از Yoast SEO طرفداران آن هستیم. این به همان اندازه برای ایجاد یک صدق می کند robots.txt فایل. پس از نصب و فعال سازی افزونه، به آن بروید SEO -> ابزار را در داشبورد خود قرار داده و به دنبال گزینه ای بگردید که می گوید ویرایشگر فایل:

کلیک کردن روی آن لینک شما را به یک لینک جدید می فرستد page، جایی که می توانید خود را ویرایش کنید htaccess بدون خروج از داشبورد خود فایل کنید. همچنین یک دکمه مفید وجود دارد که می خواند فایل robots.txt ایجاد کنید، که دقیقاً همان چیزی است که شما انتظار دارید:

یکبار کلیک کنید روی با این دکمه، تب ویرایشگر جدیدی را نشان می دهد که می توانید ویرایشگر خود را تغییر دهید robots.txt فایل مستقیم به خاطر داشته باشید که Yoast SEO قوانین پیش فرض خود را تنظیم می کند که مجازی موجود شما را نادیده می گیرد robots.txt فایل.

هر زمان که قوانینی را اضافه یا حذف می کنید، به یاد داشته باشید که کلیک کنید روی را تغییرات را در robots.txt ذخیره کنید را فشار دهید، بنابراین آنها باقی می مانند:

به اندازه کافی آسان است! حالا بیایید ببینیم که چگونه پلاگین محبوب دیگری همین کار را انجام می دهد.

2. از طریق پلاگین All in One SEO Pack

همه در یک بسته سئو در مورد سئو وردپرس نام بزرگ دیگری است. این شامل بیشتر ویژگی‌هایی است که Yoast SEO انجام می‌دهد، اما برخی افراد آن را ترجیح می‌دهند زیرا این افزونه سبک‌تر است. تا آنجایی که robots.txt ایجاد فایل با این افزونه نیز به همین سادگی است.

پس از تنظیم افزونه، به آن بروید All in One SEO > Feature Manager page در داشبورد شما در داخل، گزینه ای به نام پیدا خواهید کرد Robots.txt، با نمایان فعال کنید دکمه درست زیر آن برو جلو و کلیک کن روی که:

در حال حاضر، یک جدید Robots.txt تب در زیر شما نشان داده خواهد شد همه در یک سئو منو. اگر کلیک کنید روی در آن، گزینه هایی برای افزودن قوانین جدید به فایل خود، ذخیره تغییراتی که ایجاد می کنید یا به طور کلی حذف می کنید، مشاهده خواهید کرد:

توجه داشته باشید که نمی توانید تغییراتی در خود ایجاد کنید robots.txt مستقیما با استفاده از این افزونه فایل کنید. بر خلاف Yoast SEO که به شما امکان می دهد هر آنچه را که می خواهید تایپ کنید، خود فایل خاکستری است:

در هر صورت، اضافه کردن قوانین جدید ساده است، بنابراین اجازه ندهید که این ضعف کوچک شما را دلسرد کند. مهمتر از همه، All in One SEO Pack همچنین دارای ویژگی است که می تواند به شما کمک کند ربات های بد را مسدود کنید، که می توانید از طریق سایت خود به آنها دسترسی داشته باشید. همه در یک سئو برگه:

اگر از این روش استفاده می کنید، این تنها کاری است که باید انجام دهید. با این حال، بیایید در مورد روش ایجاد یک صحبت کنیم robots.txt اگر نمی خواهید یک پلاگین اضافی را فقط برای مراقبت از این کار تنظیم کنید، به صورت دستی فایل کنید.

3. وردپرس خود را ایجاد و آپلود کنید robots.txt فایل از طریق FTP

ایجاد یک txt فایل نمی تواند ساده تر باشد. تنها کاری که باید انجام دهید این است که ویرایشگر متن مورد علاقه خود (مانند Notepad یا TextEdit) را باز کرده و در چند خط تایپ کنید. سپس می توانید فایل را با هر نامی که می خواهید ذخیره کنید txt نوع فایل. انجام این کار به معنای واقعی کلمه چند ثانیه طول می کشد، بنابراین منطقی است که بخواهید ویرایش کنید robots.txt در وردپرس بدون استفاده از افزونه

در اینجا یک مثال سریع از یکی از این فایل ها آورده شده است:

برای اهداف این آموزش، ما این فایل را مستقیماً در رایانه خود ذخیره کردیم. هنگامی که فایل خود را ایجاد و ذخیره کردید، باید به وب سایت خود متصل شوید از طریق FTP. اگر مطمئن نیستید که چگونه این کار را انجام دهید، ما راهنمای انجام این کار را با استفاده از مشتری مبتدی FileZilla داریم.

هنگامی که به سایت خود متصل شدید، به آن بروید public_html پوشه سپس، تنها کاری که باید انجام دهید این است که آن را آپلود کنید robots.txt فایل را از رایانه به سرور خود منتقل کنید. شما می توانید این کار را با کلیک راست انجام دهید روی فایل را با استفاده از ناوبر محلی کلاینت FTP خود، یا با کشیدن و رها کردن آن در محل:

فقط چند ثانیه طول می کشد تا فایل آپلود شود. همانطور که می بینید، این روش تقریباً به سادگی استفاده از یک افزونه است.

چگونه فایل robots.txt وردپرس خود را آزمایش کرده و آن را به کنسول جستجوی گوگل ارسال کنید

هنگامی که فایل robots.txt وردپرس شما ایجاد و آپلود شد، می توانید از آن استفاده کنید کنسول جستجوی گوگل برای تست خطا کنسول جستجو مجموعه‌ای از ابزارهایی است که Google ارائه می‌کند تا به شما کمک کند چگونه محتوای خود را در نتایج جستجوی آن مشاهده کنید. یکی از این ابزارها a robots.txt جستجوگر، که می توانید با ورود به سیستم خود از آن استفاده کنید console و پیمایش به robots.txt تستر برگه:

در داخل، یک فیلد ویرایشگر پیدا خواهید کرد که در آن می توانید وردپرس خود را اضافه کنید robots.txt کد فایل و کلیک کنید روی را ارسال دکمه درست زیر کنسول جستجوی گوگل از شما می پرسد که آیا می خواهید از آن کد جدید استفاده کنید یا فایل را از وب سایت خود بیرون بکشید. کلیک روی گزینه ای که می گوید از گوگل بخواهید به روز رسانی کند برای ارسال دستی:

اکنون پلتفرم فایل شما را از نظر خطا بررسی می کند. در صورت وجود، آنها را برای شما مشخص می کند. با این حال، شما بیش از یک وردپرس را دیده اید robots.txt به عنوان مثال در حال حاضر، بنابراین احتمال اینکه مال شما عالی باشد، زیاد است!

نتیجه

به منظور افزایش در معرض دید سایت خود، باید مطمئن شوید که ربات های موتور جستجو مرتبط ترین اطلاعات را می خزند. همانطور که دیدیم، یک وردپرس به خوبی پیکربندی شده است robots.txt فایل به شما امکان می دهد دقیقا روش تعامل آن ربات ها با سایت شما را دیکته کنید. به این ترتیب، آنها می توانند محتوای مرتبط و مفیدتری را به جستجوگران ارائه دهند.

آیا در مورد روش ویرایش سوالی دارید؟ robots.txt در وردپرس؟ در بخش نظرات زیر به ما اطلاع دهید!

سوالات متداول وردپرس robots.txt

در اینجا چند سوال متداول در مورد WordPress robots.txt وجود دارد.