سئو سایت با robots و آموزش بهینه سازی با robots.txt

مسائل زیادی در سئو سایت ها نقش حیاتی و کیلیدی ایفا می کنند روبوت یا robots.txt یکی از مهم ترین این موارد هست که نه نیاز به افزونه داره نه پلاگین و برای تمام سیستم های مدیریت محتوا قابل استفاده هست و بودنش نقش حساتی رو ایفا میکنه کارش دقیقا اینو به روبات موتور جستجوگر گوگل میگه کدوم بخش و بازدید کنه کدوم بخش رو نبینه و به کدوم بخش اهمیت بیشتری بده شاید شما یه سری بخش های خصوصی داشته باشید نخواین توی گوگل ایندکس شه robots این کارو براتون انجام میده یا برعکس خوب در ادامه با سایت سئوها همرا باشید تا نحوه ایجاد و تنظیمات robots رو به شما آموزش بدیم و اینکه چگونه با robots میتونید سایتتون رو سئو کنید.

همیت فایل Robots.txt :

نداشتن فایل robots.txt باعث جلوگیری از امدن موتورهای جستجو به داخل سایت شما میشود.به همین دلیل به شما پیشنهاد میکنم که این فایل را ایجاد کنید.

فایل robots.txt کجا است؟ و چگونه یک فایل robots.txt ایجاد کنیم؟

فایل robots.txt معمولا در پوشه root است که با استفاده از پنل مدیریت فایل و یا FTPمیتوانید به ان دسترسی داشته باشید و مانند هر فایل متنی دیگر با یک  ویرایشگر متنی ساده مانند Notepad آن را باز کنید.

برای ایجاد فایل robots.txt در دایرکتوری root سایت کافیست بر روی کامپیوتر خود یک فایل متنی با عنوان robots.txt. ایجاد و ذخیره کنید و آن را در پوشه root سایت خود آپلود کنید.

نحوه استفاده از فایل robots.txt؟

فرمت کلی فایل robots.txt بسیار ساده است. خط اول آن معمولا نام یک عامل کاربری است. عامل کاربری در واقع نام ربات جستجوی شماست که در حال تلاش برای برقراری ارتباط می باشد. به عنوان مثال، گوگل و یا Bingbot که برای دستور دادن به همه رباتها می توانید از علامت *  استفاده کنید.

در خط های بعدی بخش هایی که میخواهید ایندکس شوند و یا قسمت هایی را که نمیخواهید اجازه دهید تاایندکس شوند را مشخص میکنید.

نمونه ای از یک فایل robots.txt :

در مثال بالا در خط دوم به تمامی ربات ها دستور ایندکس کردن تصاویر اپلود شده در دایرکتوری داده شده و در خط های بعدی دستور ایندکس نکردن افزونه ها و فایل های readme را داده ام.

بهینه سازی فایل robots.txt

گوگل به مدیران سایت ها توصیه میکند تا از فایل robots.txt برای مخفی کردن محتوای بی کیفیت استفاده کنند .البته جلوگیری از ایندکس شدن دسته ها، تاریخ، و  آرشیو ها خیلی کار جالبی نیست اما اگر شما بخواهید از ایندکس شدن و یا دنبال شدن آرشیو های خود جلوگیری کنید میتوانید با استفاده از افزونه های وردپرسی این کار را انجام دهید. اما نیازی نیست صفحه ورود، مدیریت دایرکتوری، یا صفحه ثبت نام  را به فایل robots.txt خود اضافه کنید.

به شما توصیه میکنم که اجازه ندهید فایل readme ایندکس شود زیرا اگر کسی بخواهد ورژن وردپرس شما را بداند به راحتی میتواند به آن دسترسی داشته باشد.پس بهتر است که این فایل ایندکس نشود.

از طرف دیگر اگر کسی با ورژن خاصی از وردپرس در حال اجرای پرسجو های مخرب باشد با ایندکس نشدن این فایل از حملات احتمالی این افراد جلوگیری خواهد شد.

همچنین می توانید از ایندکس شدن دایرکتوری افزونه های خود برای امنیت بیشتر جلوگیری کنید. و از حملات افرادی که ممکن است به دنبال پلاگین های خاص آسیب پذیر برای سوء استفاده باشد جلوگیری کنید.

اضافه کردن نقشه XML سایت خود به فایل Robots.txt

اگر شما از پلاگین SEO Yoast  و یا پلاگین های دیگر برای تولید نقشه XML سایت خود استفاده کرده اید به طور خودکار خطوط مربوط به نقشه سایت خود را به فایل robots.txt اضافه کنید.

اما اگر نتوانستید به طور خودکار نقشه سایت خود را اضافه کنید میتوانید به صورت دستی اینکار را انجام دهید.

مانند خطوط زیر:

یک فایل robots.txt ایده آل چگونه باید باشد؟

خیلی از سایت های مشهور از robots.txt های ساده ای استفاده میکنند .

مانند :

مثال زیر نمونه فایل robots.txt  سایت خودمان ( منبع : http://seoha.ir ) می باشد .

در این مقاله به ضرورت فایل robots.txt اشاره کردم و چگونگی ایجاد و بهینه سازی آن را توضیح دادم و همچنین موارد امنیتی که بهتر است رعایت شود را ذکر کردم . امیدوارم که برایتان مفید واقع شود.

در آخر بگم سعی نکنید محدودیت زیادی رو اعمال کنید سعی کنید جوری پایه ریزی کنید که با سایت مپ شما مچ باشه مثلا نیایید توی سایت مپ بگید page هارو بررسی نکنه روبات گوگل و توی robots.txt بگید allow یعنی بررسی کنه.