محدود کردن موتورهای جستجو

تاریخ مقاله: 1394/9/4

محدود کردن موتورهای جستجو

محدود کردن موتورهاي جستجو بوسيله robots.txt
فايل robots.txt يک فايل متني است و به موتورهاي جستجو اين پيام را مي دهد که اجازه دسترسي به کدام قسمت وب سايت شما براي جستجو شدن را دارند . اين فايل که robots.txt نام دارد در ريشه يا root سايت شما قرار داده مي شود .
شايد شما به هر دليل نخواهيد صفحه اي از سايت شما جستجو شود ( شايد آن صفحه در صورت جستجو شدن توسط موتورهاي جستجو براي کاربران قابل استفاده نباشد ) .

اگر شما مي خواهيد که مانع جستجو شدن صفحه وب سايت خود توسط جستجو گران شويد google webmaster tools به شما کمک خواهد کرد يک فايل robots.txt را با استفاده از ابزار robots.txtgenerator براي وب سايت خود بسازيد .
به ياد داشته باشيد اگر سايت شما از زير دامنه ها استفاده مي کند و شما مي خواهيد که يک صفحه خاص از يک زير دامنه جستجو نشود شما بايد فايل rrobots.txt جداگانه اي براي زير دامنه خود ايجاد کنيد.
براي اطلاعات بيشتر در مورد robots.txt ما به شما پيشنهاد مي کنيم از راهنماي webmaster help در مورد نحوه استفاده از robots.txt استفاده کنيد.
راه هاي دستي ديگري نيز براي جلوگيري نمايش محتوا در نتايج جستجو وجود دارد مانند افزودن ربات هاي متا تگ noindex و . httaccess براي مراقبت از رمز عبور دايرکتوري ها و استفاده از google webmaster tools براي پاک کردن اطلاعاتي که قبلا جستجو شده است .

•    وقتي که مطالب حساس ومحرمانه را بوسيله Robot.txt مسدود کرديد شما نبايد احساس راحتي کنيد. اين به اين علت است که اگر اين url ها به جايي در اينترنت لينک شود ( مانند لاگ هاي ارجاعي) موتورهاي جستجو حتي با توجه به مسدود شدن url ها مي تواند به آنها مراجعه کند ( نمايش url ، بدون عنوان و يا نمونه ها ).
•    موتورهاي جستجوي نا موافق و سرکش که از استاندارد هاي ربات ها پيروي نمي کند مي توانند از ساختار robots.txt سر پيچي کنند و تمامي مسير ها را بررسي کنند .
•    يک کاربر کنجکاو مي تواند با امتحان کردن دايرکتوريها مسير فايل robots.txt و آدرس هايي را که شما نمي خواهيد ديده شوند را حدس بزند .
رمزنگاري کردن محتوا و يا استفاده از مراقبت رمز عبور به وسيله .htaccess از راه هاي چاره هستند که در آموزشهاي بعدي بهينه سازي سايت مطالب بيشتري در مورد آنها گفته خواهد شد.

از انجام دادن موارد زير اجتناب کنيد :
•    اجازه دهيد نتيجه جستجو مثل صفحات جستجو شوند و در صفحه نتايج جستجو ظاهر شوند
مخاطبان و جستجو گران دوست ندارند از يک صفحه جستجو به صفحه جستجوي ديگري بروند
•    ايجاد لينک هاي مطالب و کلماتي که توسط جستجوگران جستجو شده است به صورت خودکار