Публікації блогу Міки > Рубрика: Для Сайту - моя бібліотека > "Як вірно використовувати файл robots.txt для заборони індексування файлів та папок"


Як вірно використовувати файл robots.txt для заборони індексування файлів та папок


10 Червень 2010 00:00:00


В цій публікації мова йтиме про закриття доступу пошуковим ботам до тих розділів сайту, які непотрібно індексувати. Найпростіше це зробити за допомогою файлику robots.txt, який слід розмістити в корені серверу.

В цей файл можна вносити декілька параметрів. Перший з них - User-agent, який вказує на те, якому саме пошуковому боту бажаєте перекрити доступ на індексацію каталогів та сторінок сайтику.

Якщо Ви хочете заборонити індексацію одночасно всім пошуковим ботам, то запишіть в це поле зірочку (*)

Наступний параметр Disallow, він вказує, які саме файли та папки непотрібно індексувати.

Наприклад, Ви бажаєте заборонити пошуковику доступ до папки з картинками, скриптами, тимчасовими файлами, а також з файлами сторінок-помилок.

Це виглядатиме так:

User-agent: *

Disallow: /error404.php

Disallow: /error500.php

Disallow: /img/

Disallow: /cgi-bin/

Disallow: /temp/


Таким чином ми заборонили пошуковим ботам індексувати деякі сторінки та розділи сайту.

Створюється такий файл robots.txt в звичайному блокноті, потім копіюється в корінь сервера за допомогою FTP клієнта обов'язково в режимі ASCII (сучасні FTP клієнти роблять це в автоматичному режимі).


Назви найпопулярніших ботів в УАНЕТІ:



Google - Googlebot
Яндекс - Yandex
Рамблер - StackRambler
MSN – msnbot

Користуйтесь на здоров'я! :)

Оригінал

Автор: Переклад - Міка
Кількість переглядів: 808

Рейтинг: Рейтинг
Ваша оцінка:
1
2
3
4
5






Коментарів ще нема

  • X
    Ваше ім'я:

    Ваш E-mail:
    Ваш коментар:

    Ми хочемо знати, що Ви не робот. Будь ласка введіть суму цифрами:
    Сімсот Сімдесять Сім