Наша Реклама
Заказать рекламу
  • Страница 1 из 1
  • 1
Форум » WEB-мастеру » Учебники » Файл robots.txt
Файл robots.txt
Сообщение добавлено: 17.12.2012 в 18:57 | Пост № 1
Дарт_Вейдер
offline
Пользователь
Сообщений: 16
Награды: 0
» 0 «
Очень часто возникает вопрос о том, как правильно настроить этот файл. Открою Вам секрет - он уже настроен автоматически самой системой и его не нужно изменять. Вот так выглядит стандартный файл robots.txt на системе ucoz :

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Sitemap: ВАШ_САЙТ/sitemap.xml
Sitemap: ВАШ_САЙТ/sitemap-forum.xml
Sitemap: ВАШ_САЙТ/sitemap-shop.xml

Отсюда мы можем видеть, что закрыты от индексации все системные регистры, профили, чат, результаты поиска, админка, информеры и другое. Также в этом файле указаны пути к карте самого сайта, форума и магазина. Этот вариант такого файла самый удачный, так как в индекс будет попадать только контент, а не куча ненужного мусора и профили пользователей.

Поэтому, когда Вам говорят, что при оптимизации сайта Вам очень правильно настроят robots.txt, то не верьте, его не нужно настраивать, там изначально все отлично работает.
Просмотреть профиль
Сообщение добавлено: 17.12.2012 в 20:03 | Пост № 2
ZeN
offline
Пользователь
Сообщений: 80
Награды: 0
» 2 «
еще можно так

Code

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Sitemap: http://сайт.ру/sitemap.xml
Sitemap: http://сайт.ру/sitemap-forum.xml

User-agent: Yandex
Host: сайт.ру
Просмотреть профиль
Сообщение добавлено: 17.12.2012 в 21:20 | Пост № 3
Дарт_Вейдер
offline
Пользователь
Сообщений: 16
Награды: 0
» 0 «
Тоже вариант :)
Просмотреть профиль
Форум » WEB-мастеру » Учебники » Файл robots.txt
  • Страница 1 из 1
  • 1
Поиск: