Управление роботами с помощью директив robots.txt и другими средствами
Зачем нам необходимо управлять поведением поискового робота на сайте? Для того чтобы управлять содержимым индекса поисковых систем относительно собственного сайта. Например, мы не хотим чтобы некоторые страницы с конфиденциальной информацией попали на всеобщее обозрение и могли быть найдены по каким-либо поисковым запросам. Тогда мы можем просто закрыть от индексации отдельную страницу директивами, которые знают все поисковые системы в Интернете, но есть нюанс… Все директивы вы знать не можете чтобы исключить индексацию всеми поисковиками. Тогда вам просто необходимо указать, что сайт может индексироваться только, например, Яндексом или Гуглом, и уже только для этих двух поисковиков создавать файл robots.txt с директивами, управляющими их поведением на сайте.
В этом файле Вы можете прописать правила, по которым роботы смогут индексировать сайт, но чтобы управлять индексацией содержания страниц, необходимо соответствующие правила прописывать уже непосредственно на страницах, что можно делать массово (знают вебмастера) либо вручную на отдельных страницах.
Вы читали: Управление роботами с помощью директив robots.txt и другими средствами
Рекламная ссылка: ринопластика.
Статьи компании за 2010 год...
01.2010, 02.2010, 03.2010, 04.2010, 05.2010, 07-08.2010, 09-10.2010
О сайте
Проект ginon – это информационный Интернет источник . На страницах Вы сможете найти информацию российских и зарубежных поисковых системах, узнать самые горячие новости интернета: какими новинками разработчики будут радовать нас, теорию и практику раскрутки сайтов.
Тематика SEO- продвижение, раскрутка оптимизация обширна и интересна, учитывая пожелания.
Тематика новостей разбита в хоотичном порядке так что читатели вам немного придеться поискать.
В СЕО-новостях и юзабилити (usability) как всегда присутствуют и сообщения монстры рекламных агентств, так что вы можете узнать много полезного