Индексация сайта
Индексация сайта - это процесс "чтения" вашего сайта роботами поисковых систем с дальнейшим добавлением найденного в базу. Индексироваться могут как тексты, так и картинки находящиеся на сайте, но есть моменты, которые надо учитывать:
1. Для индексирования текста, он должен быть написан — нарисованный на изображении текст умеют распознавать не все поисковые системы. В ряде случаев об этом не стоит забывать, например, нарисованный номер телефона может замедлить присвоение Яндексом региона вашему сайту.
2. Для правильной индексации картинок, определения содержимого, следует добавлять специальные атрибуты alt и tittle.
«ALT» - атрибут тега <IMG>, описывает картинку текстом, который будет виден на экране, только если пользователь отключил просмотр изображений на своём компьютере. Для поисковых систем это существенный фактор, без которого они не могут определить содержание изображения на сайте.
«TITTLE» - атрибут в составе тегов, обеспечивающий подсказку текстом при наведении курсора на картинку. Для поисковых систем является также учитываемым фактором.
ЧПУ картинки — если адрес картинки получен транслитерацией или переводом на английский, поисковик узнает, что на ней изображено.
Ускорение первоначальной индексации сайта
1. Добавление в поисковые системы
Теперь собственно о самой индексации. Для наиболее быстрого ознакомления пользователей с вашим сайтом, поисковую систему можно поторопить!
Яндекс торопят здесь - http://webmaster.yandex.ru/
Гугль здесь - http://google.com/addurl/
Осуществить данное мероприятие можно зайдя по вышеуказанным ссылкам под своим логином.
2.Ускорение индексации ссылками
Ускорить процесс «съедания» поисковиками материалов сайта можно проставив на них ссылки на авторитетных и часто посещаемых ресурсах. Для данной цели неплохо подходит Twitter, также можно использовать новостные порталы.
Индексация новых страниц и изменений
Сайт вряд ли будет в течении долгого времени оставаться неизменным творением. Появятся новые материалы, изменятся старые тексты и обо всём этом хочется сообщать поисковым системам вовремя. Инструментом, который необходим для этого является карта сайта. ( sitemap )
Более подробно о том, что это такое можно прочесть здесь:
http://help.yandex.ru/webmaster/?id=1007070
Запрет индексации страницы или ее части
Иногда на сайте есть информация, которую по разным причинам нужно скрыть от пользователя или поисковых систем. На сайте следует закрывать следующее:
1. служебные файлы и каталоги не предназначенные для просмотра пользователями.
2. полные дубли страниц, если таковые имеются.
3. счётчики статистики сайта также имеет смысл запретить к индексации.
4. повторяющиеся на различных страницах сайта части контента.
Делается это следующим образом:
Закрытие отдельной страницы или её части в Яндексе или Рамблере при помощи тега <nоindex> </nоindex>
Плюсом такого запрета индексации является возможность скрыть часть страницы, минусом несоответствие тега стандартам html. ( тег noindex изобретён Яндексом и соответственно игнорируется Гуглем )
При необходимости сделать код сайта валидным возможно использование тега в следующем формате:
<!--noindex-->текст, индексирование которого нужно запретить<!--/noindex-->
Для запрета индексации в Гугле в тег ссылки которая ведёт на данную страницу надо вставлять атрибут nofollow.
Создание файла robots.txt
Этот файл служит для "указаний" при индексировании сайта различным поисковым системам. Заложенные в него инструкции могут запрещать к индексации определённые разделы и папки сайта.
Об использования роботс можно прочитать, например, здесь:
http://help.yandex.ru/webmaster/?id=996567
Удаление проиндексированных страниц
Если Вы решили удалить какие-либо материалы на своем сайте, то можете сообщить об этом поисковым системам.
В Яндекс — https://webmaster.yandex.ru/delurl.xml
В Гугл — https://www.google.com/webmasters/tools
Также страницы могут быть сами постепенно удалены, если сервер будет выдавать 404 ошибку. Данный процесс займет большее время, так как поисковая система не знает причину 404 ошибки и удалит страницу лишь спустя некоторое время.