Как поисковые системы оценивают сайты?

У поисковых систем примерно те же функции, что и упрограммных агентов, известных как боты, пауки или кроулеры, они посещают страницу, собирают контент и сохраняют его в поискоых хранилищах данных. Как только информация  попадает в репозиторий – она индексируется. Процессы обхода и индексирования постоянные и непрерывные. Каждой из основных поисковых систем поддерживаются несколько программ-обходчиков, которые работают постоянно, чтобы освежить индексы. Пауки находят новые страницы, используя различные методы, как правило, в том числе и карты сайтов в формате XML, URL-адреса также индексируются, как и ссылки на страницы, обнаруженные во время индексации и URL-адреса переданные пользователями. Они меняются в зависимости от того, как часто посещают определенный сайт, и как глубоко проникают в сайт при каждом визите.

Когда пользователь заходит в поисковую систему и запускает поиск, поисковая машина добывает список страниц, которые имеют отношение к запросу, а затем отображает список страниц для пользователя. Вывод на странице результатов поиска определяется по собственным критериям каждой поисковой системы. Методика рейтинга, которую использует каждый двигатель, является результатом секретного поискового алгоритма. Поисковая система, поисковый робот в первую очередь заинтересованы в определенных типах информации на странице, в частности, URL, текст и ссылки на странице. Форматирование не индексируется. Изображения и другие медиа-индексируются большинством поисковых систем, но в разной степени глубины. Некоторые типы носителей, такие как флэш или прикрепленные файлы, редко индексируются, хотя бывают исключения.

 

Увидеть то, что видит паук

Если вы имеете учетну запись Google для веб-мастеров, вы можете увидеть веб-страницы точно так же, как Googlebot (имя Google-обходчик) это видит. Чтобы сделать это, войдите в Google Webmaster Tools (http://www.google.com/webmasters/) и нажмите на профиль сайта. В меню навигации слева выберите в меню Diagnostics, а затем выберите опцию Fetch as Googlebot. Введите URL страницы, которую вы хотите увидеть, и после задержки, система будет производить результаты. Вы можете увидеть веб-страницу, как показано в следующем скриншоте, затем Googlebot на той же странице:
web page

Google bot