Как работают поисковые системы: основные принципы

Хочу сразу сказать, что оптимизаторам, и тем кто связан с этим тут ничего интересного. Это скорее более интересно будет тем, кто только начинает изучать эту тему. Но и не для будущих SEO-шников, т.к. тут нет никаких секретных оружий и уловок. Статья просто об основных принципах работы поисковых систем и их взаимодействий с оптимизаторами.

Для начала рассмотрим ,как это работает, на примере этой самой статьи.
Как происходит в идеале:

Веб-мастер (владелец сайта), создает контент (например, я написал эту статью и разместил ее на сайте). Поисковые роботы, например Яндекса и Google, заходят, скачивают страницу, анализируют качество страницы. Т.к. сайт уже проиндексирован, поисковый робот уже имеет данные о сайте и может их сравнить, то он сравнивает сайт и страницу, смотрят внутреннюю перелинковку на эту страницу, сравнивают тематику статьи с тематикой сайта, считывают метатеги, и определяют, о чем статья, кому она может быть интересна.

Затем, анализируют ссылки на мой сайт и на эту конкретную страницу – кто ссылается, с каким текстом ссылаются, можно ли им доверять. И в дальнейшем, если пользователь будет вводить запрос, например «принципы оптимизации», мой сайт будет участвовать в рейтинге, пускай и где-то далеко от топовых позиций.
Как же оптимизаторы могут повлиять на этот процесс?

Оптимизаторы могут влиять практически на весь ход событий. Если бы я захотел значительно увеличить трафик из поиска на эту страницу, мне бы пришлось:

— во-первых изучить запросы пользователей, чтоб знать, что ищут ориентироваться именно на эти ключевые слова (например, принципы оптимизации нужно заменить на принципы поисковой оптимизации);
— во-вторых, нужно было бы изучить список сайтов, которые имеют высокие позиции по интересующим меня ключевым словам, изучить их тексты, плотность ключевых слов, а так же ссылки на сайт и на страницы;
— затем, исходя из полученной информации, пришлось бы переделать страницу, немного переписать текст, чтоб нужные ключевые слова встречались в определенной пропорции, переправить метатеги, с других ссылок поставить ссылки с нужными анкорами. Таким образом, видит уже по сути не ту статью, которую я написал, а другую, специально для него переделанную (пускай и не сильно);
— ну и конечно мне бы пришлось где-то искать ссылки на эту страницу, проще всего покупать на сайтах с аналогичными показателями, как и у только что проанализированных.
Чтоб лучше разобраться в этом деле, нужно посмотреть на это глобально. По сути своей, поисковые системы представляют собой динамические (т.е. постоянно меняющиеся) рейтинги материалов. За каждым материалом закреплен определенный список слов и фраз, которые есть на этом сайте или связаны с ним. И когда пользователь вводит свой запрос в поиск, тот быстро просматривает свой рейтинг и выводит в убывающем порядке этот самый список материалов (как правило, это страницы сайта, но могут быть и картинки, и отдельные файлы).
Тут важно понимать, что поиск хранит как информацию о самом сайте, так и об отдельных его страницах и файлах. Например, у меня есть сайт, на который из самого поиска пользователи почти не ходят. Но, из поиска по картинкам ходят весьма неплохо. Т.е. рейтинг сайта и страниц не очень, а самих картинок (конкретного материала) – достаточно высокий.
Хочу обратить внимание на такой каламбур – высокий рейтинг сайта соответствует высоким позициям сайта, а, высокие позиции, это 1-2-3-4-5-6-7-8-9-10 (топ10). Т.е. 1 позиция – предел мечтаний, в то время, как 100 – очень плохой результат. Следует не путать, высокий рейтинг и конкретная (вобшем-то низкая) позиция.
И еще раз напомню, что рейтинг сайта в поиске имеет свое значение для КАЖДОГО ключевого слова. Потому что иногда спрашивают: «Мой сайт зарегистрирован в Google?» (намекают, проиндексирован ли он). Отвечаешь, что да. Тогда встречный вопрос – а почему я его не могу найти? Найти его можно, но только по какому-то определенному слову/фразе…
Отчего же зависит этот самый рейтинг? Факторов много, но если их объединить и сгруппировать, то получаем такие группы:
 

Внутренние факторы (непосредственно сам сайт):

• качество сайта – поисковый робот сканирует весь сайт, определяет количество страниц, смотрит на его структуру, ищет ошибки, дубли, соотношение хороших/плохих страниц, внутреннюю перелинковку, метатеги, скорость загрузки…Другими словами, сайт должен быть качественный, быстро работать, иметь минимальное количество ошибок (понятно, что от всех не избавиться никак), и т.д. По этим показателям рейтинг присваивается всему сайту в целом (сайту, всем страницам на нем, всем словам, по которым его можно найти);

• качество конкретной страницы — в данном случае поисковая система определяет насколько правильно сверстана страница, какие у нее метатеги, внутренние и внешние ссылки со страницы и т.д. Рейтинг влияет на вес конкретной страницы и всех слов, находящихся на ней;

• качество материала – тут уже анализируется именно материал страницы (статья, картинка, описание). Определяется уникальность, частота встречания различных слов, соответствие темы материала теме сайта и метатегам. Сам материал влияет именно на рейтинг определенных слов в выдаче, а так же может влиять на рейтинг всего сайта (если плохая страница, понижает рейтинг, если много плохих страниц, сайт может вообще уйти из поиска, и наоборот, много хороших страниц может «поднять» весь сайт);

• выделение ключевых фраз – есть специальные способы выделения наиболее важных слов в тексте. Для этого есть метатеги, где отдельно прописываются ключевые слова и фразы, а так же в самом тексте выделяются заголовки, подзаголовки, наиболее важные слова.

Внешние факторы (информация о сайте на других сайтах):

• вес сайта. Вокруг этой темы есть споры. Утверждают, что сам сайт имеет траст и авторитарность. Траст, это насколько сайту доверяют и он определяется количеством уникальных внешних ссылок на сайт (чем больше сайтов на вас ссылаются, тем выше ваш траст). Авторитарность же определяется как доверие к сайту поисковой системе и база авторитарных сайтов набивается вручную (т.е. зависит не от количества, а качества ссылающихся на вас сайтов. Например, каталог DMOZ считается авторитарным, его поисковые системы вручную пометили, соответственно, если вы попали в этот каталог, вы тоже становитесь более авторитарным, т.к. DMOZ поделился с вами своей авторитарностью). В любом случае, считается, что чем больше ссылок на ваш сайт, тем лучше. Однако, есть много НО. Ссылки должны быть «хорошими». И вот тут уже начинаются проблемы, т.к. понятие «хорошести» – весьма относительно.Общепринятые правила – на вас должны ссылаться хорошие сайты, вы не должны соседствовать с сомнительными ссылками (порно, противозаконный вид деятельности), ссылок не должно быть очень много сразу, рост ссылок должен быть естественным. Таким образом, поисковые системы определяют кто и как на вас ссылается, и рассчитывает вес вашего сайта, который влияет на все страницы и все слова на сайте. Например, какой-то портал. Когда он добавляет новый материал, тот, практически без ссылок выходит в топ именно за счет веса самого сайта. Излюбленный пример – Википедия. Практически любой  материал можно найти на высоких позициях поиска, хотя специально его никто не продвигает.

• вес страницы. Другие сайты ссылаются не просто на ваш сайт, а на определенные страницы. Традиционно, раньше самой сильно страницей была главная, значительная часть ссылок шло на нее. Сейчас же все чаще стали продвигать именно внутренние страницы и ссылки ставят не на сайт в целом, а на конкретную страницу/статью/материал. Это более удобно для пользователей, и плюс для поисковиков. Вот и получаем, что ссылки на страницу повышают вес конкретной страницы, всех слов на ней и сайт в целом, но это вобщем-то и понятно.

 
Следует понимать, что вес страницы зависит от ссылок, а ссылка-ссылке рознь. Учитывается текст ссылки (сам анкор), учитывается вес ссылающейся страницы, вес сайта, который ссылается, количество исходящих ссылок с этой страницы и сайта, тематика страницы и сайта, его регион и т.д. Довольно много факторов можно придумать в этом направлении. По сути, считается, что хорошие сайты ссылаются на хорошие сайты. И наоборот. Если на вас ссылается плохой сайт, то и вы тоже не очень-то хороший. В идеале, на вас должен ссылаться сайт вашей тематики, с близким по смыслу материалом, с минимальным количеством других ссылок (кроме как на вас), причем сайт должен иметь высокий траст и авторитет, и ссылающаяся страница должна так же иметь как внутренний так и внешний высокий рейтинг. И, конечно же анкор должен быть с нужными вам ключевыми словами. Понятно, таких ссылок получить не так просто, да и много все равно не получится. Поэтому часто качество заменяется количеством…
Вот, вкратце, и все что я хотел сказать по поводу оптимизации. Надеюсь, такое, простое  «объяснение на пальцах» поможет неспециалистам получить необходимое представление об поисковой оптимизации.