Осторожно: рейтинг! Почему нельзя доверять рейтингам и на что обращать внимание

Пару лет назад я писал о тендерах, и о том, как «честно» их проводят. Сегодня я хотел бы затронуть еще один забавный аспект – рейтинги. Несмотря на то, что их популярность существенно снизилась (лет 5 назад можно было найти рейтинг всего, сейчас же остались только самые крупные), все же находятся люди, которые их составляют. А что еще более поразительно – находятся и такие, кто их читает (хотя, все же я сомневаюсь, что есть те, кто им верит). В этой статье я хочу показать, почему к рейтингам стоит относится весьма подозрительно и на что обращать внимание. Итак, в первую очередь следует понимать, что рейтинг – это выстраивание каких-то объектов или явлений в определенной последовательности по набору каких-либо качественных и количественных характеристик. При этом следует понимать, что характеристики эти должны быть заранее обозначены и измеримы. Зачем вообще нужны рейтинги? В идеале, рейтинг сортирует в порядке убывания какие-либо объекты. Например, огромной популярностью пользовались и до сих пор регулярно публикуются рейтинги SEO- компаний. При этом, они немного отличаются друг от друга и в первую очередь показателями и характеристиками. Например, SeoNews проводит рейтинг «Известности бренда SEO-кампаний». Есть еще рейтинги Рунета и RUWard. В целом, они во многом похоже и подавляющее большинство кампаний пересекаются, хотя места в рейтингах немного прыгают. На что же следует обращать внимание, если у вас возникла необходимость обратиться к рейтингу?

1. Кто и зачем проводит рейтинг

В первую очередь вы должны знать, кем проводится рейтинг и его компетентности. Чаще всего рейтинги проводят компании-участницы или «дружественные» партнеры. Не удивительно, что в таких рейтингах компания занимает нужное ей место (обычно 1-3). Другой особенностью является, когда рейтинг проводит «неизвестно кто». Очевидно, что в каждой отрасли есть свои подводные камни, и поэтому составление рейтинга требует определенной компетенции. Было бы странно, если бы я составил рейтинг обсерваторий на территории Австралии, правда ведь? Поэтому, если в контактах пишется, что-то типа: «Мы просто хорошие люди», или «Часто пользуемся и решили поделиться с миром..», знайте, тут что-то не то. Понятно, когда какое-то информационное агентство или блоггер делает рейтинги для популярности ресурса или компании. Все остальные случаи весьма подозрительны.

2. Актуальность и рейтинга прозрачность методики

Следующее, на что следует обратить внимание – это когда и как именно составлялся рейтинг. Обычно, методику достаточно подробно описывают: на что смотрят, как считают, какие поправки вносятся и т.д.:

Не менее важно, чтоб оценка показателей проводилась в одно и то же время для всех кампаний. А то встречал случаи, когда в одну компанию написали в 12 часов рабочего дня, а в другую в 23.00 в пятницу. И сделали вывод, что первая кампания отвечает на письма в течении 10 минут, а вторая через 2 суток. Ну и, безусловно, рейтинг должен быть свежим. Никого не интересует, что происходило 5 лет назад. Многие кампании с тех пор вообще могли закрыться. Если же рейтинг «бессрочный», т.е. вообще нет никакой информации – это подозрительно. И даже очень.

3. Объективность показателей

При оценки параметров, важно использовать только объективные и измеримые показатели. Никаких «лучше» или «мне понравилось». Нужно разделять свое личное мнение (предвзятое в любом случае), и объективную оценку. Если вам нахамили, это явно плохо (и можно оценить). Если же вам в одной кампании ответила девушка с милым голосом, а в другой кашляющий мужчина, но при этом в обоих вы получили полный и развернутый ответ на свой вопрос – в обоих случаях следует присваивать одинаковый бал. Если, конечно, вы не проводите рейтинг «приятности голосов».

4. Соответствие данных действительности

Казалось бы, очевидный факт, однако не все рейтинги это воспринимают. И тут хотелось бы обратить внимание на образец некачественного рейтинг, сайт: https://www.bloseotoolsreview.ru/, на который недавно попал. Тут выводится рейтинг систем анализа позиций, а поскольку я сам являюсь участником данного рынка и разбираюсь в теме, мне стало жутко обидно за неточности и прямое искажение фактов: нужным кампаниям чуть-чуть приписывается, другим чуть-чуть отнимается. Ну например, стоимость проверок – то, что несмотря ни на что является основным показателем. Смотрим: Возьмем отчет по сниппетам:

Утверждается что его почти ни у кого нет, кроме AllPlsitions. Что противоречит действительности: в Seolib анализ по снипеттам давно есть (причем намного удобней).

Или, например, наличие вопросов и ответов (хотя важность такого раздела под большим вопросом, но все же:

При том, что у нас оно есть уже много лет.
Максимальная глубина проверок. Показатель не самый важный, но все же. Утверждается, что в SERanking глубина 1000. Однако, как я не пытался ее настроить:

Возможно, это какие-то расширенные функции и доступны не всем. Ну так это не стоит выносить сюда. Уверен, каждая кампания имеет ряд «незаявленных» функций. Пишется, что в Сеолибе есть экспорт только в CSV, в то время как нужно просто нажать на кнопку и мы видим:

И т.д. и т.п. Думаю, продолжать смысла нет, идея ясна. Поэтому, не поленитесь, возьмите несколько параметров и проверьте их самостоятельно, чтоб решить – стоит ли верить этим цифрам.

5. Важность выбранных показателей для сравнения

И последнее в списке, но не последнее по значимости – это на основе каких именно показателей строиться рейтинг. И тут кроется одна из самых важных ошибок. Дело в том, что хотя и есть определенные весьма популярные показатели (цена, количество положительных/отрицательных отзывов, успешный опыт работы), существует множество второстепенных показателей, которые может быть важны для одних людей, и абсолютно бесполезны для других. Но главное – во всем этом должна прослеживаться логика. Например, в том же рейтинге SEO компаний учитывается и количество клиентов и оборот (взаимосвязанные показатели). В рейтинге систем анализа позиций сравниваются так называемые «пузамерки» (тИЦ, наличие в каталогах, обратные ссылки…) и в то же время не анализируются такие показатели, как наличие роботс.тхт и карты сайта, беклинки по разным система (ahrefs, GWT, YWT). Есть такие показатели, как «White-Label модел» и «Брендирование отчетов», при этом отсутствует проверка на 301 редирект и верная настройка 404 ошибки т .д. Есть показатель «языки интерфейса», но отсутствует «наличие телефона в тех.поддержке, наличие офиса в России/Украине и телефона тех поддержки. Возможность оплатить безналичным расчетом с и без НДС со всеми документами так же является с моей точки зрения важной. Ну и если на то пошло, то возраст кампании тоже далеко не последнюю роль играет. Если бы вы искали себе подрядчика, кому бы вы доверились? Фирме, которая существует уже 8 лет на рынке, или новичку, вышедшему на рынок пол года назад? Подведя итог всему вышесказанному, следует осознавать, что увы, рейтингам доверять нельзя. И даже если вы найдете компетентную кампанию, которая честно и непредвзято соберет все данные, корректно их проанализирует, используя научный подход, все равно результаты будут предвзятыми, т.к. основываются на тех показателях, которые важны проводящим оценку, а не вам. Единственное, для чего можно использовать рейтинги – для оценки сил на рынке: кто вообще есть и какими особенностями каждая из кампаний обладает. Можно пойти дальше, составив свой рейтинг, основываясь на входных данных (например некоторые показатели убрать, другие добавить, третьим присвоить определенный коэффициент). Но главное, что вы должны помнить – подходите всегда к подобным оценкам осторожно и скептически. В первую очередь вам нужно выстроить систему собственных оценок. Например, выпишите на листике (или в Excel) важные для вас параметры и присвойте важность, или разбив их на группы. Как вариант: Критически важные функции (без них подрядчик не рассматривается): — цена не более $100 в месяц; — известность компании (не менее 50 отзывов на разных сайтах); — наличие функции 1; — оплата по безналу; — юридические документы; Важные функции (очень желательно чтоб были): — наличие функции 2; — наличие функции 3 — наличие прямого телефона; — наличие круглосуточной технической поддержки; Дополнительные (их наличие дает небольшой бонус при прочих равных условиях): — наличие функции 4; — наличие скайпа; — наличие функции 5. Когда у вас под рукой будет такая вот мерка, ваш собственный рейтинг будет намного более прозрачный. А главное – полностью удовлетворять именно вашим потребностям, а не навязываться из вне.