Поведенческие факторы в Яндекс. Нюансы работы фильтра, о которых должен знать каждый вебмастер / Хабр
В этой статье вы узнаете, как поисковая система Яндекс борется с накруткой поведенческих факторов и какая существует опасность для добросовестных вебмастеров потерять позиции на длительный период. Статья будет полезна как специалистам, так и начинающим вебмастерам, для которых я постарался расписать наиболее сложные моменты.Как только поисковая система вводит значимый фактор ранжирования, его сразу же пытаются накрутить специалисты по SEO. ПС вынуждена запускать фильтры, чтобы как-то стабилизировать выдачу. При этом совершенно любая организация заранее предполагает, что будет определенный процент брака. Однако, уже с целью снижения издержек в ПС производятся работы по автоматизации взаимодействия с представителями сайтов и на определенном этапе несогласованности, или отсутствия восприятия проблемы, может полностью отказаться от взаимодействия с ними. Отказ взаимодействия в первую очередь связан с высоким процентом обращения заведомо виновных в санкциях SEO-специалистов, которые серьезно навредили сайту заказчика и не имеют возможности устранить проблему, а с другой стороны с тем, что добросовестные владельцы сайтов просто не имеют необходимых навыков, чтобы найти заветную форму и написать мифическому Платону Щукину.
Выглядит это так: если вы все-таки находите в панели webmaster пункт «Обратная связь», вы попадаете на список типичных вопросов. Выбирая любую похожую с вашей темой ветвь, вы получаете, в контексте поведенческих факторов, бесполезный текст и список возможных действий:
И все. Таким образом, санкции поисковой системы связанные с накруткой поведенческих факторов стали безапелляционными. Именно этот момент подчеркивает всю серьезность данной темы (как все-таки найти форму читайте в комментариях ниже).
Прежде чем рассказать о том, как не стать невинной жертвой данной проблемы, давайте совсем немного поговорим о том, кому мы обязаны вниманием этого фильтра и тем, под что заточены его алгоритмы.
Накрутка поведенческих факторов сайта в «Яндексе» является частью комплекса мер по повышению позиций сайта сео-специалистами. Иногда это громко называют продвижением поведенческими факторами. С целью оптимизации трудозатрат сео-специалист обращается в специальные сервисы, где в автоматическом режиме или при помощи людей за небольшую плату выполняется определенное задание. Ограниченность разнообразия заданий (действий) и некоторая ассоциативность IP-адресов тех, кто делает накрутку, дает фильтру ПС вывод, что поведенческий фактор ранжирования накручен.
Итак, мы приходим к первой весточке, письму счастья от Яндекс в панели Вебмастер. Вы должны регулярно проверять этот почтовый ящик, а если у вас его нет, то зарегистрируйтесь там и привяжите к нему свой сайт.
Письмо будет иметь весьма отстраненное, нечем не угрожающее название, в лучших стилях посланий от Доне Карлеоне: «О некоторых методах поисковой оптимизации и их последствиях».
Вот содержимое автоматического письма на конец 2014 года:
Здравствуйте!Самое время испугаться, увидев подобное сообщение, оно адресовано именно вашему сайту* и это, по сути, ни что иное как классический поцелуй смерти, поскольку вся интрига передачи этого сообщения в том, что отправитель предполагает, что вы знаете, о чем речь и что будет дальше. Загвоздка в том, что кто-то не понимает, о чем речь, поскольку не знает, в чем причина, или, что хуже, не знает, что это он и его привычки и есть причина. Таким образом, он ничего не предпримет, став жертвой поисковых алгоритмов, ну я же ничего не делал такого!?
В последнее время некоторые SEO-компании и сервисы, в том числе сервисы автоматизированного продвижения сайтов, предлагают вебмастерам услуги, связанные с «поведенческими факторами». Называться это может по-разному: «усиление поведенческих факторов», «продвижение поведенческими факторами», «поведенческие факторы для всех», «усиление ссылок поведенческими факторами» и так далее. Как правило, под этими названиями скрывается попытка обмануть поисковую систему различными способами, связанными с эмуляцией действий пользователей.
Как и другие способы накрутки, данный способ не имеет ничего общего с реальным улучшением качества сайта в интересах бизнеса и пользователей. Более того, развитие подобных обманных методов, основанных на фальшивых действиях фальшивых пользователей, негативно отражается на доверии ко всей интернет-отрасли.
Использование таких методов может негативно отразиться на доверии поисковой системы к сайту и привести к значительному снижению трафика. Более полную информацию об отношении Яндекса к подобным способам продвижения и их последствиях можно найти в блоге Яндекса для вебмастеров:
Об одном из некорректных способов поискового продвижения и его последствиях
Об одном из некорректных способов поискового продвижения и его последствиях — 2
Яндекс рекомендует избегать использования указанных методов в своей практике, а также убедиться, что компании и сервисы, услугами которых Вы пользуетесь, не предлагают подобные способы «продвижения».
Желаем Вам правильных решений в наступающем году!
*Примечание от 21.01.2015: письма 25-28 декабря 2014 года приходили массово, возможно, Яндекс впервые разослал их в целях профилактики и это не связанно с конкретным сайтом. В дальнейшем, придется уточнять есть ли такое же письмо в других ящиках «панелей вебмастер».
После получения письма важно проанализировать ситуацию и предпринять необходимый пакет действий в течение недели от указанной в письме даты.
Но, вернемся к сути проблемы. Теперь мы в плотную приблизимся к рассмотрению несовершенства самого фильтра поведенческих факторов. Таить не буду: проблема заключается в несогласованности сервисов Яндекс и неточности значений при низких показателях посещаемости.
В свое время, Андрей Калинин, руководитель коллектива разработчиков поиска Mail.ru, говорил о том, что поведенческие факторы сайта при низких показателях не могут полноценно применяться в формуле ранжирования. И, похоже, основные поисковые алгоритмы уже научились работать в этом плане адекватно, однако затронутый здесь фильтр не отличается подобным изяществом, поскольку не связан с основной поисковой системой. Причем это можно явно заметить, анализируя попавший под санкции сайт в различных регионах и доменах ПС Яндекс. Он просто корректирует значение позиций. При этом у него нет отсечки по низким показателям. Проще говоря, неадекватно настроенный алгоритм отрежет вам Топ10 и всё минимум на 2 недели. Останется ли после этого осадок — достоверно неизвестно.
И вот теперь давайте вернемся к мысли выше «я же ничего такого не делал».
Даже не будем развивать историю о ваших конкурентах, которые могут сделать вам подобный подарок (причем особенно изящно сделать так для нового игрока на рынке, рассчитав бюджет по позициям в ПС и CTR, а затем напустив на него необходимый процент самой дешевой накрутки) и вернемся к истории простого человека и его сайта.Итак, ответьте на вопрос, но вы же делали что-то на своем сайте в принципе? Вы заходили на сайт и делали определенные действия, возможно, вы владелец сайта и по 10 раз в день спускаетесь к значку Яндекс.Местрики, чтобы посмотреть на показатели, или редактируете содержимое прямо в панели своего виртуального хостинга и обновляете содержимое по сто раз в день, или просто занимаетесь так называемой тупкой… Вспомните свое поведение на сайте и мысленно посмотрите, как похожи ваши действия, насколько они отточены, с каких похожих айпи они выполняются. Вам уже страшно?
И вот основная мысль: если вы любите свой сайт и постоянно заходите на страницы с невысоким количеством посетителей (и, что хуже, с положительной динамикой по посещаемости) – вы можете стать жертвой фильтра ПФ Яндекс. Запомните: излишняя любовь вебмастера к сайту под запретом.
Но стоп! При своих визитах я же захожу на Яндекс.Метрику (он же должен это понимать) или, возможно у меня же стоит галочка в метрике «не учитывать мои визиты». И действительно, визиты не будут учтены! Но, при этом их учтет фильтр, ведь, как не парадоксально со стороны, сервисы Яндекс никак не согласованы, что подтверждали и сами представители Яндекса. Это сделано прежде всего для того, чтобы люди не плодили учетки, пытаясь обойти какой-либо сервис, поэтому поиск всякого рода парсеров идет не через анализ нескольких учеток, а только в пределах одной, текущей.
Но у метрики и фильтра ПФ все-таки есть кое-что общее — и это счетчик Яндекс, сторонний продукт, который вы любезно согласились установить, и который работает не только вам на пользу, но также и против (если вы ведете себя, по его мнению, подозрительно).
Второй момент особенно весьма скользкий для владельцев сайтов, ведь есть возможность установить сторонние счетчики. В контексте темы особенно опасен в коде счетчика Яндекс скрипт, который следит за поведением пользователя.И вот он, замечательный рецепт: если страница вашего сайта имеют посещаемость в среднем менее 50 человек в месяц и вы не занимаетесь накруткой, смело снимайте скальпель со своего счетчика Яндекс.Метрики. Я серьезно рекомендую оставить вам только следующий код:
<img src="//mc.yandex.ru/watch/номер_счетчика">При таких низких показателях поведенческие факторы не имеют значения для формулы ранжирования ПС, а вот фильтр уже работает во всю. Вы повышаете свои риски, а в замен не получаете ничего. Если вы в коммерческой сфере, это особенно опасно.
И еще один момент про то, когда вы пробиваете выдачу и заходите на свой же сайт или даже не делаете последнего. Это очень опасно, даже если вы авторизованы как владелец сайта. Нет никакой согласованности сервисов, вы будете учтены как обычный посетитель…
Как работает накрутка поведенческих факторов в Яндексе и что с ней делать
Представьте, что вы долго и бережно развиваете сайт, улучшаете процессы, следуете политике поисковика и, наконец, радуетесь росту показателей. Как вдруг – потеря трафика и обрушение всех позиций. Почему так произошло и что с этим делать?Ты себя накручиваешь
Причин может быть несколько, самая обидная из них – искусственная накрутка поведенческого фактора конкурентами. Это реальная проблема Яндекса, с которой может столкнуться как новичок, так и опытный разработчик.
Поведенческий фактор – совокупность действий, которые пользователи совершают на страницах сайта, и один из ключевых факторов ранжирования для поисковых систем. Для одних накрутка поведенческого фактора является сомнительным способом попадания в ТОП – его накручивают, чтобы повысить видимость сайта в поиске и, соответственно, собирать все «сливки»: трафик, лиды, заказы. Для других – способом борьбы с конкурентами, который может оказаться серьезной угрозой для бизнеса. Сложно представить, что такое возможно в 2022 году!
Показатель поведенческого фактора устроен просто: если пользователи проводят на сайте достаточное количество времени, кликают на кнопки и переходят по ссылкам, поисковая система считает такой сайт «полезным» и поднимает в выдаче. Но поведенческий фактор работает и в другую сторону: если сайт занимает хорошие позиции, но пользователи, заходя на его страницы, не находят нужную информацию и быстро их покидают, поисковая система понижает позиции сайта в выдаче из-за низкого поведенческого бала.
Как это работает
Сегодня поведенческий фактор можно накрутить за счет программ, которые позволяют ботам с заданным алгоритмом заходить на страницы сайта и совершать определенные действия, передавая поведенческий сигнал поисковой системе: «Это полезный сайт, я совершил на нем кучу действий».
Процесс устроен так: покупаются лимиты для создания профилей в поисковой системе, затем эти профили отправляют «нагуливаться». При помощи программного алгоритма они ходят по страницам сайтов: формируют себе возраст, активность и создают видимость деятельности, чтобы поисковик считал их не ботами, а реальными пользователями. На деле же эти боты заходят через мобильную выдачу, в основном с андроидов и мобильного интернета.
После того, как профили «нагуглялись», их отправляют по низкочастотным запросам на соответствующие страницы сайта, чтобы они поднялись в ТОП. Когда эти запросы поднимутся в выдаче, добавляют в работу среднечастотные и высокочастотные запросы, чтобы по ним тоже заходили на нужную страницу/сайт – так будет продолжаться, пока все запросы не подтянутся в ТОП поисковой системы. Увы, так просто и быстро, с помощью всего одной программы, можно добиться того, к чему многие стремятся честным и упорным трудом – выйти в лидеры поисковых запросов.
Проверено на практике
Чтобы «крутить» поведенческий фактор в Яндексе или любой другой поисковой системе, не обязательно делать сайт удобным и интересным для пользователей. Важны лишь такие параметры, как скорость загрузки, соответствие запрос/документ и минимальная оптимизация. Digital-агентство Akudinov.top на собственном примере разобралось, как устроена эта «дара» в алгоритмах Яндекса.
Александр Кудинов, основатель digital-агентства Akudinov.top:
Заметив, что Яндекс не всегда подтягивает в ТОП действительно лучшие сайты, а некоторые проекты по нашей тематике, лидирующие в выдаче, просто «ни о чем», мы всерьез задумались, почему так происходит. По многим параметрам они уступают конкурентам: полнота ответа, разнообразие информации, возраст сайта, доверие пользователей, технические ошибки, юзабилити и так далее. Мы поняли, что столбом развития позиций сайта являются поведенческие факторы, которые наши конкуренты нагло накручивают. Было решено разобраться в вопросе по факту – проверить работу механизма практическим способом.
Мы создали лендинг «на коленке», минимально его оптимизировали и врубили адскую машину накрутки. Как и предполагалось, запросы шли в ТОП, хотя тематика продвижения сайтов – одна из самых конкурентных. Вот она – та самая красная таблетка, которая реально работает. На этот эксперимент у нас ушло около 3–4 месяцев: мы тратили на хостинг, лимиты, программу.
Созданный сайт и примеры запросов с накруткой:
Созданный сайт. Адрес: seolider.top
Продвижение сайта на 12 месте в январе 2022 года
Рост трафика из ПС на сайт akudinov.ru
Нечестная борьба
Глобальной проблемой Яндекса, связанной с накруткой поведенческих факторов, пользуются игроки рынка, для которых «все средства хороши». Сегодня попасть под нечестную конкурентную атаку может фактически каждый.
Александр Кудинов, основатель digital-агентства Akudinov.top:
Примерно 4 года назад к нам обратились клиенты с запросом снятия санкций за накрутку поведенческого фактора. Программы по накрутке тогда были менее гибкими, а поисковики – более суровыми, но решалось все просто: все программы останавливали, непрерывно писали в поддержку с извинениями и покаяниями, и через 3–6 месяцев с домена снимались ограничения. Но бывают и другие случаи.
Однажды сайт нашего агентства попал под санкции за накрутку поведенческого фактора, несмотря на то, что мы всегда были против накрутки и работали честно. История такая: мы долго занимались продвижением сайта своего агентства, за что были награждены поисковой системой, и большинство наших запросов было в ТОП-10, а некоторые в ТОП-3 Яндекса.
Запрос «продвижение сайтов дешево» 11 место
«Поисковое продвижение» – 3 место
Пошел трафик заявки-заказы-заявки, как вдруг, через 2 месяца, мы обратили внимание, что на наш сайт заходят роботы. Это показывает раздел «Роботность» в Яндекс.Метрике:
«Продвижение сайта» на 2 и на 19 местах в декабре 2021 и в феврале 2022 соответственно
Роботность
Тогда мы не придали этому особого значения – радовались своим победам в продвижении, тому, как небольшая компания обходит SЕО-гигантов в поиске. На третий месяц мы вылетели за ТОП-100. Начали анализировать, выяснять, что не так. Появилось две гипотезы.
Первая – новый фильтр за текстовый спам. В конкурентных тематиках это норма, стоит пару лишних фраз указать в тексте и можно попасть под наказание поисковика. Вторая – на нас наложили фильтр за поведенческие. Но как? Мы ничего не накручивали и всегда были за белое SEO. Долго и муторно лечили новый текстовый фильтр, пока SEO-гуру Роман Мартынюк не открыл нам глаза. Оказалось, что поведенческий фактор накрутили нам конкуренты – так, что Яндекс нас «наказал». Мы сменили адрес домена и все снова заработало. Вот так на нашем рынке борются с конкурентами!
Если причина падения трафика стала очевидной
Невероятно, но факт: глобальная поисковая система вовсе не идеальна. Чтобы не попасться в ловушку конкурентов и не потерять трафик и клиентов из Яндекса, стоит регулярно проверять, подвергается ли ваш сайт атакам роботов. Если да – пробуйте разные способы бана этих роботов, и обязательно подготовьте запасной план. Когда ваш домен попадет под санкции, немедленно переезжайте на другой.
Накрутка поведенческого фактора, по сути, не нужна никому. Чтобы сайт заслуженно попал в ТОП и работал по-настоящему, стоит заняться развитием своего проекта – в долгосрочной перспективе этот способ гораздо эффективнее и выгоднее накрутки. Провести технический аудит, разработать дизайн, внедрять маркетинговые фишки, работать над юзабилити, заниматься внешней и внутренней оптимизацией – при этих условиях рост позиций просто неизбежен.
Если же вы сами подумывали над накруткой поведенческих факторов для борьбы с конкурентами, имейте в виду: поисковики стремительно развиваются, и совсем скоро накрутить поведенческий фактор будет невозможно. Готовьтесь к честной конкурентной борьбе: настоящая работа над сайтом принесет не только впечатляющие результаты, но и реальное удовольствие.
Утечка Яндекса раскрывает факторы ранжирования в поиске
Бывший сотрудник предположительно слил репозиторий исходного кода Яндекса, часть которого содержала более 1900 факторов, используемых поисковыми системами для ранжирования сайтов в результатах поиска.
Эта утечка выявила 1922 фактора ранжирования, которые Яндекс использовал в своем алгоритме поиска, по крайней мере, по состоянию на июль 2022 года. Пожалуй, Мартин Макдональд лучше всех выразился сегодня в Твиттере: «Взлом Яндекса, вероятно, самое интересное, что произошло в SEO за последние годы. ».
Яндекс — это не Google. Если вы планируете прочитать полный список факторов ранжирования Яндекса, помните, что Яндекс — это не Google. Если вы видите фактор ранжирования, указанный Яндексом, это не значит, что Google придает этому сигналу такой же вес. На самом деле Google может использовать не все перечисленные 1922 фактора. На самом деле, многие факторы в этой утечке устарели или не используются.
Тем не менее, многие из этих факторов ранжирования могут быть очень похожи на сигналы, которые Google использует для поиска. Таким образом, просмотр этого документа может дать некоторые полезные идеи, которые помогут вам лучше понять, как поисковые системы, такие как Google, работают с технологической точки зрения.
Общая картина. Код появился в виде торрента на популярном хакерском форуме, как сообщает Bleeping Computer:
… Лидер опубликовал магнитную ссылку, которая, как они утверждают, является «источниками git Яндекса», состоящая из 44,7 ГБ файлов, украденных у компании в июле 2022 года. Эти репозитории кода якобы содержат весь исходный код компании, кроме правил защиты от спама.
Яндекс называет это утечкой. Поскольку код появился на популярном хакерском форуме, сначала подумали, что Яндекс взломали. Яндекс опроверг это и предоставил следующее заявление:
«Яндекс не был взломан. Наша служба безопасности обнаружила фрагменты кода из внутреннего репозитория в открытом доступе, но содержимое отличается от текущей версии репозитория, используемого в сервисах Яндекса.
Репозиторий — это инструмент для хранения кода и работы с ним. Таким образом код используется внутри большинства компаний.
Репозитории нужны для работы с кодом и не предназначены для хранения персональных данных пользователей. Мы проводим внутреннее расследование причин обнародования фрагментов исходного кода, но не видим никакой угрозы для пользовательских данных или производительности платформы».
Макдональд поделился полным списком из 1922 факторов здесь, в Школе веб-маркетинга. Я настоятельно рекомендую скачать его, так как я полностью ожидаю, что Яндекс попытается вычистить эту информацию из Интернета. (Примечание редактора: в более ранней версии этой статьи мы давали ссылку на переведенную версию в Dropbox, но эта ссылка быстро исчезла.)
Ранний анализ факторов ранжирования. Алекс Буракс создал две темы в Твиттере — первую и вторую — анализируя различные факторы ранжирования. Здесь есть еще одна интересная ветка в Твиттере от Майкла Кинга.
Дэн Тейлор также делится некоторыми выводами из статьи «Утечка данных Яндекса: что мы узнали об алгоритмах поиска в поисковых новостях России».
Многие факторы ранжирования Яндекса — это то, что вы ожидаете увидеть:
- PageRank и множество факторов, связанных со ссылками (например, возраст, релевантность и т. д.).
- Релевантность текста.
- Содержание возраста и свежести.
- Сигналы поведения конечного пользователя.
- Надежность хоста.
- Некоторые сайты получают предпочтение (например, Википедия).
Некоторые факторы ранжирования вызывают удивление у SEO-специалистов: количество уникальных посетителей, процент органического трафика и средний рейтинг домена по запросам.
И, как указал Тейлор, 244 фактора ранжирования были классифицированы как неиспользуемые, а 988 — как устаревшие, «это означает, что 64% документа либо не используются активно, либо были заменены — так что это больше похоже на ~690 потенциальных факторов ранжирования, и многие из них содержат тонкие описания».
Как отмечалось ранее, Яндекс — это не Google, и у него не такие показатели трафика, как у Google, поэтому эта утечка — не новейший ресурс №1, получивший первое место в Google. Но всегда приятно получить внутреннюю картину того, как работают некоторые поисковые системы.
В связи с недавним стремлением Google выделить контент EAT, некоторые из технических факторов ранжирования в Яндексе могут не иметь такого большого веса в Google.
«Утечка» Яндекса раскрывает 1922 фактора ранжирования поиска
Сообщается, что бывший сотрудник утек в репозиторий исходного кода Яндекса, часть которого содержала более 1900 факторов, которые поисковая система использует для ранжирования результатов поиска.
какое нам дело Утечка выявила 1922 фактора ранжирования как минимум до июля 2022 года, которые использовались Яндексом в его поисковых алгоритмах. возможно, лучше всего об этом сказал Мартин Макдональд в Twitter Today: «Взлом Яндекса — это, пожалуй, самое интересное, что произошло с SEO за последние годы».
Яндекс — это не Google. Если вы планируете прочитать полный список факторов ранжирования Яндекса, помните, что Яндекс — это не Google. Если вы видите фактор ранжирования, указанный Яндексом, это не значит, что Google присваивает ему такой же вес. На самом деле Google может использовать не все перечисленные 1922 фактора.
Тем не менее, многие из этих факторов ранжирования могут быть очень похожими. Таким образом, просмотр этого документа может предоставить некоторую полезную информацию, которая поможет вам лучше понять, как поисковые системы, такие как Google, работают с технической точки зрения.
Большое изображение. Как сообщает Bleeping Computer, код появился в виде торрента на популярном хакерском форуме:
… Утечка опубликовала магнитную ссылку, которая, как он утверждает, является «источником git Яндекса», которая содержит 44,7 ГБ файлов, украденных у компании в июле 2022 года. Эти репозитории кода содержат весь исходный код компании в дополнение к анти-спам. правила.
Яндекс называет это утечкой. Поскольку код появился на популярном хакерском форуме, сначала подумали, что Яндекс взломали. Яндекс опроверг это и предоставил следующее заявление:
«Яндекс не был взломан. Наша служба безопасности обнаружила фрагменты кода из внутреннего репозитория в открытом доступе, но содержимое отличается от текущей версии репозитория, используемого в сервисах Яндекса.
Репозиторий — это инструмент для хранения кода и работы с ним. Именно так код используется внутри большинства компаний.
Репозиторий необходим для работы с кодом и не предназначен для хранения персональных данных пользователей. Мы проводим внутреннее расследование причин публикации фрагментов исходного кода в открытом доступе, но не видим никакой угрозы для пользовательских данных или производительности платформы.
Копать глубоко Вы можете найти больше информации об утечке на Techmeme.
Список факторов ранжирования Яндекса. Макдональд поделился полным списком из 1922 факторов здесь, в Школе веб-маркетинга. Крайне рекомендую скачать, так как искренне надеюсь, что Яндекс попытается выдрать эту информацию из интернета. В Dropbox также есть переведенная версия.
Алекс также работает в твиттере Burax Анализ различных факторов ранжирования. Вы ожидаете увидеть много — PageRank, релевантность текста, возраст и свежесть контента, множество поведенческих факторов конечных пользователей, доверие к хосту и множество факторов, связанных со ссылками (например, возраст, релевантность и т. д.).
Некоторые факторы ранжирования кажутся SEO-специалистам неожиданными: количество уникальных посетителей, процент органического трафика и средний рейтинг домена в запросах.
Добавьте Search Engine Land в свою ленту новостей Google.
Новичок в Search Engine Land
Об авторе
Дэнни Гудвин является управляющим редактором Search Engine Land и SMX. Помимо того, что Гудвин ежедневно пишет для Search Engine Land о SEO, контекстной рекламе и многом другом, Гудвин также управляет списком экспертов Search Engine Land в данной области. Он также помогает планировать нашу серию конференций SMX — Search Marketing Expo.