Санкции поисковых систем — проявление, диагностика, снятие

 — по оценке 17 пользователей
30 ноября, 23:44
Дмитрий Севальнев
Дмитрий Севальнев
30 ноября, 23:44
193439
0
Вывод из-под санкций
Google
Яндекс
Содержание
1. Основные типы санкций
А. Санкции за текстовое содержимое и микроразметку
Проявление фильтра
Диагностика
Снятие
Пример
Спам в разметке структурированных данных
Баден-Баден от Яндекса
Б. Санкции за ссылочную составляющую
Пример
Алгоритм по снятию санкций
Алгоритм «Минусинск»
В. Санкции за накрутку поведенческих факторов
Историческая справка
Текущая ситуация
Применение санкций
Диагностика и снятие
Г. Санкции за рекламное содержимое
Снятие фильтра
Д. Фильтр на одинаковые сниппеты
Снятие фильтра
Е. Группы аффилиатов
Факторы
Диагностика
Типы фильтра и его снятие
2. Алгоритм автоматической диагностики сайта
Входные данные
Последовательное исключение фильтров
3. Заключение
4. Полезные ссылки
Презентация доклада на IBC Russia
Последние изменения: семинар SEO-Партизан
Размер текста:

Верно следуя открытому Ньютоном закону природы — любому действию всегда есть равное и противоположное противодействие — сотрудники антиспам отделов Яндекса и Google формулируют в своих алгоритмах множество фильтров направленных на противодействие различным приёмам оптимизации и поискового спама.

Безусловно разделяя эти два зачастую граничащих понятия, остановимся на фильтрах, направленных на различные методы оптимизации, оставив несколько в стороне санкции, нацеленные на откровенный поисковый спам.


1. Основные типы санкций

Все типы санкций можно разделить на группы и ассоциировать их с причинами, повлекшими их наложение. Следуя данной классификации можно разделить фильтры на типы, с которыми сталкиваются SEO-специалисты. В таблице 1 указаны: наименование фильтра, ключевая причина применения (названия ячеек) и краткая сводка по каждому из них.

Считается, что фильтр одновременно встречается в поисковых системах Яндекс и Google — если обратное не указано явно.

За текстовое содержимое и микроразметку

За ссылочную составляющую

За поведенческую информацию

1. «Переспам» — уменьшает значение релевантности документа по заданному поисковому запросу в Яндексе.

2. «Переоптимизация» — уменьшает итоговое значение релевантности документа в Яндексе. Фильтр «Переоптимизации» применяется также и вручную по усмотрению антиспам-аналитиков Яндекса.

3. «Текстовый антиспам» или «Новый» — существенно дисконтирует значение релевантности документа по запросу, что приводит к полной потери позиций по нему в Яндексе.

4. За спам в микроразметке — ручной тип санкций поисковой системы Google за спам в разметке структурированных данных / микроразметке.

5. «Баден-Баден» — запросозависимый алгоритм Яндекса, направленный на понижение в выдаче переоптимизированных страниц. Оценивается весь контент документа: plain text, прочее текстовое содержимое. Имеется и вторая (отдельная) часть алгоритма — хостовый фильтр.

6. «Повторяющийся контент» — резкое (Google) или более плавное (Яндекс) проседание позиций сайта в результате использования повторяющегося текста на страницах. Может применяться из-за наличия поддоменов (Google), гео-папок (Яндекс), сквозных блоков текста и других элементов.

7. «AI-контент» — резкое падение трафика по всем страницам сайта в Google. Сохраниние позиций по брендовым и навигационным запросам. Для снятия санкций требуется заменить сгенерированный текст на «ручной», удалить ряд страниц, которые не представляют ценность без AI-генерации. Начал активно применяться в 2024 году.

8. «Ссылочный взрыв» — штрафует акцепторов при наличии неестественно высокого темпа наращивания ссылочной массы. Доноры, участвующие во «взрыве» — также помечаются как неблагонадежные.

9. «Пингвин (версии 1.0–4.0)» — существенно понижает позиции по запросам в выдаче Google за спам в анкорах текстов входящих ссылок.

10. «Ссылочный спам / Пессимизация» — различные типы санкций, применяемые к сайтам при манипулировании ссылочной массой (ссылочные кольца, прогоны и другие).

11. «Внутренний/Внешний Непот» — не учёт внутренних/внешних ссылочных связей при наличии избыточной (спамной) перелинковки внутри/вне сайта.

12. «Минусинск» — сильное понижение сайта в выдаче по всем поисковым запросам за избыточное число и долю SEO-ссылок в ссылочном профиле сайта.

13. «Накрутка ПФ» — штрафует сайт за искусственное улучшение кликовых поведенческих факторов с применением мотивированного трафика или эмуляций действий пользователей в поисковой системе Яндекс. Ресурс продолжает нормально ранжироваться только по витальным и запросам с явным указанием URL-адресов с сайта.

14. «Кликджекинг/Clickjacking» — понижает в ранжировании сайты, которые используют технологию кликджекинга (размещают на странице невидимые элементы с которыми взаимодействует пользователь не подозревая этого). С помощью данной технологии владельцы сайтов обманным путём могут получить номер телефона пользователя из социальной сети и прочую персональную и неперсонифицированную информацию.

15. «Криптоджекинг/Cryptojacking» — помечает как «Сайт может быть опасен» и ниже ранжирует страницы, которые содержат скрипты, предназначенные для майнинга криптовалют с использованием вычислительных мощностей устройств посетителей проекта.

16. «Содействие имитации действий пользователей» — понижение позиций проекта в выдаче Яндекса за использованием КАПЧИ, которая заставляет рядовых пользователей выполнять действия по накрутке кликовых поведенческих факторов. Санкция направлена на сайты, которые вовлекают посетителей в накрутку, так как действия таких пользователей сложней отследить и отфильтровать.

Ассоциированность сайтов в группу

За рекламную составляющую

За «взрослое» содержимое

17. «Аффилированность» — группирует сайты на выдаче так, чтобы в зоне видимости остался только один из сайтов группы.

18. «На одинаковые сниппеты» — группирует сайты на выдаче в случае существенного пересечения текстовой информации используемой для сниппета в Яндексе.

19. «Назойливая реклама» — понижает в ранжировании сайты с избыточным рекламным содержимым (popunder, clickunder, pop-up и аналоги).

20. Обманная и избыточная реклама — понижает в ранжировании сайты с обманным содержимым во всплывающих окнах, уведомлениях и сайты с избыточным объемом рекламы.

В случае с Google используется алгоритм Page Layout, который оценивает наличие уникального контента в видимой части первого экрана на документе (которая доступна после перехода из поиска).

21. «За обман мобильных пользователей» — снижение общего уровня трафика проектов, которые отображают для мобильных пользователей агрессивную рекламу (подписка, кликандер, скачка и т.д.) и/или используют автоматические редиректы для посетителей с мобильных устройств.

22. «За рекламу, вводящую в заблуждение» — пессимизация проектов на которых размещена реклама или CPA-офферы, которая вводит пользователей в заблуждение по оценке алгоритма Яндекса (оформлена как элементы навигации, не помечена как реклама и так далее). Запущен в апреле 2018 года.

23. «За навязчивые оповещения» — понижение в результатах поиска сайтов, которые вынуждают пользователя подписаться на рекламные оповещения (push). Запущен в январе 2019 года.

24. «Adult-фильтр» — исключает из зоны видимости сайт по «не взрослым» запросам. Сайт фигурирует в выдаче только по запросам с явным adult-интентом.

За качество содержимого и бизнеса

За направленность ресурса

За обман поисковой системы

25. «АГС» — различные версии алгоритма в Яндексе, направленные на ограничение в ранжировании и индексации сайтов созданным не для пользователей и/или размещающих с себя избыточное число исходящих SEO-ссылок.

26. «Supplementary Results» — отображение документов с сайта в дополнительных (изначально скрытых) результатах выдачи Google.

27. «Панда» — понижает в результатах выдачи Google сайты с низким качеством информации.

28. «Некачественный бизнес» — запущен в первой половине октября 2021 года с целью понижения позиций сайтов, за которым стоит бизнес низкого качества. Оценивается: карточка организации на Яндекс.Картах, отзывы, адреса.

29. «Сходство с популярным сайтом» — официальный запуск был в июле 2022 года, когда Яндекс добавил информацию о фильтре в свою справку. Применяется, если сайт похож на популярный оригинальный источник и создан с целью монетизации на чужом навигационном трафике или с целью фишинга.

30. «Партнёрки» — ранжирует ниже сайты-партнерки не дающие дополнительной ценности пользователям.

31. «Псевдосайты» — ранжирует ниже или полностью исключает из индекса сайты без ценности для пользователей (по различным причинам).

32. «Бан» — исключает из индексации спам-сайты, направленные исключительно на привлечение трафика обманными техниками, среди них могут быть:

  • «Дорвеи»
  • «Списки поисковых запросов»
  • Сайты использующие «Клоакинг»
  • «Сайты-клоны»
  • Прочие

33. Различные типы ручных санкций «Manual Actions» в Google [15] — существенно сказываются на занимаемых сайтом позициях. Применяются в случае нарушения поисковой лицензии. Несмотря на то, что большинство санкций применяется алгоритмически, антиспам-аналитики не лишают себя возможности принять санкции вручную, если по тем или иным причинам, алгоритм обрабатывает ситуацию не до конца корректно.

За нарушение законодательства

34. Удаление из результатов поиска ссылок на сайты, которые нарушают законодательство (по решению суда), а также ссылок на копии таких сайтов (список копий, в России — предоставляет Минкомсвязи). В Российской Федерации — федеральные законы № 149 и № 156. В случае скрытия ряда доменов — поисковая система выводит оповещение об этом.

Таблица 1. Сводка со всеми типами фильтров, которые использую поисковые системы, их кратким описанием и указанием ключевой причины применения санкции.


А. Санкции за текстовое содержимое и микроразметку

Данную группу фильтров можно отнести к одной из наиболее «популярных» при продвижении сайта в поисковой системе Яндекс. Подробно фильтры «Переспам» и «Переоптимизация» были рассмотрены в статье [1], остановимся на «Новом» фильтре Яндекса с которым оптимизаторы начали часто соприкасаться в середине 2014 года и алгоритме «Баден-Баден», запущенном в 2017 году.

Проявление фильтра

Во 2-3 квартале 2014 года SEO-специалисты столкнулись с резким негативным изменением занимаемых сайтом позиций по запросам различной частоты и направленности. Более детальный анализ позволил выявить следующие закономерности в поведении:

  • Сайт резко теряет позиции по запросам, выпадения составляют вплоть до 1 000 позиций, когда продвигаемый документ пропадает из зоны видимости.
  • Сайт продолжает нормально ранжироваться по запросам, к которым фильтр не был применен.
  • Небольшая модификация запроса не возвращает сайт на изначальную позицию в ТОПе, как в случае с текстовым пост-фильтром «Переспам» [1].

Диагностика

Возможно два различных подхода к диагностированию проблемы:

  1. Отслеживание динамики позиции сайта и соизмерение данной динамики с общим изменением выдачи по запросу. В данном случае — совокупно выдача Яндекса не претерпевает существенных изменений, в то время как анализируемый сайт резко исчезает из зоны видимости (часто выдаваясь на 100-400 позициях).

  2. Использование расширенного языка поисковых запросов. При использовании данного подхода выполняется следующая последовательность действий (проверка автоматизирована в бесплатном сервисе «Пиксель Тулс»):

    • Задается исходный поисковый запрос.

    • Проверяется текущая позиция анализируемого сайта.

    • Текущая позиция соотносится с позицией, которая была до вероятного случая применения санкций, если она известна, в противном случае за позицию «До» принимается текущая позиция сайта.

    • Выбирается 2-3 контрольных сайта, которые были ниже анализируемого до вероятного применения санкций, но на текущий момент находятся значительно выше него. Если позиция «До» вероятного случая наложения санкций неизвестна, то выбираются сайты, которые находятся выше продвигаемого ресурса на 1-3 позиции на текущий момент.

    • В Яндекс задается поисковый запрос с использованием операторов расширенного поиска «site:» и «|», где выдача сужается до двух сайтов — «analyse.ru» — анализируемый сайт и «control.ru» — один из контрольной группы.

      Обновление от октября 2024 года. Увы, эта и несколько других техник проверки фильтра перестали работать и сейчас в «Пиксель Тулс» используется методика, которую мы не озвучиваем.

    • Если позиции анализируемого сайта при данном запросе оказываются лучше сайта из контрольной группы — весьма вероятен факт наложения санкций.

    • Для повышения уверенности процедура повторяется и с другими сайтами из контрольной группы.

      Данная последовательность действий полностью аналогична той, которая предложена для диагностики фильтра «Переоптимизация» [1]. Отличить данные санкции друг от друга можно по абсолютному числу потерянных позиций, в случае с фильтром «Переоптимизация» это от 5 до 30 пунктов, в случае с «Новым» оно оказывается значительно выше (от 50-60 позиций и более).

Важно заметить, что перед проведением данной диагностики рекомендуется исключить из рассмотрения прочие возможные причины данного поведения сайта (глава 2) и [2, 17].

Снятие

Для снятия «Нового» текстового фильтра Яндекса рекомендуется:

  • Уменьшить длину (в словах) и спамность заголовка окна браузера Title.
  • Уменьшить число чистых вхождений продвигаемого запроса в текст документа (изначально — двукратно).
  • Пересмотреть проценты вхождений слов из данных продвигаемых запросов в сторону уменьшения (изначально — двукратного).
  • Отправить текст на корректорскую проверку, то есть — устранить все несогласованные словосочетания, трудночитаемые предложения, орфографические и пунктуационные ошибки.
  • Уменьшить объем текста (изначально — на 20-30 процентов).
  • Устранить избыточное использование html-тегов логического выделения — <b>, <strong>, <em>, <i>, <u>, <h1>-<h6>.
  • Добиться равномерного распределения ключевых фраз в контенте страницы.

В случае если действия, описанные выше, после переиндексации документа и нескольких текстовых апдейтов поисковой выдачи Яндекса [3] не принесли ожидаемого результата — рекомендуется полностью переписать текст.

Пример

На рисунке 1 показана характерная динамика позиции сайта в Яндексе по продвигаемому запросу в период с 30 сентября 2014 года по 31 октября 2014 года. Красными прямыми указаны периоды выпадения сайта ниже 100 места выдачи, синими — появление сайта на 2 позиции в выдаче по высокочастотному запросу по Московскому региону.

Снятие санкций за текстовый антиспам

Рисунок 1. Динамика позиции сайта в Яндексе по продвигаемому запросу в Московском регионе с указанием периодов наложения «Нового» фильтра (красные прямые) и периодов снятия санкций (синие прямые).

Предполагается, что периодическое применение и снятие санкций может быть связано с пересмотром порогов наложения фильтра и активной работой с текстовой составляющей наблюдаемого документа на протяжении всего периода наблюдений.

Спам в разметке структурированных данных

Поисковая система Google вручную применяет санкции за спам в микроразметке / структурированных данных [18]. Данный тип санкций отражается в панели Search Console. Для снятия фильтра требуется: устранить замечания, после чего — направить запрос на повторную проверку.

Меры, принятые вручную из-за спама в микроданных

Баден-Баден от Яндекса

Алгоритм, запущенный в марте 2017 года [19], направленный на понижение в результатах выдачи переоптимизированных документов. Основные сведения:

  • Схожесть алгоритма «Баден-Баден» с предыдущим фильтром «Переспам» по проявлению, размеру штрафа и запросозависимому характеру.

  • Размер просадки для фразы — 10-40 позиций, в зависимости от конкуренции в заданном регионе.

  • Возможна диагностика путём модификации задаваемого в поисковую строку запроса.

Динамика позиций при применении фильтра Баден-Баден


Б. Санкции за ссылочную составляющую

Длительное время в истории поисковой индустрии ссылочные факторы являлись доминирующими в формулах ранжирования Яндекса и Google. Данное доминирование привело к активному развитию ссылочных бирж и в дальнейшем ссылочных агрегаторов, процесс линкбилдинга стал одним из основных в работах SEO-специалиста.

Описанные процессы не могли не повлечь за собой развития алгоритмов антиспама уменьшающих эффективность линкбилдинга и штрафующих сайты за:

  • Чрезмерно высокие темпы наращивания ссылочной массы — «Ссылочный взрыв».
  • Неестественный вид анкор-листа документа и сайта — «Пингвин» в Google.
  • Низкое качество ссылочной массы и создание «искусственных» сайтов — «Ссылочный спам».

Остановимся подробней на фильтре «Пингвин» от поисковой системы Google, как наиболее часто встречающемся при проведении стандартных работ по ссылочной оптимизации.

Пример

На рисунке 2 представлен интересный процесс многократного применения и снятия фильтра «Пингвин» для одного из продвигаемых сайтов.

Снятие фильтра Пингвин в Google

Рисунок 2. Динамика изменения трафика на исследуемый сайт из поисковых систем. Жёлтая кривая — трафик из поисковой системы Google, красная — из поисковой системы Яндекс (для сравнения и понимания сезонности спроса в тематике). Стрелками с подписями указаны как периоды активного продвижения и роста трафика (слева), так и даты применения фильтра (справа).

Данный пример, свидетельствует о том, что обновление и факт применения или снятия санкций во многих случаях происходит автоматически и не всегда синхронизирован с датами крупных алгоритмов «Пингвина». Для сравнения приведем ниже даты и номер версии согласно официальным заявлениям компании Google [4]:

  • 1.0 — запуск алгоритма, 24 апреля 2012.
  • 1.1 — обновление алгоритма (по ряду наименований версия 2), 26 мая 2012.
  • 1.2 — обновление алгоритма (по ряду наименований версия 3), 5 октября 2012.
  • 2.0 — новая версия (по ряду наименований версия 4), 22 мая 2013.
  • 2.1 — обновление алгоритма (по ряду наименований версия 5), 4 октября 2013.
  • 3.0 — новая версия (по ряду наименований версия 6), 21 октября 2014.
  • 4.0 — новая версия, 23 сентября 2016. Основные изменения: автоматическое/алгоритмическое снятие/применения санкций, фильтрация спама, а не только санкции.

Алгоритм по снятию санкций

К одной из основных причин применения фильтра относится неправильная (искусственная) работа с входящими на сайт ссылками и текстами этих ссылок (анкорами). Ниже мы приведем последовательность действий, применяемую для целой группы сайтов, которая в большом проценте случаев приводит к снятию фильтра «Пингвин».

  1. Выгрузка полного списка ссылок ведущих на сайт. Здесь рекомендуется использовать все доступные источники внешних ссылок на сайт, от панели вебмастера Google [5] и Яндекс [6], до используемых ссылочных бирж и сторонних сервисов [7].

  2. Проверка всех выявленных ссылочных доноров по ряду ключевых показателей:

    • Положение ссылки на странице-доноре.
    • PR главной страницы и PR страницы-донора.
    • Число уникальных исходящих ссылок на сторонние сайты, деленное на общее число страниц в индексе Google (без учёта страниц с поддоменов в поиске).
    • Посещаемость донора в месяц (уникальных посетителей) и данные сервисов Alexa и SimilarWeb.
    • Наличие в контенте страницы-донора стоп-слов из взрослой лексики.
    • Число уникальных получателей ссылок (акцепторов) с данной страницы-донора.
  3. Выделение по фильтрам с применением логики оператора ИЛИ (то есть, если выполняется любое из условий) и вынесение в отдельный файл доноров удовлетворяющих условиям:

    • Положение кода со ссылкой на странице ниже 90% всего кода документа.
    • PR главной страницы менее PR страницы-донора.
    • Число уникальных исходящих ссылок на сторонние сайты, деленное на число страниц в индексе более 1.
    • Посещаемость в месяц менее или равно 900 уникальных посетителей. Если данные о посещаемости недоступны в открытом виде, то следует произвести расчёт посещаемости с помощью вспомогательных сервисов — Alexa и SimilarWeb, предварительно произведя настройку процесса оценки посещаемости сайта по базе ресурсов с открытой статистикой.
    • На странице-доноре встречаются слова из списка стоп-слов.
    • На странице-доноре более семи внешних исходящих ссылок на уникальные сайты.
  4. Приведение всех выявленных доноров к виду — domain:site.ru и формирование txt-файла, где каждый донор указан с новой строки.

  5. Проверить, что процент чистых вхождений продвигаемых фраз в новом анкоре-листе не превышает 3-4% или 12-20 вхождений в абсолютном количестве. В случае если данные пороги превышены, дополнительно произвести смену анкоров или расширить список отклоняемых сайтов.

  6. Отклонение полученного списка доноров посредством инструмента Disavow Links [8].

В качестве получения дополнительной уверенности учёта данного инструмента в алгоритмах ранжирования Google предложена простая процедура проверки.

  • Выбирается уникальный анкор ссылки, такой, что он встречается только на одной странице-доноре, а сама страница проиндексирована.
  • Донор отклоняется с помощью инструмента Disavow Links.
  • Проверяется число найденных документов по запросу вида: ["уникальный анкор"] с ограничением списка сайтов для поиска до продвигаемого сайта и сайта-донора.
  • Если число найденных документов равно одному, то считается, анкор перестал учитываться при ранжировании (рисунок 3).
  • Если число найденных документов равно двум, то анкор по-прежнему учитывается при ранжировании.

Данная проверка показывает, что анкоры отклоненные с помощью инструмента Disavow Links должны перестать учитываться при ранжировании в Google.

Демонстрация работы инструмента Disavow Links

Рисунок 3. Демонстрация факта исключения анкоров входящих ссылок из ранжирования с доноров, отклоненных с помощью инструмента Disavow Links через панель вебмастера Google.


Алгоритм «Минусинск»

В ночь с 15 на 16 мая 2015 года, Яндексом была запущена первая волна санкций за избыточное число и долю SEO-ссылок в ссылочном профиле проекта. Было понижено 488 сайтов.

Среднее число просадки позиций по запросам — оказывается около 20. Падение происходит по всем запросам, в том числе и витальным для проекта (доменное имя, название компании).

C подробным анализом фильтра можно ознакомиться в источнике [16], где раскрываются методы диагностики и сводки по базовым показателям пострадавших сайтов.


В. Санкции за накрутку поведенческих факторов

Поведенческие факторы являются ключевыми в ранжировании сайтов по средне- и высокочастотным запросам. И хотя их число исчисляется десятками [9] под пристальным прицелом оптимизаторов оказались наиболее значимые, а именно, так называемые кликовые факторы на страницах результатов выдачи:

  • Число посетителей документа из выдачи по запросу.
  • CTR сайта в выдаче по запросу.
  • Региональные срезы данных показателей.

Именно на искусственное улучшение данной группы факторов, направлено большинство сервисов по накрутке. В чём же кроется причина данного явления?

Историческая справка

На рисунке 4 представлена динамика позиций одного из сайтов, который оптимизаторы, продвигавшие его, накручивали с помощью привлечения мотивированного трафика из выдачи Яндекса по запросу [вывоз мусора]. Выгрузка с историей по позициям сделана с помощью общедоступного сервиса [10] так чтобы каждый из читателей мог воспроизвести результаты.

Видно, что в 2011 году даже по конкурентным запросам имелась возможность вывести сайт на лидирующие позиции с помощью искусственного улучшения кликовых факторов (сайт попал сразу на 2 место после апдейта поведенческих факторов, показав рост 92 пункта).

Рост сайта после накрутки ПФ

Рисунок 4. Стремительный рост одного из накручиваемых сайтов с помощью искусственного улучшения кликовых поведенческих факторов в Яндексе в 2011 году, запрос [вывоз мусора].

Примеров данной динамики набралось достаточно для решительной ответной реакции со стороны антиспам отдела Яндекса. В июле 2011 года была произведена существенная чистка выдачи от накрученных данным методом сайтов [11]. Изучение динамики сайтов попавших под санкции позволяет утверждать, что добиться снятия санкций удалось лишь по истечению периода от 6 до 12 месяцев после остановки процесса накрутки.

Текущая ситуация

Представители поисковой системы Яндекс неоднократно делали официальные заявления относительно своего отношения к накруткам поведенческих факторов [12]. Коротко — данные искусственные действия однозначно воспринимаются как спам и относятся к черным методам оптимизации.

На текущий момент, можно утверждать, что фильтр за накрутку кликовых поведенческих факторов функционирует в Яндексе наравне с прочими санкциям и применение данной технологии оптимизации подвергает сайт существенному риску потери позиций в срок от 6 месяцев и более.

Факты накрутки и не учёта действий пользователей могут фиксироваться с помощью большого числа алгоритмических и статистических методов. Мы остановимся на одном из изящных алгоритмов, который уже применяется в антиспаме для функционирования санкции «Ссылочный взрыв».

  1. Назначается некоторое пороговое значение роста посещаемости сайта из выдачи по коммерческим запросам, после которого сайт считается участвующим в «накрутке». Это может быть, скажем, более чем 30-50% увеличение поискового трафика при неизменном числе показов сайта и сниппетах.

  2. Список всех пользователей (IP-адресов), которые посетили заданный ресурс из выдачи за отчетный период, помечается звёздочкой.

  3. Выбирается совокупность всех сайтов, которые считаются «накрученными» за отчетный период.

  4. Формируется множество пользователей (IP-адресов), которые принимали участие в 2 и/или большем числе фактов накруток (порог может быть выбран путём перебора.

  5. Все действия данных пользователей (IP-адресов) игнорируются при расчётах кликовых поведенческих факторов.

На рисунке 5 схематично изображено применение данного алгоритма, и выявление пользователя принимающего участие в накрутке и сайта указанного сверху N1 (красные стрелки и прямоугольник) и сайта указанного снизу N2 (зеленые стрелки и прямоугольник). См. также подпись к рисунку 5.

Возможность фильтрации накрутки ПФ

Рисунок 5. Вероятный алгоритм обнаружения мотивированных пользователей, которые принимают активное участие в раскрутке сайтов с помощью улучшения кликовых поведенческих факторов. Красным цветом указаны пользователи принимавшие участие в накрутке сайта N1 (сверху), зеленым цветом — пользователи принимавшие участие в накрутке сайта N2. Один из пользователей, принимавший участие в обоих актах накрутки помечен двумя звёздочками и действия с его IP-адреса могут не учитываться.

Имеются основания полагать, что составление списков «плохих» IP-адресов и их детектирование в актах накрутки поведенческих факторов и/или поисковых подсказок используются в Яндексе и позволяют улучшить алгоритмы антиспама и антикликфрода.

Применение санкций

Анализ текущего списка сайтов подвергшихся санкциям со стороны поисковой системы Яндекс, позволяет утверждать, что штрафуются в первую очередь сайты, которые:

  1. Являются последними в поисковой сессии пользователя осуществляющего накрутку.
  2. Имеют повышенные показатели таких метрик как (относительно других сайтов в сессии, см. рисунок 6):
    • Число просмотренных страниц на сайте.
    • Время, проведенное пользователем на сайте после захода из выдачи.

Таким образом, учитываются стандартные паттерны поведения, лежащие в основе всех популярных сервисов накрутки, что ставит целесообразность использования данных сервисов под большой вопрос. Совместно с описанным выше методом маркировки подозрительных пользователей (IP), сайты являющимся последними в поисковой сессии — могут попадать под санкции.

Паттерны поведения пользователей при накрутке ПФ

Рисунок 6. Сравнение двух паттернов поведения мотивированных пользователей, на случайных сайтах, посещенных до попадания на целевой ресурс (верхняя часть) и на раскручиваемом ресурсе, где надо проявить повышенную активность (нижняя часть). После посещения целевого сайта — поисковая сессия обычно заканчивается.

Диагностика и снятие

На текущий момент, оптимальным способом диагностики факта наложения фильтра за «Накрутку ПФ» следует признать — обращение в службу поддержки поисковой системы Яндекс через панель вебмастера [6].

Сотрудники службы поддержки прямо сообщают о факте применения данных санкций к сайту, что можно воспринимать как достоверное подтверждение и способ диагностики.

Рекомендуется, особенно в случае непричастности к актам искусственного улучшения поведенческих факторов, вступить в честный и аргументированный диалог, в котором открыто изложить свою позицию. В ряде случаев, данные действия могут ускорить процесс снятия фильтра.


Г. Санкции за рекламное содержимое

Одним из трендов в развитии технологий поисковой системы Яндекс — является курс намеченный на очищение Рунета от нелицеприятной, эротической и агрессивной рекламы.

Данной проблеме был посвящен ряд официальных заявлений [13], что, по заверениям сотрудников Яндекса привело к снижению числа страниц с шокирующей рекламой — в 6 раз и с pop-up рекламой — в 10 раз. Такая активная позиция разработчиков положительно сказывается на развитии отрасли интернет-рекламы и способствует становлению вдумчивого подхода к монетизации информационных ресурсов.

Снятие фильтра

Для снятия фильтра за некорректное рекламное содержимое требуется произвести смену размещаемых рекламных материалов или подключенной партнерской программы и дождаться полноценной переиндексации ресурса.

Для ускорения процесса рекомендуется после внесения существенных изменений на сайте сообщить об этом в службу поддержки поисковой системы через панель вебмастера [6].


Д. Фильтр на одинаковые сниппеты

Фильтр на одинаковые сниппеты наиболее характерен для товарных запросов и сайтов интернет-магазинов. Его проявление заключается в том, что с целью повышения разнообразия результатов выдачи Яндекса, скрывается ряд похожих результатов. Предпочтение отдается тем документам, у которых сниппет (Title и текст описания) существенно отличается от уже представленных результатов (см. также рисунок 7).

Диагностика фильтра на одинаковые сниппеты

Рисунок 7. Добавление в браузерную строку GET-параметра &rd=0 позволяет отображать сайты без группировки по схожести сниппетов и диагностировать фильтр.

Для диагностики фильтра достаточно после формирования выдачи добавить в браузерную строку GET-параметр &rd=0, который сообщает поисковой системе, что требуется отображать сайты без группировки по одинаковым (или очень схожим) сниппетам.

Далее, сверяя позицию анализируемого сайта до и после добавления параметра, в случае его резкого роста в результатах выдачи, можно диагностировать фильтр на одинаковые сниппеты.

Снятие фильтра

Для снятия фильтра на одинаковые сниппеты требуется:

  • Полностью переписать текстовое содержимое, используемое поисковой системой в качестве аннотации на выдаче (description или текст со страницы).
  • Скорректировать Title документа, уделив особое внимание пересекающимся с другими результатами фрагментам из 3 и большего числа слов.
  • Дождаться переиндексации документа и процесса обновления сниппетов (специализированный апдейт).

Е. Группы аффилиатов

При обсуждении проблемы аффилированности сайтов в группу часто звучит мнение, что это однозначно негативный фильтр или даже «смерть» одного из ресурсов. Но данное мнение не является до конца взвешенным, так как аффилированность сайтов не является отягощающим фактором при продвижении сайтов:

  1. По непересекающимся спискам поисковых запросов.
  2. По различным регионам России.

Тем не менее, требуется уметь производить диагностику аффилированности сайтов в группы, а также понимать факторы, которые используются поисковой системой при анализе сайтов.

Факторы

Работа с большим числом проектов позволяет выявить следующие группы факторов, которые анализируются поисковой системой Яндекс при ассоциировании сайтов:

  1. Пересекающиеся контактные данные на сайтах и справочниках (вида Яндекс.Справочник).
  2. Дублирование каталога, услуг и цен на продукцию (массового).
  3. Схожая структура каталога товаров.
  4. Расположение сайта на одном IP-адресе или одной подсети класса C.
  5. Наличие сайтов из потенциальной группы в общих аккаунтах Яндекса.
  6. Схожесть доменных имён и названий компании.
  7. Перенаправление трафика с одного сайта на другой.
  8. Наличие перекрестных ссылок.
  9. Схожесть HTML-вёрстки и общая CMS.
  10. Пересечение внешней входящей ссылочной массы (большое число общих доноров).
  11. Ручные проверки сайтов в случае наличия жалоб в службу поддержки.

Диагностика

Для проверки гипотезы аффилированности двух сайтов требуется проделать следующую последовательность действий:

  1. Проверить, что на сайты по запросам не наложены фильтры на одинаковые сниппеты (см. раздел Д), если фильтр на одинаковые сниппеты диагностируется, исключить данные фразы из дальнейшего рассмотрения.

  2. Зафиксировать позиции двух сайтов по всем запросам из семантического ядра.

  3. Если найдена группа (из двух и большего числа запросов), по которой оба сайта одновременно находятся в ТОП-30 выдачи Яндекса — аффилированности нет.

  4. Если подобных фраз нет, то последовательно выбираются запросы, по которым один из сайтов находится на хороших позициях и путём исключения данного сайта из выдачи проверяется факт резкого роста занимаемых вторым сайтом позиций. Поисковый запрос при этом выглядит как [анализируемый запрос ~~ site:pixelplus.ru], где pixelplus.ru — сайт находящейся на хороших позициях (см. также рисунок 8 и подпись к нему).

  5. Если второй сайт резко появляется в выдаче, то устанавливается фильтр аффилированности.

Проверка фильтра аффилированности в Яндексе

Рисунок 8. Диагностирование фильтра аффилированности сайтов методом исключения одного из сайтов из ранжирования с применением документированного оператора «~~». Ситуация 1 — на 9 месте находится сайт N1, при его исключении (ситуация 2) — в выдаче резко появляется аффилированный с ним ресурс (два выделены рамкой в выдаче).

Типы фильтра и его снятие

Абсолютное большинство аффилированных сайтов соотносятся в группу автоматически (алгоритмом), но встречаются и случаи ручного наложения санкций. Действия для снятия фильтра ручного и автоматического типа — несколько различаются.

  • Для снятия автоматического фильтра аффилированности требуется устранить пересечение двух сайтов по всем факторам, указанным в данной главе выше. Особое внимание следует уделять пунктам: 1, 2, 4, 6, 8. Для снятия автоматической аффилированности обращаться в службу поддержки не рекомендуется. После проработки ресурсов по указанным выше факторам, их переиндексации и обновления базы произойдет расклейка ресурсов.

  • Для снятия ручного фильтра аффилированности требуется:

    • Устранить пересечение по факторам указанным выше.
    • Вступить в переписку со службой поддержки Яндекса через панель вебмастера [6], где привести аргументы в пользу расклейки сайтов. В качестве аргументов могут рассматриваться различные реквизиты юридических лиц, различные договоры аренды помещений и прочие значимые для бизнеса сведения.

2. Алгоритм автоматической диагностики сайта

Большое число фильтров (глава 1 и [2]) и их разнообразное проявление вызывает большие трудности при диагностике сайта у начинающих и даже опытных SEO-специалистов. В связи с этим, предложен вспомогательный алгоритм последовательного исключения (или определения) фильтра для заданной тройки:

  • продвигаемый запрос
  • документ
  • регион продвижения

Имеется возможность автоматизировать диагностику сайта по списку поисковых запросов, используя заданный алгоритм действий.

Входные данные

На вход алгоритма подается:

  • список поисковых запросов с привязкой каждого запроса к продвигаемому на сайте документу;
  • регион продвижения сайта.

Далее, данные переформатируются к тройкам: запрос-документ-регион и проверка производится для каждого запроса отдельно. Далее выполняется цикл диагностики для каждого запроса из списка.

Последовательное исключение фильтров

Ниже представлена блок-схема последовательного исключения факта наложения заданной санкции для тройки: запрос-документ-регион и выявления возможных проблем при продвижении запроса.

Все проверки выстроены в порядке оптимальном для автоматизации процесса. Переход к следующему шагу осуществляется строго после выполнения предыдущего шага и отсутствия проблем на нём.

Проверка разбита на 10 последовательных шагов и способна выявить: проблемы с индексацией или технические ошибки, прохождение документов кворума, наличие adult-фильтра, наличие дублей документа в индексе, фильтр на одинаковые сниппеты, аффилированность, «Переспам», «Переоптимизацию» и «Новый» текстовые фильтры, а также соответствие документа основным требованиям оптимизации [14].

Последовательность действий для определения фильтров

Вторая часть схемы определения фильтров

Инструмент комплексной диагностики и описанный выше алгоритм действий проверки на фильтры в Яндексе реализован в рамках экспертного, автоматизированного инструмента в «Пиксель Тулс».

Комплексная диагностика на фильтры в Яндексе


3. Заключение

Нам удалось систематизировать всё многообразие санкций в поисковых системах и описать общие тенденции развития антиспам алгоритмов в поисковых системах Яндекс и Google. По списку перечисленных фильтров в каждой поисковой системе, можно выявить различные взгляды на существующие проблемы в информационном поиске у двух лидеров Рунета.

Яндекс в 2013-2014 годах — в большей степени нацелен на пресечение попыток манипулирования поведенческими факторами, а также активно прорабатывает вопросы агрессивной рекламы на информационных сайтах. Под пристальным вниманием также остаются вопросы качества текстовой информации («Новый» или «Текстовый антиспам» фильтр).

Google — видит большую проблему в манипулировании оптимизаторами ссылочными факторами ранжирования.

Кроме того, разработчики обоих поисковых систем также решают проблему низкого качества сайтов. В Яндексе за проблему ответствен усовершенствованный фильтр «АГС», в Google — обновленная «Панда».

Желаем читателю всегда оставаться вне поля действия указанных выше антиспам фильтров и добиваться успехов в поставленных задачах оптимизации исключительно белыми методами.


4. Полезные ссылки

  1. Текстовые пост-фильтры Яндекса — переспам и переоптимизация, 2013, https://pixelplus.ru/samostoyatelno/stati/tekstovaya-optimizatsiya/tekstovie-filtry-v-yandex.html

  2. Как понять, почему просел сайт, и быстро вернуть его в ТОП-10 Яндекса, 2013, https://pixelplus.ru/samostoyatelno/stati/prodvizhenie-saytov/vernut-sait-v-top-yandex.html

  3. Правильные апдейты Яндекса: краткий список анализатора апов, 2008-2014, http://tools.promosite.ru/updates/

  4. Google Penguin (From Wikipedia, the free encyclopedia), 2012-2014 http://en.wikipedia.org/wiki/Google_Penguin

  5. Google для веб-мастеров, 2007-2014, https://www.google.com/webmasters/

  6. Панель вебмастера Яндекса, 2006-2014, http://webmaster.yandex.ru/

  7. Ahrefs Site Explorer & Backlink Checker, 2011-2014, https://ahrefs.com/

  8. Инструмент Disavow Links, 2013-2014, https://www.google.com/webmasters/tools/disavow-links-main

  9. Передача «Практика» SEO (Выпуск № 06, часть 1) - Поведенческие факторы в поисковых системах, 2013, http://www.youtube.com/watch?v=atZhCTLV5kM

  10. Сервис MegaIndex, 2009-2014, https://www.megaindex.ru/?tab=wordAnalyze&do=wordAnalyze

  11. Операция «Чистый поиск» (газета Ведомости), 2011, http://www.vedomosti.ru/newspaper/article/263903/operaciya_chistyj_poisk

  12. Официальные заявления Яндекса по поведенческим факторам, 2011-2014, http://webmaster.ya.ru/10399, http://webmaster.ya.ru/10738, http://webmaster.ya.ru/18816, http://webmaster.ya.ru/19329

  13. Официальные заявления Яндекса по ограничениям в ранжировании сайтов с агрессивной рекламой, 2009-2014, http://webmaster.ya.ru/3772, http://webmaster.ya.ru/4967, http://webmaster.ya.ru/13533, http://webmaster.ya.ru/19327

  14. Когда страница считается оптимизированной под запрос, 2014, https://pixelplus.ru/samostoyatelno/stati/vnutrennie-faktory/trebovaniya-optimizacii-stranicy.html

  15. Список мер, применяемых вручную к сайтам в поисковой системе Google («Manual Actions»), 2013, https://support.google.com/webmasters/answer/2604824?hl=ru

  16. Алгоритм «МИНУСИНСК», 2015, https://pixelplus.ru/samostoyatelno/stati/vneshnie-faktory/minusinsk.html

  17. Бесплатные инструменты для SEO-специалиста «Пиксель Тулс», 2016–2017, https://tools.pixelplus.ru/

  18. Спам в разметке структурированных данных в Google, 2015, https://support.google.com/webmasters/answer/3498001

  19. Баден-Баден — новый алгоритм определения переоптимизированных текстов, 2017, https://yandex.ru/blog/webmaster/baden-baden-novyy-algoritm-opredeleniya-pereoptimizirovannykh-tekstov


Презентация доклада на IBC Russia

Последние изменения: семинар SEO-Партизан

Дмитрий Севальнев
Подписывайтесь
на рассылку
Я согласен на обработку
персональных данных

Подписаться


Понравилась статья?
 — по оценке 17 пользователей
30 ноября, 23:44
Оставить комментарий

Введено символов: 0 / 1200

Вопрос про метод проверки переоптимизации - как я понял из описания метод работает с помощью расширенного запроса к яндексу со следующей формулировкой [поисковый запрос (site:мойсайт.ru | site:сайт_конкурент.ru)] где сайт_конкурент.ru последовательно берется один из сайтов, который в общем поиске находится на 2-5 позиций выше. Я проверил этим методом и да, мой сайт всегда идет первым при таком запросе чем любой из сайтов конкурентов, которые в общей выдаче располагаются выше моего сайта. Более того, на первой странице выдачи выводятся только страницы моего сайта, сайт_конкурент.ru выводится только на второй странице выдачи. Но, при таком запросе даже любой сайт из ТОП-5 находятся ниже моего сайта(при том что мой в общей выдаче находится на 20-30 позициях), обычно на последней позиции первой страницы выдачи, что меня наводит на мысли насколько это вообще корректный метод?
Ответить

Введено символов: 0 / 1200

Алекс, увы да, сейчас комбинация вида «мебель (site:hoff.ru | site:divan.ru)» не работает и мы в Пиксель Тулс несколько раз правили методику. Яндекс борется и текущую проверку мы «не палим».
Ответить

Введено символов: 0 / 1200

Наши достижения

Входим в число лучших компаний России в сферах интернет-рекламы и разработки сайтов по результатам самых авторитетных рейтингов

Победитель в номинации «SEO под ключ» по итогам WORKSPACE DIGITAL AWARDS 2023
Лидер SEO-рейтинга среди сайтов SEO-агентств по итогам Optimization 2018
Optimization 2018
Рейтинг с самой прозрачной методологией SEO глазами клиентов 2023
SEO глазами клиентов 2023
Рейтинг известности SEO-компаний 2020 по версии SEO-news
SEO-news
Другие статьи автора
Вернуться в раздел
Другие статьи рубрики
Вернуться в раздел
Оставьте заявку

Нужна помощь с сайтом? Заполните форму, и наши менеджеры проконсультируют вас уже сегодня!

* — Поля, обязательные к заполнению.
Получайте полезные письма
Присылаем экспертные исследования и кейсы по SEO и интернет-маркетингу,
а также спецпредложения только для подписчиков!


Оставьте ваш e-mail:*
Я согласен на обработку
персональных данных

Принципиально новые условия сотрудничества в SEO — зарабатываем только вместе!

Уникальный тариф «Оборот», где доход агентства больше не зависит от визитов и позиций вашего сайта, а привязан исключительно к росту оборота вашей компании.

Тариф, который хотели сделать многие, но реализовали только мы.

К тарифу «Оборот»