БлОговест

В свое время я встречался с заказчиками, которые пытались с помощью нескольких сайтов охватить все места на первой странице поиска по одним и тем же запросам, тем самым «перекрыв кислород» конкурентам.

Долгое время разработчики Яндекса не замечали проблему, потом начали реагировать на жалобы пострадавших конкурентов, и, в конце концов, решили бороться с этой задачей алгоритмически.

Наступление идет на всех фронтах: в естественной выдаче, в Директе и Маркете.
Помнится, в своем докладе о продвижении в регионах я писал о том, что Яндекс индексирует контактные данные на сайте. Эту информацию он применяет при расчете региональной принадлежности, эту же информацию он скорее всего применяет и в фильтре на пересечение аффилированных ресурсов.
Алгоритм работает по принципу «что бы никогда в жизни не сделали на своем сайте конкуренты и почти всегда делают сайты-клоны?»
Это:

1. Общие контактные данные (телефон, адрес, почтовый индекс).
2. Общее название фирмы во всех текстах [СПОРНО].
3. Общее название домена (pupkin-elite и pupkin-best) [СПОРНО].
4. Общий хозяин обоих доменов (whois) [СПОРНО].

Если эти пункты имеют место быть, то включается фильтр: по одним запросам показывается один сайт аффилированной группы, по вторым запросам — другой. Помимо алгоритмического определения клонов, хорошо работает стук.
Эксперты утверждают, что вылечить проект от подонобной «напасти» нельзя. Можно лишь делать упреждающие шаги.

Кстати, это, пожалуй, первый фильтр Яндекса, который меня скорее обрадовал, чем огорчил. По сути, бизнес клиента не страдает, один из его сайтов всегда будет в выдаче, Директе и Маркете.

Еще недавно на главной странице размер индекса был 3 307 916 067 веб-страниц. Сейчас он составляет 2 481 110 381 веб-страниц. Не хило так, за пару дней обрезать себя на миллиардик. Написал в саппорт, попросил прокомментировать это.

UPDATE: Вот что мне ответили в Яндексе…

Здравствуйте!

Дело в том, что на днях происходила уборка базы, мы убирали, дублирующие
документы. Если Вас интересуют изменения в поиске, то читайте блог -
http://webmaster.ya.ru/?ncrnd=2730

–
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
http://help.yandex.ru/

http://mig-va.livejournal.com/11697.html

Азиаты очень похожи на оптимизаторов.:)

Последнее время в Яндексе мы могли наблюдать странное явление, когда главные страницы многих сайтов перестали находиться по точному вхождению.
Пострадали даже крупные контентные проекты:

• apple.ru
• beeline.ru
• damochka.ru
• fishki.net
• gov.ru
• government.ru
• hp.ru
• indep.ru
• inosmi.ru
• intel.ru
• news.yandex.ru
• rolf.ru
• rzd.ru
• sun.ru
• toyota.ru
• ultracomp.ru
• vaz.ru
• yandex.ua

Скорее всего все эти морды выпали из-за одной и той же ошибки. Панель Яндекс.Вебмастер называет ее «Передано неверное количество данных».
Служба поддержки Яндекса отвечала на наши вопросы примерно так:

Те страницы на этих сайтах/форумах, которые сжаты с помощью gzip, наш робот в астоящее время не индексирует.

Да, могло - если сервер отдает заголовок «content-length». Если не отдаёт, то страницы, сжатые gzip все равно не индексируются, так как робот пока не умеет распознавать на них кодировку.

Мы решили эту проблему так: убрали передачу данных в gzip, и перестали передавать content-length. Большая часть выпавших морд вернулась в выдачу.
Похоже, разработчики Яндекса все-таки в курсе происходящего и принимают меры, страницы постепенно возвращаются.

Я давно привык, что список самых популярных слов Рунета не меняется годами: сонник, порно, рефераты, гороскоп, работа. Но случилось что-то невообразимое, запрос одноклассники и все его производные занимает умы более 1% всех пользователей поисковых машин. Таких пропорций никогда не было.

Для сравнения, в Буржуйнете спросом пользуются всякие Paris Hilton и Britney Spears.