Спам в поиске Google: Прокси-сайты занимают более высокие позиции, чем оригиналы

В последние несколько недель велись активные обсуждения по поводу большого количества спам-результатов поиска в Google, включая контентные фермы и другие, настолько, что Google даже выпустил расширение для Chrome, позволяющее пользователям блокировать определенные сайты из их персонализированных результатов поиска. Но основная проблема с контентными скребками, агрегаторами и прокси-сайтами, занимающими более высокие позиции, чем оригинальные сайты, все еще существует.

Проблема индексации прокси-сайтов, которые просто перенаправляют URL оригинальной страницы через свои серверы, не нова. Эта проблема существует с 2007 года, и с введением канонического тега в 2009 году Google объявил, что проблема решена. Но, похоже, это не так. Прокси-похищение вернулось, и по какой-то загадочной причине оно, похоже, преобладает на прокси-сайтах, размещенных на собственном движке приложений Google, игнорируя тег “rel=canonical”.

Позвольте мне объяснить на примере. В последние пару дней я наблюдал значительное падение органического трафика по некоторым важным ключевым словам. Сегодня я заставил себя углубиться и проверить, что не так. Я был шокирован, увидев прокси-сайт – suzetteklierocks.appspot.com, который занял место, где ранее находился мой блог. К моему удивлению, я не смог найти свой собственный блог нигде на первых страницах поиска Google.

На скриншоте выше первый результат – это прокси-сайт, который похитил мою страницу. Это URL, указанный в Google – http://suzetteklierocks.appspot.com/techpp.com/2010/07/05/dropbox-alternatives-sync-files-online/. Как вы и ожидали, это всего лишь один из многих случаев, когда прокси-сайт занимает более высокую позицию, чем мой. Причина, по которой я не заметил огромных изменений в трафике/доходах, заключалась в том, что прокси-сайты просто перенаправляют на оригинальную страницу, но сайты на движке приложений имеют ограничение на использование полосы пропускания в день и, следовательно, перестают работать к концу дня, когда они превышают лимит.

Быстрый поиск по запросу site:suzetteklierocks.appspot.com показывает более 200,000 индексированных страниц для прокси-сайта. У меня есть канонические теги на странице, которые каким-то образом игнорируются Google при индексации дублирующей прокси-страницы. Я не эксперт по SEO, и не уверен, не упустил ли я что-то здесь. Гуру веб-спама Google, Мэтт Каттс, пообещал взглянуть на эту проблему, и я уверен, что он решит ее в ближайшее время.

Еще одна просьба к Мэтту и Google; Похоже, нет надлежащего способа сообщить о сайтах, размещенных на движке приложений Google. Пожалуйста, упростите процесс их сообщения. Также, если возможно, сделайте прокси-URL на основе движка приложений “noindex” по умолчанию.

Обновление: Я не могу явно заблокировать прокси-сайт, пока не верну SERP, так как потеряю перенаправленный трафик.

Обновление 2: Я понимаю, что ошибся в заголовке. Правильный – “Прокси-сайты ЗАМЕНЯЮТ оригиналы” ВЗДЫХАНИЕ

Обновление 3: Барри Шварц из SEL писал об этом вчера.

Обновление 4: Мэтт Каттс быстро отреагировал на это, как и обещал. Спасибо, Мэтт!

Обновление 5: Я уже вижу, что некоторые изменения внедряются, но процесс еще не завершен.