구글 검색 스팸: 원본보다 높은 순위의 프록시 사이트

최근 몇 주 동안 구글의 스팸 검색 결과에 대한 논의가 많았습니다. 콘텐츠 농장과 그 외 여러 가지가 포함되어 있으며, 이로 인해 구글은 사용자들이 개인화된 검색 결과에서 특정 사이트를 차단할 수 있도록 하는 크롬 확장 프로그램을 출시하기도 했습니다. 그러나 콘텐츠 스크래퍼, 집계기 및 프록시 웹사이트가 원본 사이트보다 높은 순위를 차지하는 주요 문제는 여전히 존재합니다.

프록시 사이트가 원본 페이지의 URL을 단순히 자신의 서버를 통해 리디렉션하는 문제는 새로운 것이 아닙니다. 이 문제는 2007년으로 거슬러 올라가며, 2009년 캐노니컬 태그의 도입과 함께 구글은 이 문제가 해결되었다고 발표했습니다. 그러나 상황은 그렇게 보이지 않습니다. 프록시 하이재킹이 다시 발생하고 있으며, 어떤 신비한 이유로 구글의 자체 앱 엔진에서 호스팅되는 프록시 사이트에서 이 문제가 두드러지게 나타나고 있습니다. 이는 “rel=canonical” 태그를 무시하기 때문입니다.

예를 들어 설명하겠습니다. 지난 며칠 동안, 저는 몇 가지 중요한 키워드에 대한 유기적 트래픽이 상당히 감소하는 것을 관찰했습니다. 오늘, 저는 깊이 파고들어 무엇이 잘못되었는지 확인하기로 했습니다. 제 블로그가 이전에 순위에 있었던 자리에서 suzetteklierocks.appspot.com이라는 프록시 사이트가 순위에 올라 있는 것을 보고 충격을 받았습니다. 놀랍게도, 구글 검색의 첫 몇 페이지에서 제 블로그를 찾을 수 없었습니다.

위 스크린샷에서 첫 번째 결과는 제 페이지를 하이재킹한 프록시 사이트의 것입니다. 구글에 나열된 URL은 http://suzetteklierocks.appspot.com/techpp.com/2010/07/05/dropbox-alternatives-sync-files-online/입니다. 예상하신 대로, 이는 프록시 사이트가 제 블로그보다 더 높은 순위를 차지한 많은 사례 중 하나일 뿐입니다. 트래픽/수익의 큰 변화를 관찰하지 못한 이유는 프록시 사이트가 단순히 원본 페이지로 리디렉션되기 때문이지만, 앱 엔진 사이트는 하루에 사용 가능한 대역폭에 제한이 있어 한도를 초과하면 하루가 끝날 무렵 작동을 중단합니다.

사이트:suzetteklierocks.appspot.com에 대한 간단한 검색은 프록시 사이트에 대해 200,000개 이상의 색인 페이지를 보여줍니다. 저는 페이지에 캐노니컬 태그를 가지고 있지만, 구글이 중복 프록시 페이지를 색인화하는 동안 이를 무시하는 것 같습니다. 저는 SEO 전문가가 아니며, 여기서 제가 놓친 것이 있는지 확신할 수 없습니다. 구글의 웹 스팸 전문가인 매트 컷츠는 이 문제를 살펴보겠다고 약속했으며, 그는 조속히 이 문제를 해결할 것이라고 확신합니다.

매트와 구글에 대한 또 다른 요청: 구글 앱 엔진에서 호스팅되는 사이트를 신고할 수 있는 적절한 방법이 없는 것 같습니다. 신고하기 쉽게 만들어 주세요. 또한 가능하다면 앱 엔진 기반 프록시 URL을 기본적으로 “noindex”로 설정해 주세요.

업데이트: SERP를 되찾기 전까지 프록시 사이트를 명시적으로 차단할 수 없습니다. 리디렉션된 트래픽을 잃게 될 것이기 때문입니다.

업데이트 2: 제목에서 실수를 했다는 것을 깨달았습니다. 올바른 제목은 – “원본을 대체하는 프록시 사이트”입니다. 한숨

업데이트 3: SEL의 배리 슈워츠가 어제 이에 대해 글을 썼습니다.

업데이트 4: 매트 컷츠는 약속한 대로 신속하게 조치를 취했습니다. 감사합니다, 매트!

업데이트 5: 이미 몇 가지 변화가 진행되고 있지만, 과정은 아직 완료되지 않았습니다.