레딧, AI 스크레이퍼를 저지하기 위해 웨이백 머신 차단

만약 당신이 예전의 레딧 게시물을 찾거나 사라진 스레드를 보기 위해 웨이백 머신에 의존한 적이 있다면, 그 창이 곧 닫힐 것입니다.

레딧은 대부분의 사이트를 인터넷 아카이브의 웨이백 머신에서 차단한다고 발표했으며, 일부 인공지능(AI) 회사들이 데이터 제한을 우회하기 위해 아카이브를 몰래 이용하고 있다고 주장했습니다.

인터넷 아카이브란 무엇인가?

인터넷 아카이브는 오래된 웹사이트부터 책, 문화 유물까지 인터넷의 역사를 최대한 보존하는 비영리 조직입니다. 웨이백 머신은 누구나 특정 시점에 웹페이지가 어떻게 보였는지를 볼 수 있게 해줍니다 — 삭제되었거나 변경된 경우에도 말입니다. 그러나 레딧은 아카이브가 사용자가 삭제한 게시물도 보관하고 있다고 주장하며, 이는 개인 정보 보호 문제를 야기한다고 주장합니다.

“인터넷 아카이브는 열린 웹에 서비스를 제공하지만, AI 회사들이 플랫폼 정책, 즉 우리의 정책을 위반하고 웨이백 머신에서 데이터를 스크랩하는 사례를 알고 있습니다.”라고 레딧 대변인 팀 랏슈미트가 더 버지에 발표했습니다. “그들이 사이트를 방어하고 플랫폼 정책(예: 사용자 개인 정보 존중, 삭제된 콘텐츠 관련)을 준수할 수 있을 때까지, 우리는 레딧 데이터를 보호하기 위해 일부 접근을 제한하고 있습니다.”

새로운 제한은 어제부터 이미 시행되었으며, 레딧은 인터넷 아카이브에 사전에 통지했다고 밝혔습니다.

이 변화는 웨이백 머신이 더 이상 레딧 게시물, 댓글 또는 프로필을 저장할 수 없음을 의미합니다. 이제는 레딧의 홈페이지만 저장할 수 있게 됩니다. 수년 동안 아카이브는 기자, 연구자 및 호기심 많은 사용자들에게 레딧의 방대한 대화를 보존하는 주요 수단이었습니다. 이제는 전체 역사 기록보다는 일일 트렌드 헤드라인의 스냅샷처럼 기능할 것입니다.

이 조치는 더 큰 추세의 일환입니다: 레딧은 AI 회사들이 모델을 훈련하기 위해 콘텐츠를 찾는 동안 데이터에 대한 통제를 강화해 왔습니다. 구글 및 오픈AI와의 거래는 수백만 달러를 가져왔다고 전해지며, 레딧은 AI 회사들이 접근을 원한다면 비용을 지불해야 한다고 분명히 밝혔습니다. 올해 초, 이 회사는 AI 스타트업 앤트로픽을 상대로 소송을 제기하기도 했습니다. 이들은 레딧 사이트를 무단으로 스크랩했다고 주장했습니다.

“우리는 레딧과 오랜 관계를 유지하고 있으며, 이 문제에 대해 지속적인 논의를 하고 있습니다.”라고 웨이백 머신의 마크 그레이엄 이사가 더 버지에 발표했습니다.

레딧은 이 조치가 사용자 개인 정보를 보호하고 규칙을 준수하기 위한 것이라고 주장하지만, 비평가들은 이것이 인터넷 역사 기록의 일부를 지우는 위험이 있다고 우려하고 있습니다. 한 번 레딧에서 게시물이 사라지고 아카이브될 수 없게 되면, 그것은 영원히 사라지며, 보존될 수 있었던 온라인 문화의 일부를 함께 잃게 됩니다.