Каждый вебмастер сталкивался с ситуацией, когда в один момент поисковые системы начинают понижать позиции сайта в выдаче. Пересмотрев все технические нюансы, потратив уйму времени, вы начинаете понимать, что дело далеко не в технической составляющей сайта, а просто ваш контент разворовали. Самое дорогое, что у вас есть на сайте – это ваш контент, ведь именно контент является основным фактором ранжирования для поисковых систем. Именно контент дает вам трафик на сайт, посетителей из поисковых систем, ну и конечно же продажи. И вот, представьте, вы работали над наполнением сайта в течении нескольких лет, а кто то взял и украл это все за 2 минуты, да еще при этом получил лучшие позиции в Гугл.

Совсем недавно, Джон Мюллер заявил, что Гугл не разбирается кто был первоисточником, и что контент воруют даже с блогов самого Гугла. Он признал наличие проблемы, но, как это обычно и бывает, не предложил никакого действенного решения, хотя такое решение существует.

воровство контента

Кто ворует контент и зачем?

Если у вас никогда не воровали контент, то скорее всего, у вас никогда не было сайта, или же сайт был, но ваши SEO позиции еще не проседали, и вы просто не обращаете внимания на уникальность своего контента. Защита контента от парсинга – такая же важная задача, как и защита дома от воров. Если оставлять дверь в дом постоянно открытой, то это вопрос времени, когда к вам наведаются непрошенные гости и своруют то, что они посчитают нужным. Давайте попробуем разобраться кто эти люди, которые так и норовят украсть вашу интеллектуальную собственность.

Дорвеи

Дорвей – это вид поискового спама, задача которого состоит в получении и дальнейшего перенаправления трафика по определенным запросам. Грубо говоря, кто то запускает скрипт, который находит тысячи страниц по определенным запросам, копирует их на свой сайт, а поисковые роботы из-за несовершенства алгоритмов выводят данные страницы в ТОП выдачи. Конечно, со временем эти страницы выбрасываются из индекса, но я видел ситуации, когда такие сайты могли жить годами и собирать трафик, который должен был достаться добропорядочным вебмастерам. Такие скрипты не нацелены именно на ваш сайт, они ползают по сети и собирают миллионы страниц ежедневно, потому не стоит рассчитывать на то, что вас они обойдут стороной.

парсинг сайта

Конкуренты или Negative SEO

Есть множество способов выбить конкурентов из выдачи поисковых систем. Если вы наберете в Гугл “negative seo”, то найдете множество сервисов, которые предлагают различные способы избавиться от конкурентов в борьбе за первые позиции в поисковых систем. Один из методов – это снижение ценности контента конкурента.
Ваш контент копируется, создаются сайты с полным копированием информации, при чем это может быть от нескольких десятков, до сотен сайтов. Помимо этого, ваш контент публикуется в профилях пользователей, на заброшенных форумах, на сайтах вопросов и ответов и так далее. Конечно, удалить весь контент с третьих ресурсов достаточно проблематично и занимает очень много временных затрат, и далеко не факт, что даст результаты.

Недобросовестные вебмастера

Писать качественный контент достаточно трудоемкий и дорогостоящий процесс. Многие вебмастера находят сайты в ТОП поисковых систем и заказывают рерайт контента. Как правило, уникальность такого контента может быть 50% – 60%, но представьте, что таких заказов были десятки. Таким образом, уникальность вашего контента стремится к нулю.

Как защитить контент от копирования

Согласитесь, что вряд ли вы будете проверять уникальность страниц своих сайтов каждый день. Более того, представьте, что у вас не десять, а тысячи страниц в блоге. Ручная проверка даже раз в месяц для вас превратится в напрасную потерю времени и денег. Более того, не существует какого то чудо-скрипта, который в одиночку сможет остановить все возможные попытки воровства контента. Однако, мы приведем комплекс мер, которые помогут сделать копирование вашего контента настолько трудоемким процессом, что хакеры или конкуренты выберут другие сайты для воровства, ведь на ваш сайт им придется потратить много времени и ресурсов.

Защита от парсеров

Большинство парсеров работают полностью в автоматическом режиме. Это значит, что пишется скрипт, который ворует контент с сайтов без участия человека. Это значит, что простым и очень эффективным способом защиты контента будет блокировка ботов и парсеров при попытке загрузки сайта. Мы используем для этого наш модуль, который определяет посетитель или бот зашел на ваш сайт и блокирует скрипты и парсеры еще на стадии загрузки сайта, при этом он никак не блокирует нужных ботов, таких как гуглбот, или яндексбот.

защита от парсеров

Автоматическая проверка уникальности контента

Единственный способ полностью контролировать уникальность контента – это постоянная проверка уникальности. Ведь даже если вы заблокируете доступ парсеров и ботов, все равно остается вероятность того, что недоброжелатели зайдут на ваш сайт и скопируют контент вручную. В этом случае вам сможет помочь только утилита, которая будет в автоматическом режиме ежедневно/еженедельно проверять ваш контент на уникальность. Как только будет найден сайт, который скопировал ваш текст, вы сможете подать жалобу в Гугл и убрать сайт, который скопировал ваш контент из поисковой выдачи.

Заключение

Защитить контент сайта можно только комплексным подходом к проблеме. Написано много статей о том, как заблокировать правую кнопку мыши на сайте, правильно настроить .htaccess и все равно эти методы не дают нужный результат. Все равно, если на ваш сайт зашел злоумышленник с целью копирования контента, то правая кнопка мыши ему ни к чему, он все равно найдет способ как вытащить ваш текст из кода страницы. От ручного копирования спасти может только систематическая проверка страниц своего сайта на уникальность и последующая жалоба в поисковые системы.

Блокировать автоматические парсеры способен только уникальный скрипт, ведь как только блокировщик становится публичным и появляется в свободном доступе, все парсеры пытаются его обойти. Именно поэтому мы держим код нашего блокировщика в закрытом виде и не продаем его, как модуль. При этом, мы каждый день пополняем базу вредоносных ботов, которые не только воруют контент, но и увеличивают нагрузку на ваши сервера и сайты.