Все мы знаем, что такое спам: он приходит к нам в почтовые ящики, на мобильные телефоны, в ICQ, в контакте, в одноклассниках, в дневниках и журналах, он повсюду, где собирается определенная аудитория и предназначен для рекламирования своего продукта либо для антирекламы чужого, а также, возможно, для фишинга. Спам бывает различных видов, начиная от писем счастья и оканчивая спамом по логам.
Спаммеры web-сайтов преследуют одну цель – получить как можно больше обратных ссылок на свой сайт для увеличения рейтингов в поисковых системах (тИЦ и/или PageRank), не смотря на то, что поисковики постоянно изменяют свои алгоритмы для улучшения качества поиска и неучета ссылок со спамных ресурсов.
Виды спама сайтов
Рекламный спам
Рассылка среди необходимой аудитории в рекламных целях какого-нибудь продукта или сервиса. Обычно такой вид спама имеет место на форумах, гостевых книгах, социальных сервисах, где собрана аудитория требуемой тематики.
Спам в комментариях
Сообщения в комментариях с ссылкой на свой ресурс. Обычно имеют место в плохомодерируемых блогах или дневниках, где комментарий и ссылку может добавить любой желающий. При этом, на данный момент, спамеры достаточно хорошо маскируются и их посты содержат примерно такой текст: “отличная статья, спасибо!”, “супер, именно то, что я искал!”, “автор жжет” и др.
Автопрогон
Прогон необходимого текста среди досок объявлений, комментариев блогов, форумов со вставкой ссылки на свой сайт. При этом ссылку стараются ставить в невидимом или плохо видимом символе, например – точке.
Рефспам (Реферер спам, Спам в реферере, Спам в логах)
Автоматическое обращение к сайту с подстановкой необходимого реферера. Ссылка на реферер, впоследствии, появляется в логах статистики сайта.
Смайлспам
Тот же автопрогон, только ссылка ставится в смайлике для маскировки.
Ниже в статье хотелось бы подробнее остановиться на одном из видов спама web-сайта – спаме по логам, или рефспаме.
Рефспам или спам по логам
Понятие рефспама появилось достаточно давно, когда дорвеисты искали любые методы добавления обратных ссылок на свой сайт и улучшения его позиций в серпе. Так, некоторые программы статистики, типа WebAlizer или WebStat в своих отчетах показывают множество данных, собранных из запросов обращения к web-ресурсу. Среди приводимых данных присутствуют источники траффика: рефереры, отсортированные в порядке убывания по количеству запросов с определенного реферера.

Искать сайты, где установлен WebAlizer или WebStat достаточно не сложно. Для этого в поисковой форме достаточно ввести примерно такой запрос: “Usage Statistics for” site:ru referer. Более 50 тыс. сайтов подвержены рефспаму и злоумышленники этим с удовольствием пользуются.
При рефспаме, обращение к сайту идет автоматически, вытягивая лишь пару килобайт с вашего ресурса, либо не вытягивая его вообще, а подключаясь с помощью функции открытия соединения (fsockopen).
Методы борьбы с рефспамом
Несмотря на заявления поисковых систем Яндекс и Google о том, что они уже не учитывают ссылки с подобных ресурсов, спам по логам не прекращает надоедать владельцам сайтов. Для борьбы с ним необходимо:
1. Во-первых, предотвратить появление ссылок на внешние ресурсы в программах статистики вашего сайта
2. Либо же закрыть статистику от индексации с помощью robots.txt
User-Agent: *
Disallow: /webstat/
3. Закрыть доступ в .htaccess для определенных IP адресов или рефереров
Order allow,deny
Allow from all
Deny from 192.168.1.1/8
Deny from 192.172.0.1/16
Или же запретить доступ с IP другим методом:
RewriteEngine On
%{REMOTE_ADDR} ^192\.168\.0\.1$
RewriteRule ^.*$ – [F]
И закрытие доступа по рефереру:
RewriteEngine on
RewriteCond %{HTTP_REFERER} iaea\.org [NC]
RewriteRule ^.*$ – [F]
Желаем всем вебмастерам решить свою проблему с рефспамом!
Ссылки по теме:
Что такое статистика WebAlizer.
Список сайтов с установленными WebAlizer или WebStat.


30 Ответов
Sergey
Ноябрь 11, 2008 at 14:53
1Эти спаммеры задолбали! @}-//-
Интересно, юзание смайла Темы можно считать за рефспам?
сигнализатор
Март 12, 2009 at 14:49
2А возможно ли размещение такого рода спама каким-либо образом на статичных сайтах?
wizi
Май 21, 2009 at 14:34
3я против спама
Роман
Май 30, 2009 at 15:04
4А прикольно смотреть как спамеры пытаются в этом блоге оставить комент (при чем делают осмысленные коменты), но не ведомо им что здесь все ссылки в noindex :)
оптимизатор
Май 30, 2009 at 18:30
5Роман, вообще-то здесь все ссылки в nofollow
rustik
Июнь 5, 2009 at 19:15
6Оптимизатор, вы ошибаетесь, здесь все ссылки в noindex. А для защиты от спамеров только nofollow не обойдешься, потому что для многих яндекс является одним из важнейших поисковиков.
mexxxat
Июль 25, 2009 at 10:47
7Вопрос а при рефспаме получается что только остаются ссылки в логах и все, то есть трафа с них нету так? или есть траф с владельцев сайтов которые кликают на рефера во время просмотра статистики?
Panteam
Август 21, 2009 at 06:29
8Роман- а может вы уже всех комментаторов считаете спамерами? И каждый комментарий это спам?
alexsi
Сентябрь 24, 2009 at 18:10
9Спасибо за ценный матерьяльчик. Про реф спам не знал, но вроде как гугл говорит что он сейчас бесполезен.
Mihalya
Сентябрь 27, 2009 at 15:27
10Ну так Вы ж поймите спамеров! Ну есть у них желание что-то делать, может у них другое не получается! И что, теперь людям ити с 8-го этажа пригать??7 )))))
webb
Октябрь 11, 2009 at 20:27
11cкорее спамерство это заболевание…
Dmitry
Февраль 24, 2010 at 12:17
12Спамеры просто задолбали с каждым днем все больше и больше
dmitrybibi
Март 25, 2010 at 10:15
13Про реф спам знал, вроде как google говорит что он сейчас бесполезен.
my89
Май 19, 2010 at 10:17
14А как осуществлять-то этот самый рефспам?.. Я чисто в образовательных целях спрашиваю :)
Газификация
Август 27, 2010 at 19:04
15Так как действительно производится рефспам комментарии будут?
sontrava
Ноябрь 23, 2010 at 19:53
16Самое интересное, что 99% спамят действительно впустую,
не понимая, что тот же Google проигнорирует их ссылки.
Это 10 лет назад спам влоб еще бы сработал.
А сейчас нужно хорошо думать.
Эксперименты с Google – открывают слабые места.
Но этих мест все меньше и меньше.
спам
Декабрь 6, 2010 at 14:13
17Про реф спам не совсем понял…
Статор
Январь 10, 2011 at 09:48
18Не раскрыта тема, и все-таки технически что такое рефспам ?
Gelen
Апрель 6, 2011 at 14:06
19Столько народа уже написало просьбу, чтобы описали, как этот рефспам делать. И плевать им, что уже он не учитывается :-D
arenda
Май 14, 2011 at 20:53
20Что нибудь учитывается точно
Андрей
Июль 17, 2011 at 10:24
21рефспам может и не учитывается, но я постоянно с ним встречаюсь на своих сайтах…
akkad
Июль 19, 2011 at 17:47
22Спасибо, познавательная статья. Не знал о таком явлении.
А в .htaccess Deny from нужно все IP перечислять?
spravka09
Июль 31, 2011 at 15:46
23Кто делает зло, тот богатеет. Спам – это зло. Товарищи, все за спамерство!
office
Август 9, 2011 at 14:09
24Да не учитывается рефспам. Сколько раз мой друг этим занимался – все коту под хвост!
filin75
Август 15, 2011 at 23:10
25Честно говоря даже не слышал о подобном методе спама (через логи), теперь буду иметь ввиду.
Алекс
Сентябрь 10, 2011 at 03:30
26Сечас рефспам также актуален как и прежде?
Dante
Сентябрь 12, 2011 at 18:43
27Фигня этот рефспам, не работает (
Ростислав
Ноябрь 3, 2011 at 22:04
28У меня в статистике по Бигмиру иногда показывает странные страницы, с которых яко бы заходили люди. Но там ни ссылки, ничего. Это оно и есть этот рефспам? Сообщите, плиз….
Юрий Б
Декабрь 18, 2011 at 03:40
29Вопрос, как определить ip c которого заходят, ведь это не IP сайта, а того компа, с которого идет работа скрипта.
Закрытие для индексации особо не помогает, так как эта реклама сейчас ориентирована на любопытных владельцев сайтов, которые идут посмотреть, кто на них поставил такую “жирную ссылку”.
Вот если бы можно было запретить скрипту, через который идет рефспам, обращаться к серверу или открывать этой программой сайты, это другое дело. Если есть такие методы, напишите о них.
SuriKenus
Февраль 3, 2012 at 15:20
30По-моему, проще делать все ссылки в логах неактивными и все дела.
Ответить