Борьба со спамом или превращаем спамера в постоянного комментатора
Пятница, 7 марта 2008 г.
Просмотров: 4176
Подписаться на комментарии по RSS
Об этой идее мне рассказал Дима (Dimox). Откуда он её взял, спрашивайте у него. 
Мне лишь удалось реализовать её для WordPress.
Основная борьба сейчас идет с ручным спамом. Это такие комментарии, которые публикуются вручную и, следовательно, их довольно сложно определить. Блогер вынужден решать: считать ли текст «Отличная идея! Спасибо!» спамом или искренним отзывом. Большинство из нас в таких случаях проверяют ссылку комментатора и если сайт более-менее нормальный, то разрешают комментарий.
Но не секрет, что то количество говносайтов, которое заполонило рунет делают такую проверку довольно сложной. Продажа ссылок заставляет «бизнесменов» делать такие сайты, которые довольно сложно отличить от нормальных.
Цель спамера - получить ссылку с вашего сайта. И вот здесь кроется основной секрет идеи. Спамер - скорее всего будет случайным посетителем, поэтому его ник, адрес или email будут единичными. Из всего этого следует, что отображать ссылку нужно только у тех, кто оставил несколько комментариев.
Основная проблема в реализации этого алгоритма состоит в том, что WordPress не содержит механизмов идентификации комментаторов. Поэтому если взять за ключ пару «url+email», то придется проверять её наличие в базе данных у каждого комментатора. Простой SQL-запрос который нужно выполнять у каждого коментатора (которых может быть много) приведет к серьезной нагрузке на сервер. Например при 30 комментариях вы получите +30 запросов.
Всё это конечно же не годится.
Потратив примерно неделю, я всё-таки придумал алгоритм, который выполняет нужные действия и требует всего один дополнительный запрос к БД. Если кратко, то предварительно формируется массив из «ключ = количество» (где ключ = url+email), а уже при выводе комментария эти значения сверяются с данными комментатора и если их количество больше заданного, то выводится ссылка.
Чтобы добавить эту возможность в ваш блог нужно скачать и скопировать в каталог шаблона файл «maxsite-comment-allow.php».
После этого откройте файл «comments.php». Найдите строчку:
- <?php foreach ($comments as $comment) : ?>
Добавьте перед ней код, чтобы получилось так:
- <?php require (TEMPLATEPATH . '/maxsite-comment-allow.php') ?>
- <?php foreach ($comments as $comment) : ?>
Теперь чуть ниже найдите вызов функции comment_author_link():
- <?php comment_author_link();?>
Вместо этого нужно написать так:
- <?php maxsite_comment_allow($maxsite_comment_data, 3, true); ?>
Число 3 указывает на минимальное количество комментариев для отображения ссылки. Последний параметр (true или false) разрешает отображать общее количество комментариев у данного автора. Первый параметр не меняем - в нем данные ключей.
Для ключа я использовал пару «url+email». Пришлось сознательно отказаться от ника, потому что многие авторы указывают его с разным регистром букв, а то и переставляют в нем буквы и слова (например имя и фамилия). Поля email и url в этом плане более «устойчивы».
Комментариев: 99
Максим, большущее спасибо!
Проверять пару "url+email" - очень разумное решение.
Респект! ;)
Какая реальная полезность =) Со смошниками бороться можно.
Не совсем понял, что помешает смошнику оставлять не один коммент за раз, а несколько к разным статьям? Это будет действенно только на первое время, пока не "просекут фишку".
Воть =)
Мы потом еще что-нибудь придумаем ;)
Ivan A-R, вы еще не учитываете тот факт, что такие спам-комментарии автор блога может просто-напросто удалить, лишая спамера возможности набрать заветное количество комментов.
Ну, так зачем позволять делать ему это вообще? Например, добавить тег noindex, к уже имеющемуся атрибуту nofollow. Ведь ссылки в никах - поисковикам не нужны, это для людей, следовательно можно их закрыть!
Мне кажется, что в итоге владельцы блогов поделятся на два лагеря. Первые (как я) - относящиеся к блогу как к авторскому ресурсу и модерирующие каждый комментарий. Я с недавнего времени в принципе не пропускаю комментарии: "Спасибо за пост", если они от людей, блоги которых я не читаю. Поэтому мне плагины особо не нужны.
Вторая группа - где идет активное общение в комментариях и модерировать сложно (или неудобно для посетителей). Вот тем, я думаю, таких плагинов со временем целую батарею придется ставить, к сожалению :(
Dimox, Тогда надо учитывать что бы комменты были разнесены по времени на достаточный срок. Потому как я могу прийти, оставить за пять минут пять комментов, и радоваться урлу. Тогда нет разницы, есть контроль или нет.
При таком раскладе, думаю выгоднее накапливать список "белых" адресов, которые вносятся автором, и демонстрируются без проверки. Остальные требуют премодерации (адреса, но не сами комментарии).
а зачем это вообще нужно то? поставить комментаторов в nofollow и noindex и все.
Crash, Flector, спамеров не сдерживает ни наличие nofollow, ни наличие noindex. Это не лично мое мнение, об этом говорят многие блоггеры.
Отлично придумал! =)
Сам ломал голову, как с этим бороться!
Спасибо за патч. Установил, протестировал - всё работает отлично!
Эммм... А идёт учёт написания урла? А то я иногда ставлю слэш в конце, иногда нет, да и www порой указываю, а порой нет. Плагин меня будет за несколько человек учитывать?
Мдя... прикрыли лавочку :smile:
Теперь Максим включит эту мульку в новой сборке и обезьянок можно будет увольнять :mrgreen:
Тарас, я уже сталкивался с этим. Проблема в том, что в базу заносится адрес без нормализации. Наверное можно изменить/дополнить запрос, чтобы к url (ключа) добавлялся еще и слэш. Но вот насчет www, боюсь, что уже не получится.
Чёбик Так от меня сборок уже не будет (надеюсь, что они всё-таки выпустят 2.5!). Разве что если Иван добавит мои плагины в свою сборку.
2Dimox:
спам идет в спам по любому, независимо от количества сообщений. акисмет или любой другой антиспам плагин не пропустит его. следовательно проблемы будут только у реальных юзеров и только то.
Flector, здесь речь идет про спам по теме поста, оставленный реальными юзерами! А прочих акисмет или другой аналог итак успешно удаляет, поэтому они не в счет. Прочитайте самое начало моего последнего поста.
Так давно же такой плагин есть: LuciaLinkyLove: http://money.bigbucksblogger.com/lucias-linky-love-a-dofollow-plugin-to-foil-human-comment-spammers/
А еще можно собирать в таблицу урлы с баклинками, урлы на которых автор сайта оставлял комментарии и урлы занесенные в блоглист.
А если сделать ссылку просто текстом. Т.е по динком мелким шрифтом указать сайт автора.
+Еще как можно определить спамера. Когда "девушка" Ирина указывает в поле сайт - сателли о строительстве...
Интересная вещица, непонятно только зачем в скобках рядом с ником выводится количество комментов
2Аристархов Александр Это как раз тот случай, о котором я ниписал, что это +1 запрос к БД на каждый коммент. ;)
А я вот как сеошник люблю оставлять разные адреса, ибо сайт и блог у меня не один. Но при этом не комментирую, где только можно, а когда действительно есть что сказать. И плагин отнесёт меня к спаммерам? Нужен white-list, определённо.
P.S. Тут за 5 минут родилось решение, ссылки в комментариях не отображаются вообще, только в блоке активные комментаторы, т.е. получается 10-15 (в зависимости от желания автора блога) ссылок на блоги самых активных комментаторов. Можно пойти дальше и модифицировать блок "активные комментаторы", чтоб тот учитывал полезность комментария по его длине, оценке автора etc.
P.P.S. Также спаммеры по-моему не подписываются на уведомления на почту обычно.
кстати, выравнивание по ширине - снижает читабельность (по мнению юзабилистов)
Если честно, то для меня этот способ дополнительный инструмент от рутины. Мне проще разрешить комментарий, чем каждый раз его модерировать. А так «залетные» комментаторы автоматом отсекаются - не нужно переживать.
Ну а если спамер превратится в постоянного комментатора, то я и не против. ;)
ну давайте из практики. если спамер хотел получить ссылку с блога, то ему приходилось писать один осмысленный коммент (варианты с комментом аля "супер" в расчет не берем, это детище пионеров), сейчас ему придется писать 3 комментария. вопрос - зачем посещаемому и известному блогу (а именно такие цель спамеров) разводить у себя в комментах ненужную активность, когда комментаторы совсем не заинтересованы в теме поста? для галочки?
2Максим Постоянный спамер - это жесть ;)
2Flector Гугль кстати любит обновления, в том числе и посты, которые комментируют. Они все сеошники)
Аристархов Александр, плагин, который вы указали, предназначен для удаления со ссылок в комментариях атрибута nofollow, и он вовсе не делает того, что реализовал Максим.
А почему реализация в виде дополнительного файла, а не плагина? И ещё я не пойму в чём смысл? Просто я например поставил плаг (всё через внешний редирект) и всё в ажуре. Умники конечно же пытаются пролезть, но жестоко обламываются. И по сути "первонахи" тоже приходиться или убивать, или оставлять (кому как нравиться), но к ссылкам это уже никак не относиться.
Файл подключается к циклу вывода комментариев, чтобы сформировать ключи. По другому просто не получится, поскольку в WordPress просто не предусмотрен action на это действие.
Не хочу вступать в дискуссию, Макс, спасибо за плагин!
хм. у меня вроде было больше комментов у тебя на сайте...неужели сайты разные писал? :idea:
а что хорошая задумка! но уж лучше я говнокаменты ручками буду удалять, а не копить их...
Нда... Ну не знаю. Иногда человек пишет хорошие осмысленные комментарии, а под ником скрывается сателлит, мне лично на это наплевать. Чего так носиться с этим модерированием? Главное, по-моему, текст коммента. Придумали на свою голову термин "говнокомменты", и превратились в самодуров, которые отбирают - так, вот это мне по душе, а вот это нет. Или хотите сказать, что хороший хвалебный коммент не пропустите? Конечно, пропустите, даже если это ссылка на сателлит.
Да, Максим, задачка... У тебя получилась такая петрушка: email один, а вот адреса ты разные ставишь - новый и старый. Вот скрипт и находит только один адрес для одного email. То есть ситуация просто была не предусмотрена алгоритмом...
В общем сейчас нужно обновить файл (это кто уже скачал), должно работать.
Чертовски хорошая идея ;)
А я вообще убрал УРЛ в комментах и нет проблем. Првда многие пишут комменты только из-за ссылок наверно
поставил плагин External redirect который превращает прямую ссылку с комментария типа http://govnosite.com на редиректную http://www.myblog.com/red.php?ext=http%3A%2F%2Fgovnosite.hcom.
как минимум не автоспамеры уже в обломе.:smile:
Я думаю что это просто увеличит количество спамерских постов и не принесет никакой выгоды.
Неплохая идея, а то я уже NOINDEXы успел поставить. :cool:
Спасибо за идею. Очень интересно, попробуем реализовать на моих сайтах.
Я вообще удалил поле "Сайт" и нет проблем ;)
PAIIITET, этим потеряем комментаторов
Кто даст зуб что гугль не пойдет по ссылке nofollow и не проиндексит noindex? Пусть и в какихто своих интересах? Я не дам
Я сделал плаг для перевода внешних ссылок во внутренние и добавил туда скрытие и ссылок на сайты комментаторов, и белый список и еще кучу всякой фигни. Посмотреть можно у меня на сайте ссылка на который наверно не будет показана
Ну на всякий пожарный - www.chanishvili.org
Макс эта сраная капча постоянно несрабатывает, и коммент терятся! Я уже привык копировать пост в клипбоард, но это напрягает! :twisted:
Отличная идея, спасибо
На самом деле плохая идея. Ставьте OpenID. Всё, после этого даже CAPTCHA не нужна. OpenID фильтрует анонимов, облегчает жизнь честным пользователям (им не нужно светить почтовые адреса, запоминать ненужные пароли и вводить бессмысленные цифры). Вдобавок с вами будут активно общаться пользователи ЖЖ, а не только ваши близкие знакомые (которые когда-то не поленились зарегистрироваться). Годами пользуюсь, ни одного случая спама через OpenID. В общем, рекомендации лучших собаководов.
Никогда не нравился OpenID. Абсолютно никаких преимуществ, только пользователям лишние проблемы.
2 Roland Chanishvily, и я не дам)
2 Максим , а чем oneface лучше?
А можно камменты как - нибудь сделать не индексируемыми посиковиками? Ну чтоб даже если спамер и смог воспользоваться формой комментариев, то SEO выгоды ему от этого не было?
Что-то не видел я полностью рабочих OpenID-плагинов, может вы подскажете какой?
полностью согласен с тем, что постоянные спаммеры (тупые комментарии без вчитывания в текст) мне например не нужны. даже если это осмысленные короткие фразочки. Опять же я их не удаляю, но и урлы не стану пускать.
рабочих OpenID по-моему и нет и не будет)
Дополнение имеет право на жизнь, так как SMOшники действительно одолевают. Но на вкус и цвет ...
Cooluck (ИМХО) предложил замечательную идею по поводу активных комментаторов.
Мне не совсем понятен смысл борьбы спаммера за ссылку с nofollow-ом, но, если это поможет уменьшить приток бессмысленных комментариев - поставлю непременно. Спасибо.
KF-WEB, спасибо ;)
levati, во-первых, это трафик (обычно очень маленький)
во-вторых, ссылка с nofollow индексируется Яндексом, Рамблером etc. и ссылки с комментариев в блогах дают неплохой прирост ТИЦ к примеру.
в третьих, существует мнение о том, что Гугль всё-таки учитывает ссылки с no_follow но меньшим весом.
Офтоп: Максим, каким запросом выводится потребление памяти (как в футере)?
Максим, вот все думаю, а для чего проверка email+url? Нам же только спаммерские урлы мешают. Я думал только их и проверять... Со статистикой тут облом, но цель-то наша не в статистике ;)
Собственно, спасибо за изобретение, с такой же проблемой сталкнулся, у самого есть сайты на WP, обязательно заюзаю ваш код.
А зачем придумали поле для ссылки? Может лучше убрать ее?
Кстати регистрация тоже отсеивает долю спамеров, а вообще я бы сделал бы красиво... мне например не жалко что на моем блоге будут ссылки но только полезные...:smile:
2Pali: забавно слышать это от спамера ;)
Максим, а "белый список комментаторов" к этому скрипту реально добавить? Было бы чертовски удобно...
Странно а у меня Akismet ничего не пропускает. Нету спама с ним и всё тут. (:
А у меня вот "хороших" комментариев сеошники не оставляют. Я бы их с удовольствием пропускал - но нету их. Одни пионерские.
И вообще блог в основном в ЖЖ комментируют, а на основном сайте - раз в сто лет. Не то, чтобы это была проблема - те, кому надо, все равно читают. Но просто вот эти сеошные комментарии стали реальной проблемой, действительно. Так что спасибо! 
Кого интересует плагин OpenID для WP — у меня стоит некий OpenID Comments for WordPress (вот тут: www.slovomania.ru/dnevnik). Да, я дорабатывал его напильником немного. И, похоже, еще придется — надо бы добавить в меню blogspot, который теперь тоже поддерживает OpenID, уже жаловался один пользователь. Эффекты от плагина такие: во-первых, отпадает нужда в модерации комментариев. Во-вторых, появляется много комментариев от пользователей из ЖЖ (у меня примерно 90% их). Могут комментировать также юзеры Liveinternet, moikrug и standalone-блогов с OpenID, но у меня пока не было ни одного случая. Blogspot вроде пока не работает, хотя должен. Кроме того, у вас появляется возможность комментировать от имени своего блога в ЖЖ (не во всех, но во многих) — с хорошей ссылкой на свой сайт. В общем, я вижу кучу преимуществ.
Кому не нравится или не хочется возиться, можно сделать вот что. Расставлять на ссылки в комментах rel="nofollow". Или вообще резать все ссылки (я бы рекомендовал только в тяжелых случаях). Поставить антиспамовый плагин вроде Akismet и вручную модерировать. Но если комментов много, ручная модерация — не выход.
Удивляет такое количество восторженных комментов. Зачем вообще на сайте комментарии спаммеров? Ну будут они по 2-3 коммента постить. Суть та же - 2-3 коммента спама.
Если сайт авторский и автор просматривает все комментарии, то наверно лучше делать наоборот, показывать ссылку только тем комментаторам, которым ты доверяешь или сделать кнопку - "купить ссылку"
с автовыпиской счета на WM 
Нашел плагин по теме. Шифрует внешние ссылки в постах, страницах, блогролле и т.п.
В поисковике внешние ссылки видятся как внутренние.
Есть white-list.
Спамеру остается надеятся на то, что по его ссылке кто-то кликнет.
нашел его здесь
Не знаю. Меня пугают такие шифрованные ссылки... Лучше уж сделать редирект через свой-сайт/?go=сайт-куда
Может быть в таком шифровании ссылок, есть какие то подводные камни.
Этого я не знаю.
НО идея плагина мне понравилась тем, что я могу управлять
видимостью ссылок через white list.
А редирект "свой-сайт/?go=сайт-куда" меня напрягает.- это ж надо к каждой ссылке добавить вручную приставку "свой-сайт/?go="
Хотя я с вордпресс работаю не давно, может есть какой плагин для редиректа ссылок автоматом?
прочитал о плагине external redirect. Все с редиректом теперь ясно :smile:
Респектище огромное, Макс. Я поднимал эту тему у себя, но так и не нашли выхода. Вы с Димоксом нашли его! Супер. Респект и уважуха =):cool:
В блоге "Микромаркетинг" находиться исследование по теме и проводится закрытое бета-тестирование нового любопытного плагина против спама в комментариях http://blog.micromarketing.ru/uncategorised/spammers-suck/
*находится
Ну не сдерживает, и пусть не сдерживает. Пусть пишут. Если текст комментария (именно текст) не нравится, комментарий удаляется. Задача-то какая? Не дать ссылке проиндексироваться и не отдавать тИЦ и pr? Ну так noindex и nofollow эту задачу решают.
"превращаем спамера в постоянного комментатора" - эта фраза самая главная, давно об этом думаю.
Очень нужное направление развития сайтов на вп
Максим спасибо за плагин, блестящая идея! От спама в комментах я избавился и заодно приобрел сплогера который видимо в отместку стал воровать контент
Да конечно смысл в плагине есть, но небольшой, поскольку сейчас спамер может просто открыть 3-4 записи и оставить свое любимое "аффтор жжет". Например на "Блоге в помощь" в правилах написано, что комментарии оставленные через короткий промежуток времени считаются спамом, поскольку за такое-то время невозможно успеть прочесть пост. Я недавно где-то скачал тему, в которой после отправки комментариев на некоторое время блокируется поле для комментирования, но блокируется только к той записи к которой отправлен комментарий, но ведь по-идее можно и сделать так, чтобы блокировалось поле для всех записей, таким образом спама будет еще меньше.
Неплохо было б если б ктонибудь написал такой плагин. Если заинтересуетесь, то напишите на email - скину эту тему.
Идея интересная, но вручную редактировать код лень. Так что нужен готовый плагин.
Хорошая была штука, но пришлось отключить, когда увидел, что трекбеки она тоже режет. Не хватает функционала, реально нужно:
1. Чтобы не резались трекбеки
2. Белый список комментаторов
А пока буду как и раньше модерить вручную. А жаль, хорошая была идея..
СЕО Умнег, можно отделить трекбеки от комментариев (как, например, на моем блоге), тогда они не попадут под действие патча.
Белый список тоже возможен, я его использую с этим решением. Но это пусть Максим расскажет
Virtual, +1!
Все заинтересованные лица эту статью уже прочитали
- у меня появился первый смошник, забахавший сразу 3 комментария к разным записям. Понятно, что в постоянного читателя он от этого не превращается, можно хоть 10 раз коммент написать ни о чем - просто времени на 2-3 минуты больше потратится у него... Увеличивать порог в 3 комментария для показа ссылки несправедливо для реальных комментаторов. В общем, видимо, "ручной" просмотр комментов - единственный способ отделить зерна от плевел...
Поставил код, Перекатал пхп Файл. И не чего появляется вот, что
?if (is_single() || is_page()) {
Максим кините пару слов на мыло..
Господа, так есть ли плагин для преобразования внешних ссылок во внутренние в виду /?go=http://....?
спасибо за изобретение, с такой же проблемой сталкнулся, у самого есть сайты на WP, обязательно заюзаю ваш код.
Имхо, с ручным спамом бороться лучше руками.
не прочитал все каменты, но может в них уже однимался вопрос о взаимодействии maxsite-comments-allow и плагина show top commentators. ведь говноссылки в списке комментаторов вылазят без проблем, а не хотелось бы
для Ximik
есть такой плагин: Click Counter Plugin For WordPress
А не проще подредактировать код и ручками выставить nofollow/noindex для вншних ссылок? Достаточно проверить в php
$nofollow = ' rel="nofollow"';
if(strpos($link, $_SERVER['HTTP_HOST']) !== false) {
$nofollow = '';
}
anchor
?
Roland Chanishvily, если Гугль пойдет по ссылке nofollow и проиндексит noindex, то ничего страшного не случится.
А вообще какой смысл бороться со спамом в блогах такими методами? Как уже писали, если уж действительно вам не хочется спама, то просто уберите поле "сайт" и уберите возможность добавлять в комментариях активные гиперссылки.
Я пока еще не добрался до своего личного блога, на домене первого уровня, но на доменах бесплатных есть уже парочка, и ничего, хоть правда они не очень раскручены.
Да, на форуме тоже приходят и можно сказать спамят, но я просто создал отдельную категорию для них и всё.
Хотя, конечно, тоже не люблю спам, когда он не по теме, на моем религиозном форуме пришлось вчера удалять пользователя, умудрился проспамить 15 сообщений и тем, при чем же с тематикой околорелигиозной.
Лучше всего сделать возможность спамерам добавлять свои ссылки только в некоторые статьи и все.
P.S.
Кстати, первый раз увидел сообщение-предупреждение:
"Внимание: антиспам - зверь! Копируйте своё сообщение перед отправкой. На всякий случай."
За что вам большущий + !
Т.к. не раз приходилось обламываться, когда спамил :smile: Но уже научился на опыте, что перед добавлением скопировать текст надо, но опыт пришел с форумов, так что не со спама на блогах.
Хм...
Интересно, а мой коммент считается спамом или нет?
Я, даже не знаю, зайду ли я сюда снова, хотя... зайду, просто, хотя бы ради того, чтобы прочитать ответ, если будет.
Только руками практически никто не спамит. Я у себя в каментах порой такие шедевры отлавливаю, просто писец! Целые абзацы, казалось бы нормального подходящего по смыслу текста, но вчитываясь понимаешь, что подходит этот камент практически ко всему, что бы ни было написано в заметке. Все это на автомате. А если спамят по базе, до естественно это не единичный пост. И такой метод борьбы не работает. Точнее работает на те 2% спама, которые делаются руками. ИМХО не стоит овчинка выделки...
мне кажется что таким образом спаммер не превратится в постоянного комментатора - у меня аскимет фильтрует много спама и очень часто бывает, что 20-30 комментов идут с одного айпишника, но комменты вполне приличные и их можна было б даже пропустить если бы не ссылка в поле сайт. Но поскольку я только начинаю развиватся на поле блоггерства, то мне такие комментарии не помешали б и я пропускаю их, а после редактирую и удаляю ссылку.
Так вот - может есть возможность сделать хак или плагин, который бы пропускал комменты спамеров но при єтом вырезал ссылку?
Вручную сейчас спамят очень редко, восновном все роботы пишут
Я поступил проще, убрал из шаблона вывод ссылки на сайт в комментарии и все, только текст
Я тут в преддверии персонального блога фильтрами озаботился. Можете что-нибудь сказать по поводу SpamKarma2?
Пример блога с Акисметом видел - Акисмет явно не помогает.
Ну, коммент-то свой я уже увидел, а ответа видимо не дождусь ни на этот вопрос, ни на все предыдущие...
видимо за спамера посчитали...
оппа, теперь коммент сразу появился :razz:
ладно, пока!
комментарии не читал...
но от спамеров этот скрипт не спасет...
у спамера обычно куча емайл-адресов, соответственно
email+url для него будет не такой уж сложной помехой ;)
Неплохой вариант защиты, но, думаю, это спасет только от автоматического спама)
А в ручную когда комменты оставляют, то чаще это несколько сообщений.
А для использования в wp 2.7 ничего дорабатывать не надо?
У меня после установки сей примочки перестали отображаться ссылки у всех пользователей. Попробовал даже указать минимальное число комментов = 0, и все-равно ссылки не отображаются. Счетчика комментов тоже нет...