Автор Тема: Новая напасть - бот Ahrefs  (Прочитано 2784 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 72931
  • Репутация: +321/-3
  • Пол: Мужской
  • Киевстар и Коболев одна шайка
    • Награды
Новая напасть - бот Ahrefs
« : 08, Сентябрь 2013, Воскресенье, 10:27:24 am »
Я так понимаю, что это какие-то товарищи из Украины написали бот в целях SEO, поисковой оптимизации. Сейчас ходит с ip 5.10.83.*, пытается нагадить написать ответ во всех темах. Админы пишут, что бот изворотливый, меняет ip, игнорирует robots.txt.

У кого трафик не бесплатный или условно-бесплатный, те попадают на деньги. У кого трафик бесплатный, для тех беда - дополнительная нагрузка на сервак.

Ну а сервис https://ahrefs.com/ платный.


Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 72931
  • Репутация: +321/-3
  • Пол: Мужской
  • Киевстар и Коболев одна шайка
    • Награды
Новая напасть - бот Ahrefs
« Ответ #1 : 08, Сентябрь 2013, Воскресенье, 10:28:42 am »
Полазил по их сайту и обнаружил много полезного - https://ru.ahrefs.com/site-explorer/overview/subdomains/g-news.com.ua


Оффлайн stormrs

  • Знаменитый писатель
  • ***
  • Сообщений: 6227
  • Репутация: +180/-1
  • Пол: Мужской
    • Награды
Новая напасть - бот Ahrefs
« Ответ #2 : 08, Сентябрь 2013, Воскресенье, 12:22:15 pm »
Хм, неслабенький такой отчетик ;)

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 72931
  • Репутация: +321/-3
  • Пол: Мужской
  • Киевстар и Коболев одна шайка
    • Награды
Новая напасть - бот Ahrefs
« Ответ #3 : 08, Сентябрь 2013, Воскресенье, 12:41:30 pm »
Хм, неслабенький такой отчетик ;)
Есть признанный инструмент Гугл Аналитикс. Там, кстати, и паучёк не такой настырный. И толку больше.

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 72931
  • Репутация: +321/-3
  • Пол: Мужской
  • Киевстар и Коболев одна шайка
    • Награды
Новая напасть - бот Ahrefs
« Ответ #4 : 12, Сентябрь 2013, Четверг, 17:50:39 pm »
Отцепил мальчиков. :P

Оффлайн stormrs

  • Знаменитый писатель
  • ***
  • Сообщений: 6227
  • Репутация: +180/-1
  • Пол: Мужской
    • Награды
Новая напасть - бот Ahrefs
« Ответ #5 : 12, Сентябрь 2013, Четверг, 18:12:20 pm »
Гостеприимный ты наш ;D

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 72931
  • Репутация: +321/-3
  • Пол: Мужской
  • Киевстар и Коболев одна шайка
    • Награды
Новая напасть - бот Ahrefs
« Ответ #6 : 12, Сентябрь 2013, Четверг, 18:58:08 pm »
На очереди Гугель и Яндекс. 8)

Оффлайн ahrefs

  • Читатель
  • *
  • Сообщений: 3
  • Репутация: +0/-0
    • Награды
Re: Новая напасть - бот Ahrefs
« Ответ #7 : 31, Октябрь 2013, Четверг, 15:07:31 pm »
Могу точно сказать, что бот сервиса не пытается ничего постить (наша задача - индексация ссылок) и следует правилам, прописанным в robots.txt , возможно, просто не успел подхватить их для какого-то домена.
Если возникают проблемы с нагрузкой из-за бота, можно установить crawl-delay в robots.txt или написать нам на support@ahrefs.com , в чем именно состоит проблема. Мы поможем разобраться.

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 72931
  • Репутация: +321/-3
  • Пол: Мужской
  • Киевстар и Коболев одна шайка
    • Награды
Re: Новая напасть - бот Ahrefs
« Ответ #8 : 31, Октябрь 2013, Четверг, 15:14:59 pm »
Было бы чудово, если бы вы какой-то ликбез написали. Хотя бы в разрезе сравнения с Google Analitics и про вашу пользу для индексируемых ресурсов.

Всякой чехни в интернете хватает, а вот пролить свет некому. Спасибо, что откликнулись.

Оффлайн ahrefs

  • Читатель
  • *
  • Сообщений: 3
  • Репутация: +0/-0
    • Награды
Re: Новая напасть - бот Ahrefs
« Ответ #9 : 01, Ноябрь 2013, Пятница, 15:03:40 pm »
У нас, в принципе, все описано - https://ahrefs.com/robot/index.php - и про поисковый бот, и про то, как его в robots.txt заблокировать или посещение ограничить. Да и каждый случай проблемный мы индивидуально рассматриваем - только обращайтесь  :) Всегда рады помочь, чем сможем  ;)

Оффлайн Сергей Горбачевский

  • Administrator
  • Знаменитый писатель
  • *****
  • Сообщений: 72931
  • Репутация: +321/-3
  • Пол: Мужской
  • Киевстар и Коболев одна шайка
    • Награды
Re: Новая напасть - бот Ahrefs
« Ответ #10 : 01, Ноябрь 2013, Пятница, 15:07:35 pm »
К нам то ваш робот продолжает ходить, не взирая на изменения robots.txt. А вот ваши друзья из Google и Яндекс роботов засылают, а индексируют плохо  :'(

Оффлайн ahrefs

  • Читатель
  • *
  • Сообщений: 3
  • Репутация: +0/-0
    • Награды
Re: Новая напасть - бот Ahrefs
« Ответ #11 : 05, Ноябрь 2013, Вторник, 13:57:33 pm »
Дело в том, что изменения, внесенные в robots.txt , вступают в силу в течение 7 дней.  Если нужно быстрее, рекомендуем обратиться к нам в поддержку.


Теги:
 

Новая современная тема

Автор Сергей Горбачевский

Ответов: 8
Просмотров: 2247
Последний ответ 11, Октябрь 2020, Воскресенье, 21:46:35 pm
от Сергей Горбачевский
Создана новая группа - официальный представитель телеком-оператора

Автор Сергей Горбачевский

Ответов: 1
Просмотров: 1270
Последний ответ 22, Май 2015, Пятница, 08:32:20 am
от Сергей Горбачевский