Модератор
Yui
(@fierevere)
永子
сервер должен вести лог доступа — access.log
попробуйте поискать там IP их бота или по user-agent’у
получали ли они доступ к серверу вообще, какие ответы они получали с вашего сервера и к каким url обращались
проблема не уровня WP, ко мне их наглый бот приходил и все успешно индексировал, пока я его не забанила, ибо пользы в их сервисе не вижу
Может сисадминам вашего хостинга они тоже не понравились, как и мне
узнайте у техподдержки хостинга , не банят ли они IP и useragent MI
Тему можно закрывать, спасибо Yui, за правильное направление мысли. Проблема найдена, цитирую хостера: «Данный IP заблокирован на нашем физическом сервере.» На просьбу разблокировать для нашего сайта данный IP, был получен ответ «К сожалению, возможность блокировки/разблокировки не носит локального характера, то есть возможна только для всего физического сервера сразу.» Так что теперь буду думать как быть и искать альтернативу МегаИндексу, если кто знает, прошу отпишитесь мне в личку или тут, если тема еще н закрыта будет.
Anonymous User 14379775
(@anonymized-14379775)
А чем он так хорош этот мегаиндекс?
А какая есть альтернатива ? Только прошу сразу не умничать и не говорить все делать и проверять руками. Если знаете аналоги то скажите. Их сервес очень удобен с точки зрения быстрого технического аудита, показывает сразу где какие тайтлы, и другие мета теги и еще несколкьо нужной информации. Я пока не встречал подобных сервисов, поэтому он именно ЭТИМ и удобен ! Как биржа он не интересен !
Anonymous User 14379775
(@anonymized-14379775)
Я им никогда не пользовался, поэтому и спросил
Попробуйте, как инструмент выявление косяков он хороший !
Я им никогда не пользовался, поэтому и спросил
Я тоже никогда не обращал на него внимания. Однако когда начал изучать вопрос про Мегаиндекс и его поиского бота понял, что только ленивый не забанил его через .htacces или через robots.txt
Некоторым хозяевам сайтов повезло, так как у них Мегаиндекс забанен уже на уровне хостинга.
Konstantin, а чем повезло ? Вы могли бы более полно ответить без общих фраз. Чем он вредит сайтам и чем он плох по вашему ? Как инструмент АУДИТА сайта он очень хорошо, аналогов я не знаю. И робот побежит по сайту только после запроса, постоянно он не обращается к сайту, если мы говорит про аудит, а не про БИРЖУ, так как биржа это отдельная тема и я вообще ни какие биржи не приветствую. А что касается именно сервиса АУДИТА то он очень помогает, поэтому прошу немного обосновать свой ответ, в контексте аудита сайта с помощью их сервиса ?
Модератор
Yui
(@fierevere)
永子
отвечу за себя —
мне очень не нравятся агрессивные боты (неуважающие crawl-delay) неизвестного происхождения приходящие индексировать сайт без спросу, и уж тем более если они не относятся к поисковикам, а являются инструментами какой-то аналитики.
Единственный агрессивный бот, которого я еще терплю — Bing! , абсолютно бесцеремонно индексируют сайт плюя на Crawl-Delay вплоть до нескольких запросов в секунду. Нет, я люблю когда мне пытаются нагрузить сервер, но я хотела бы видеть нагрузку от людей, а не от роботов, и уж тем более не от СЕОшников собирающих аналитику «для себя» и «для дяди»
«Вирусдай» тоже при запуске своего сервиса полезли сайты сканировать, тоже бан. Не спорю что для кого-то они полезны, я просто не люблю агрессивное сканирование со стороны ранее неизвестных мне сервисов.
Сеть итак сильно загажена паразитным трафиком от ботов разного рода.
В вашем случае конечно получилось не очень, вам их сервис нужен, а хостер их уже забанил. Хотя представьте себе, что хотите проанализировать «конкурентов», а желание тех самых конкурентов быть проанализированными учтено?
Yui — из всех проектов что я веду, это единичный случай, когда хостер забанил полность и не может по запросу сделать исключение. И речь идет не об автоматическом, беспорядочном сканирование, а четко по моему личному запросу именно когда я хочу, про тех кто лезет, я соглашусь с вами не очень, но особо от них вреда я не наблюдал.
Модератор
Yui
(@fierevere)
永子
ну тут претензии к хостеру, хотя если они забанили — значит серьезно оно их достало….
Это уже совсем не каприз конкнетно взятого сайтовладельца или человека занимающегося администрированием VPS/Dedi, которые могут банить кого угодно и за что угодно на своем сервере или сайте.
Если банят на хостинге , то наверняка на всех серверах этого хостинга и для всех клиентов, а их может быть от сотен до тысяч, причина должна быть веской
Konstantin, а чем повезло ? Вы могли бы более полно ответить без общих фраз. Чем он вредит сайтам и чем он плох по вашему
Что касается Мегаиндекса как сервиса аудита ни скажу ничего ни хорошего ни плохого, ибо сам не пользовался и не собираюсь пользоваться.
А вот что касается проблем, создаваемых его поисковым ботом — об этом есть куча материалов на просторах и-та.
Впрочем лазать по и-ту в изучении этого вопроса вам и другим пользователям WP теперь не надо. Спасибо Yui, которая в своем сообщении чуть выше, опираясь на собственный опыт, обобщила все эти материалы и совершенно точно обрисовала проблему поискового бота Мегаиндекса. Да и не только его одного:
Сеть итак сильно загажена паразитным трафиком от ботов разного рода.
В связи с этим хочу создать новое обсуждение на этом форуме. (Для тех, кому не повезло… 😀 )
P.S. Что касается меня лично, то я уже давно заметил, что мои только что созданные сайты, при их мизерной посещаемости, создают нехилую нагрузку на хостинг, в связи с чем я даже когда-то обращался в тех поддержку. Получил ответ, что главной причиной этого в тот момент являлся этот самый мусорный трафик. Тогда, по неопытности, я не совсем понял о чем идет речь и как то не придал этому значения. Но со временем мои глаза стали открываться… А благодаря этому обсуждению, они открылись еще больше!
мои только что созданные сайты, при их мизерной посещаемости, создают нехилую нагрузку на хостинг, в связи с чем я даже когда-то обращался в тех поддержку. Получил ответ, что главной причиной этого в тот момент являлся этот самый мусорный трафик
🙂 А я ведь Вам не раз пытался донести мысль и об объёмах и о количестве лишних элементов.
