Сайт атакуют боты, что делать? Снижение нагрузки на сервер

Блокировка ботов. Снижение нагрузки на хостинг где "лежит" ваш сайт

Снижение нагрузки на хостинг где «лежит» ваш сайт.

Упс! Оговорился, надеюсь пока не лежит! )))

Как то давеча, зашел на свой хостинг где у меня интернет-магазин:  #HOLTER24

И НЕ ПОВЕРИЛ СВОИМ ГЛАЗАМ: ПЕРЕГРУЗ, ВЫДЕЛЕННОГО МНЕ ПРОЦЕССОРА ПО ТАРИФУ, В 9 РАЗ! ((((

Запросил логи у службы поддержки. Поддержка предположила DDoS атаку на мои сайты ( там не только интернет-магазин ).

Сразу не побежал что, то предпринимать!  Есть копии всех сайтов, спокойно наблюдал, чем дело закончится!

САЙТЫ устояли ( все на WORDPRESS ) с некоторыми защитными плагинами!

Но почесать репу пришлось потом.

Первое, что сделал для снижения нагрузки на сайт, и хостинг в целом, запретил лишним ботам заходить ко мне на сайты.

Меньше обо мне знают ТАМ, я спокойнее сплю! ))

ПЕРЕД ИЗМЕНЕНИЯМИ В ФАЙЛАХ, СДЕЛАЙТЕ ИХ АРХИВ

А ЛУЧШЕ ВСЕГО САЙТА!!! ( Я ВСЕГДА РАБОТАЮ ( В КОДАХ)  НА КОПИИ САЙТА!

а) Добавил в файл .htaccess строки:

<IfModule mod_rewrite.c>
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} «Applebot» [NC,OR]

RewriteCond %{HTTP_USER_AGENT} «GPTBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «AhrefsBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «DotBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «SemrushBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «python-requests» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «TameTheBots-Robot-Checker» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «Go-http-client» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «Custom-AsyncHttpClient» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «curl» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «keys-so-bot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «ev-crawler» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «MJ12bot» [NC]
RewriteRule .* — [F,L]
</IfModule>

или

<IfModule mod_rewrite.c>
RewriteEngine On
# тут …… строки от Worpress 

RewriteCond %{HTTP_USER_AGENT} (AppleWebKit|DotBot|GeedoProductSearch|GPTBot|GeedoBot|Amazonbot|Bytespider|SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|bingbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|thesis-research-bot|fidget-spinner-bot|facebookexternalhit|Go-http-client|l9scan|axios|AwarioSmartBot|PostmanRuntime|GuzzleHttp|ImagesiftBot|Konturbot|GetIntent Crawler|CCBot|BlackWidow|AhrefsBot|BLEXBot|MBCrawler|YaK|niraiya.com|megaindex.ru|MJ12bot|Сloudfind|CriteoBot|Serpstatbot|Rome Client|Scrapy|FlipboardRSS|FlipboardProxy|SeznamBot|Seekport Crawler|ALittleClient|Keys-so-bot|bidswitchbot|SurdotlyBot|Barkrowler|BackupLand|Iframely|nicecrawler|Applebot|Cloudfind|niraiya.com|MegaIndex.ru|SafeDNSBot|Slurp|proximic|ZoominfoBot) [NC]
RewriteRule .* — [F,L]
</IfModule>

Можно еще так:

SetEnvIfNoCase User-Agent "ПЛОХОЙ БОТ" bad_bot # вместо "ПЛОХОЙ БОТ" ставим того бота что вам "мешает жить"! ))

Может в чем то переборщил? ))) Да, переборщил, пока добавление ЭТОГО списка отображает сайт в ХРОМЕ и не отображается в Яндекс браузере: Запрещено У вас нет разрешения на доступ к этому ресурсу.

Убрал из списка «AppleWebKit|» и сайт появился в браузере Яндекс! ((( 

Пришлось сократить список: 

(DotBot|GeedoProductSearch|GPTBot|GeedoBot|Amazonbot|Bytespider|SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|AhrefsBot|bingbot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|thesis-research-bot|fidget-spinner-bot|facebookexternalhit|GPTBot|PostmanRuntime|GuzzleHttp|ImagesiftBot|Konturbot|GetIntentCrawler|CCBot|BlackWidow|AhrefsBot|Go-http-client|l9scan|axios|AwarioSmartBot|BLEXBot|MBCrawler|YaK|niraiya.com|CriteoBot|Serpstatbot|RomeClient|Scrapy|FlipboardRSS|FlipboardProxy|SeznamBot|SeekportCrawler|ALittleClient|Keys-so-bot|bidswitchbot|SurdotlyBot|Barkrowler|Iframely|nicecrawler|Applebot|Cloudfind|niraiya|SafeDNSBot|Slurp|proximic)

б) изменил файл robots.txt так:

User-agent: ChatGPT #пишу собственные статьи, без его участия. Не хочу делиться со всем миром! 
User-agent: SemrushBot
User-agent: BLEXBot
User-agent: AhrefsBot
User-agent: MJ12bot  # замечен в логах с максимальным число запросов, больше даже чем ЯндексБот в 1,5раза
User-agent: Applebot #  презираю их маркетинг, кстати удачный. Вывод делаю: сколько же «доверчивых дураков» в мире! )))
Disallow: /

Если боты запрещенные все равно «проскакивают» на ваш сайт, попробуйте поставить задержку нахождения его на вашем сайте:

User-agent: Applebot 
Disallow: /

Crawl-delay: 5.0    # тайм-аут посещения роботом  – не чаще, чем 1 раз в 5 секунд

для Яндекс бота цифра не более 2.0! (((

Сегодня нагрузка средняя около 100-130cp сайтs на WordPress основная нагрузку дает интернет-магазин на WooCommerce и 30 плагинах к нему:

О результате ( снижение нагрузки на проц) напишу дней через 5! 

Есть замечания? Пишите и о результатах так же сообщите

ПС: есть российское ПО ( скрипт) запрещающий посещения сайта с прописанных стран или диапазона IP!? Подскажите?

Пока вижу только импортные сервисы…. базы IP адресов, которых  в России не обновить легально!

Оцените статью
Добавить комментарии
Сайт атакуют боты, что делать? Снижение нагрузки на сервер
Добро пожаловать в редактор Gutenberg
× Спросить