Снижение нагрузки на хостинг где «лежит» ваш сайт.

Упс! Оговорился, надеюсь пока не лежит! )))

Как то давеча, зашел на свой хостинг где у меня интернет-магазин: #HOLTER24

И НЕ ПОВЕРИЛ СВОИМ ГЛАЗАМ: ПЕРЕГРУЗ, ВЫДЕЛЕННОГО МНЕ ПРОЦЕССОРА ПО ТАРИФУ, В 9 РАЗ! ((((

Запросил логи у службы поддержки. Поддержка предположила DDoS атаку на мои сайты ( там не только интернет-магазин ).

Сразу не побежал что, то предпринимать! Есть копии всех сайтов, спокойно наблюдал, чем дело закончится!

САЙТЫ устояли ( все на WORDPRESS ) с некоторыми защитными плагинами!

Но почесать репу пришлось потом.

Первое, что сделал для снижения нагрузки на сайт, и хостинг в целом, запретил лишним ботам заходить ко мне на сайты.

Меньше обо мне знают ТАМ, я спокойнее сплю! ))

ПЕРЕД ИЗМЕНЕНИЯМИ В ФАЙЛАХ, СДЕЛАЙТЕ ИХ АРХИВ

А ЛУЧШЕ ВСЕГО САЙТА!!! ( Я ВСЕГДА РАБОТАЮ ( В КОДАХ) НА КОПИИ САЙТА!

а) Добавил в файл .htaccess строки:

<IfModule mod_rewrite.c>
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} «Applebot» [NC,OR]

RewriteCond %{HTTP_USER_AGENT} «GPTBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «AhrefsBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «DotBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «SemrushBot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «python-requests» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «TameTheBots-Robot-Checker» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «Go-http-client» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «Custom-AsyncHttpClient» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «curl» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «keys-so-bot» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «ev-crawler» [NC,OR]
RewriteCond %{HTTP_USER_AGENT} «MJ12bot» [NC]
RewriteRule .* — [F,L]
</IfModule>

или

<IfModule mod_rewrite.c>
RewriteEngine On
# тут …… строки от Worpress

RewriteCond %{HTTP_USER_AGENT} (AppleWebKit|DotBot|GeedoProductSearch|GPTBot|GeedoBot|Amazonbot|Bytespider|SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|bingbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru|thesis-research-bot|fidget-spinner-bot|facebookexternalhit|Go-http-client|l9scan|axios|AwarioSmartBot|PostmanRuntime|GuzzleHttp|ImagesiftBot|Konturbot|GetIntent Crawler|CCBot|BlackWidow|AhrefsBot|BLEXBot|MBCrawler|YaK|niraiya.com|megaindex.ru|MJ12bot|Сloudfind|CriteoBot|Serpstatbot|Rome Client|Scrapy|FlipboardRSS|FlipboardProxy|SeznamBot|Seekport Crawler|ALittleClient|Keys-so-bot|bidswitchbot|SurdotlyBot|Barkrowler|BackupLand|Iframely|nicecrawler|Applebot|Cloudfind|niraiya.com|MegaIndex.ru|SafeDNSBot|Slurp|proximic|ZoominfoBot) [NC]
RewriteRule .* — [F,L]
</IfModule>

Можно еще так:

SetEnvIfNoCase User-Agent "ПЛОХОЙ БОТ" bad_bot # вместо "ПЛОХОЙ БОТ" ставим того бота что вам "мешает жить"! ))

Может в чем то переборщил? ))) Да, переборщил, пока добавление ЭТОГО списка отображает сайт в ХРОМЕ и не отображается в Яндекс браузере: Запрещено У вас нет разрешения на доступ к этому ресурсу.

Убрал из списка «AppleWebKit|» и сайт появился в браузере Яндекс! (((

Пришлось сократить список:

б) изменил файл robots.txt так:

User-agent: ChatGPT #пишу собственные статьи, без его участия. Не хочу делиться со всем миром!
User-agent: SemrushBot
User-agent: BLEXBot
User-agent: AhrefsBot
User-agent: MJ12bot # замечен в логах с максимальным число запросов, больше даже чем ЯндексБот в 1,5раза
User-agent: Applebot # презираю их маркетинг, кстати удачный. Вывод делаю: сколько же «доверчивых дураков» в мире! )))
Disallow: /

Если боты запрещенные все равно «проскакивают» на ваш сайт, попробуйте поставить задержку нахождения его на вашем сайте:

User-agent: Applebot
Disallow: /

Crawl-delay: 5.0 # тайм-аут посещения роботом – не чаще, чем 1 раз в 5 секунд

для Яндекс бота цифра не более 2.0! (((

Сегодня нагрузка средняя около 100-130cp сайтs на WordPress основная нагрузку дает интернет-магазин на WooCommerce и 30 плагинах к нему: