ROZWIĄZANE Jak zablokować tego bota

Cześć,

taki oto bot
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1 (znalezione w logach serwera)

męczy mojego wordpressa i nie wiem jak go zablokować.
Czy mogę prosić o jakąś wskazówkę?

 

@YacaZG słyszałem o trzech metodach blokowania robotów:

• za pomocą pliku robots.txt
• za pomocą znacznika meta robots
• za pomocą pliku .htaccess - więcej informacji tutaj:http://www.thesitewizard.com/apache/block-bots-with-htaccess.shtml

Dwie pierwsze metody blokowania botów są stosunkowo proste, ale trzecia metoda bywa najskuteczniejsza i dlatego tylko do niej podaje link z większą porcją informacji.

Jeśli będziesz zainteresowany blokowaniem za pomocą pliku robots.txt to tutaj Google publikuje dużo informacji na ten temat: https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

 

Dzięki za szybką odpowiedź.
Mam ju z poblokowane w pliku htaccess boty, tylko nie wiem jak tego konkrtetnego zablokować, on chyba nie ma żadnej nazwy

 

A możesz wkleić cały log (bez strony/ścieżki którą wywołał, jeśli nie chcesz)? Bo to co podałeś to tzw. User-Agent String Firefoksa, który ma każda przeglądarka i raczej nie zablokujesz tego w tradycyjny sposób (robots.txt/htaccess) - skryptem PHP dałoby się przekierować takiego użytkownika w kosmos.

 

Wygląda to tak:

201.34.19.195 - - [18/Jan/2017:00:03:40 +0100] "POST /_katalog/xmlrpc.php HTTP/1.1" 403 171 "" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1"
201.34.19.195 - - [18/Jan/2017:00:03:40 +0100] "GET /_katalog/wp-login.php HTTP/1.1" 302 185 "" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1"
201.34.19.195 - - [18/Jan/2017:00:03:41 +0100] "GET /_katalog/not_found HTTP/1.1" 404 32480 "" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1"
201.34.19.195 - - [18/Jan/2017:00:03:43 +0100] "POST /_katalog/wp-login.php HTTP/1.1" 302 185 "" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1"


Dodałem do htaccess cos takiego:

RewriteEngineOn

RewriteCond %{HTTP_REFERER} ^-?$ [NC]
RewriteCond %{HTTP_USER_AGENT} ^-?$ [NC]
RewriteRule .* - [F,L]

ale nie pomogło

 

Zablokuj IP, widać że te połączenia masz z jednego i tego samego IP. Możesz zablokowac tez cały kraj Brazylię, bo widzę że to IP nalezy do kogoś z tego kraju.

 

niestety to nie takie proste. z jednego IP jest kilka prób, następnie próbuje z inengo IP

 

Zablokowanie takiego ruchu nie będzie łatwe. Wywalania wyglądają bardzo typowo i ewentualna blokada po User-Agent Stringu może zablokować dostęp zwykłym użytkownikom Firefoksa w wersji 40.1.

Jeśli jednak chcesz to zrobić, to jak wspomniałem możesz wykorzystać PHP i zmienną $_SERVER['HTTP_USER_AGENT'].

PHP:

if ($_SERVER['HTTP_USER_AGENT'] == "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1")
{
//i tu np. przekierowanie w kosmos
}

Blokowanie po adresie IP lub po hoście byłoby zdecydowanie rozsądniejsze.

A sprawdzałeś czy adresy IP nie pochodzą cały czas z Brazylli, jak ten: 201.34.19.195?

 

IP zmieniają się co 4 próby, na początku dawałem IP do blacklist, ale co z tego, skoro ciągle pojawiają się nowe

ten kod php mam dodac do pliku xmlrpc.php i wp-login.php ?

 

Dziękuje za wskazówkę, od dawna jest to zmienione i nie pomaga.
Sam bot nie narobił szkód (chyba) i mam nadzieje że nie narobi, ale skoro próbuje kilkaset raz dziennie, to jet lipa, nie wiem jak go zablokować

 

a cos takiego?

# BLOCK USER AGENTS

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} Mozilla/5\.0\ \(Windows\ NT\ 6\.1;\ WOW64;\ rv\:40\.0\)\ Gecko/20100101\ Firefox/40\.1 [NC]

RewriteRule !^robots\.txt$ - [F]


# BLOCK BLANK USER AGENTS

RewriteCond %{HTTP_USER_AGENT} ^-?$

RewriteRule ^ - [F]

 

Ale czy sprawdzałeś adresy hostów tych IPków, bo może faktycznie powtarzają się te same kraje?

Kod musiałbyś zastosować w pliku PHP strony, do której on się odwołuje, a jak jest kilka stron.. to dla każdej oddzielnie.

 

kraje są rożne, od ukrainy przez usa po chile

 

to pomogło, ataki zmalały praktycznie do 0
ale czy to najlepszy sposób?
czy czasem nie odsyłamy bota do robots.txt? nie umiem czytac za bardzo powyższego

 

Witam,
przyłączam się do tematu - mam ten sam problem - ten sam bot.... kilka tysięcy dziennie zapytań z różnych adresów IP.
proszę o pomoc w rozwiązaniu tego problemu.

 

Mi to pomogło

# BLOCK USER AGENTS

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} Mozilla/5\.0\ \(Windows\ NT\ 6\.1;\ WOW64;\ rv\:40\.0\)\ Gecko/20100101\ Firefox/40\.1 [NC]

RewriteRule !^robots\.txt$ - [F]


# BLOCK BLANK USER AGENTS

RewriteCond %{HTTP_USER_AGENT} ^-?$

RewriteRule ^ - [F]

 

Witam,
mnie "atakują" następujące boty:

HTTP/1.1" 403 171 "" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
HTTP/1.1" 403 171 "" "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)
HTTP/1.1" 403 171 "" "Mozilla/5.0 (compatible; SemrushBot/1.2~bl; +http://www.semrush.com/bot.html)

Zablokowałem je w pliku robots.txt i ich IP w htaccess jednak nadal są widoczne w logach serwera.
Ma ktoś pomysł jak się tego pozbyć. Między innymi przez te boty są przekraczane parametry bezpieczeństwa serwera.

 

Te logi wskazują, że boty nie mają dostępu do zasobów - 403 dostają.

 

@pawelkrol88 Dodam tylko, że komunikat oznaczony cyfrą 403 oznacza dosłownie: "Dostęp zabroniony". Twój serwer w home.pl zrozumiał zapytanie wysłane przez tego bota, ale konfiguracja bezpieczeństwa zabrania mu wyświetlić żądany zasób. Oznacza to, że wszystko jest OK i boty są blokowane u Ciebie.