Arriva un nuovo spider in casa Google … 🙂 un nuovo crawler /user agent: il suo nome è  Google Site Verifier User Agent. Questo user agent ignora le regole di robots.txt.
Google ha pubblicato il nuovo user agent qui nella documentazione della guida di Google Crawler.
User agent token | Google-Site-Verification |
Full user agent string | Mozilla/ |
New Google crawler named Google Site Verifier – say hello to this new spider that does not obey the robots.txt rules https://t.co/wycnB13Lm9 pic.twitter.com/dnZ2LaR7SD
— Barry Schwartz (@rustybrick) September 20, 2022