Azoknak akik szorgosan nézegetik a sitejuk logjait, bizonyára feltünk egy Cazoodle User-Agent-el rendelkező bot, ami már néhány hónapja szorgosan indexelgeti az oldalakat. A linken ami a logban volt található, sokáig csak egy “Coming soon” üzenet volt kint, ám a napokban némivel több tartalommal lett gazdagabb a site.
A készítők tervei szerint, a jelenlegi keresőkkel ellentétben, amik struktúrálatlanul, kulcsszavak alapján rendezik az oldalakat, a Cazoodle a strukturált információk hatékony elérésére próbál fókuszálni.
Ha valakit nagyon zavar ez a bot, akkor tiltsa nyugodtan robots.txt-ből:
User-agent: CazoodleBot
Disallow: /
