Verificator de acces pentru crawlerele AI

Verifică ce spune robots.txt crawlerelor de căutare AI și controalelor de utilizare a datelor. Este o verificare a regulilor, nu o dovadă a indexării.

Ce primești

Ce tokenuri pentru crawlere și utilizarea datelor sunt permise sau blocate de robots.txt
Regula exactă responsabilă pentru fiecare blocare
Dacă un Disallow general îi prinde din greșeală
Cui aparține fiecare crawler și ce alimentează

Cum funcționează

Adaugă-ți site-ul
Lipește domeniul sau pagina pe care vrei să le verifici. Nimic de instalat, niciun cod de urmărire.
Îți citim robots.txt
Descărcăm fișierul și îl parsăm așa cum o face un crawler — grup cu grup, fiindcă o regulă pentru GPTBot nu spune nimic despre grupul pentru *.
Citește rezultatul
Constatarea, de ce contează și ce trebuie schimbat — pe pagină, imediat. Fără cont, fără nimic de instalat.

Întrebări frecvente

Instrumentul acesta e gratuit?

Da, și la ăsta nu există limită — ne costă doar câteva cereri HTTP. Un cont Citex e pentru a păstra rezultatul, a-l rula programat și a vedea ce s-a schimbat.

Cât de exact e rezultatul?

E exact, nu o eșantionare. Instrumentul îți citește propriile fișiere și raportează ce scrie în ele, fără niciun model la mijloc — rulează-l de două ori la un minut distanță și primești același răspuns dacă n-ai schimbat nimic.