robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

Tööriist töötab otse brauseris ja on valmis kiireks kontrollimiseks ilma tarkvara installimata.
Sisestuse saab kohe tühjendada ja ümber arvutada, mis on kasulik korduvate väikeste ülesannete puhul.
Kasutage täisekraanirežiimi, kui vajate rohkem ruumi pika teksti, struktureeritud andmete või suurte tulemusplokkide jaoks.
Loodud väljundil on saadaval kopeerimisnupud, nii et tulemusi saab koodis, dokumentides või tugivestlustes uuesti kasutada.
Enamik tehteid on deterministlikud: sama sisend ja valikud annavad sama väljundi.
Tundliku sisu puhul eelistage kohalikke brauseri tööriistu ja vaadake tulemus enne selle edasist jagamist üle.