robots.txt fehlt oder sperrt die ganze Seite
Lädt /robots.txt und prüft, ob die Datei existiert und nicht die komplette Website für alle Crawler sperrt.
Warum das zählt
Eine fehlende robots.txt erzeugt bei jedem Crawl einen 404. Ein versehentliches „Disallow: /“ – typisch nach einem Relaunch, wenn die Staging-Datei mitgeht – entfernt die Website vollständig aus den Suchergebnissen.
So behebst du es
Lege eine robots.txt an, die den relevanten Bereich freigibt und auf die Sitemap verweist.
So ist es richtig
User-agent: *
Allow: /
Sitemap: https://example.de/sitemap.xmlEinordnung des Schweregrads
Kleinere Abweichung mit begrenzter Wirkung – trotzdem leicht behebbar. Verstöße dieser Kategorie fließen entsprechend stark in die Gesamtbewertung ein.
Diese Seite beschreibt eine technisch messbare Prüfung und ist keine Rechtsberatung. Für eine verbindliche Bewertung deiner Situation wende dich an eine Rechtsanwältin oder einen Rechtsanwalt.