Google Crawl Budget – Google nennt Details

Google Crawl Budget – Google nennt Details

In einem offiziellen Blog erläutert Google im Januar 2017 endlich ausführlich, was unter dem Begriff Google Crawl Budget zu verstehen ist. Des Weiteren nennt die tonangebende Suchmaschine die entscheidenden Faktoren, die diesen Aspekt beeinflussen. In der Regel reicht das Google Crawl Budget für kleinere und mittelgroße Webseiten komplett aus, während sich zu große und künstlich aufgeblähte Webseiten Sorgen machen sollten.

Google Crawl Budget im Hinblick auf die Größe der Webseite

Nutzer erwarten von der Suchmaschine Google stets aktuelle und relevante Ergebnislisten auf die eigenen Suchanfragen. Damit diese zuverlässig geliefert werden können, müssen Internetseiten dauerhaft untersucht werden. Diese umfangreiche Arbeit versehen die sogenannten Bots, die immerwährend durch das Web crawlen. Dadurch werden die Webseiten auf ihre Relevanz geprüft und für die Ergebnislisten indexiert. Allerdings können die Bots nicht permanent alle vorhandenen Webseiten crawlen, deren Aktivitäten sind auf ein bestimmtes Maß begrenzt. Daraus ergibt sich das Google Crawl Budget. Bei einer geringen Größe der Webseite, bei der die URL-Anzahl weniger als Tausend beträgt, besteht kein Problem. Ebenso unproblematisch gestaltet sich die Sachlage für Webseiten, bei denen neue Inhalte schon am Tag der Veröffentlichung durch die Bots gecrawlt werden. Allerdings gestaltet sich das Google Crawl Budget schwierig bei extrem großen Webseiten mit einer zu hohen Anzahl an URLs.

Die Grenzen für das Google Crawl Budget

Beim Google Crawl Budget gibt es ein festgesetztes Volumen mit einem begrenzten Limit. Dieses Limit setzt sich aus zwei entscheidenden Faktoren zusammen. Dazu gehört die Anzahl der parallel ablaufenden Verbindungen, welche der Bot für das Crawlen einer Webseite verwendet. Außerdem spielt die Zeit zwischen den Abrufen eine wichtige Rolle. Das Google Crawl Budget und dessen Rate steigt oder sinkt abhängig von der Leistung der Webseite. Wenn die Webseite schnell reagiert und sich alle Unterseiten problemlos öffnen lassen, dann steigt das Limit für die Rate. Im Gegensatz dazu reduzieren zu langsame Reaktionen und fehlerhafte Server die Crawl-Rate. Dieser Aspekt wird als Crawl-Health bezeichnet. Darüber hinaus kann der Webmaster in Eigenregie ein bestimmtes Limit für die Rate in der Google Search Console angeben.

Negative Einflussfaktoren auf das Google Crawl Budget

In diesem Zusammenhang haben URLs mit einem geringen Mehrwert eine negative Einflussnahme auf das Crawlen und Indexieren einer Webseite durch die Bots. Dazu gehören die folgenden Faktoren

  • Bei der facettierten Navigation werden die Suchergebnisse auf Basis von bestimmten Aspekten noch weiter unterteilt und gefiltert. Dies geschieht unter anderem in Online-Shops, wo sich die angebotenen Produkte nach ihrer Farbe, Größe und Schnitt auswählen lassen. Dergestalt generiert sich bei jeder Unterteilung eine neue URL. Da die Unterschiede der einzelnen Variationen minimal sind, erbringen diese keinen nennenswerten Mehrwert für den Google-Index.
  • Session-IDs führen bei den gleichen Inhalten zu abweichenden URLs und erschaffen auf diese Weise negativen Duplicate Content.
  •  Bei den Soft Errors lassen sich die URLs zwar aufrufen, jedoch existieren die gesuchten Inhalte nicht.
  • Wenn die Webseiten und deren URLs gehackt wurden, stellen die damit einhergehenden Manipulationen ein Problem für die Suchmaschinen dar und führen zu einem reduzierten Google Crawl Budget.
  • Bei einem wiederholt auftretenden Duplicate Content wird dieser auch erneut im Google-Index verzeichnet. Wenn der Bot diesen Duplicate Content wahrnimmt, dann kommt es zu verringerten Aktivitäten beim Crawlen.
  • Wenn es sich um minderwertige Inhalte und Spam-Webseiten handelt, kommt es ebenfalls zu einer Reduzierung beim Crawlen, im Extremfall sogar zum kompletten Abbruch.
  • Bei den Infinite Spaces gibt es extrem große Anhäufungen von URLs, die allerdings nur einen geringen Mehrwert aufweisen, z. B. bei Kalenderfunktionen.

Das Google Crawl Budget im Zusammenhang mit dem Ranking

Die Crawling Aktivitäten sind zwar notwendig, damit eine Webseite in den Ergebnislisten auftaucht, allerdings sind diese kein Indiz für das darauf folgende Ranking. Es besteht kein Zusammenhang zwischen einer erhöhten Crawl Rate und einer verbesserten Position beim Ranking. Als Suchmaschine nutzt Google dafür eine große Anzahl an unterschiedlichen Faktoren, die erfüllt werden müssen, damit es zu einer führenden Position in den Ergebnislisten kommt.

Fazit und Learnings

Der Webmaster kann das Google Crawl Budget selbstständig bestimmen und steuern, wenn dieser dem Googlebot die Arbeit erleichtert. Dies geschieht durch beständig neue Inhalte auf der Webseite, die den Crawling-Bedarf dauerhaft hoch halten. Die Webseite und deren URLs sollten regelmäßig auf eventuelle Serverfehler und Soft Errors überprüft werden. Zu vermeiden sind Seiten mit einem kaum vorhandenen Mehrwert, Duplicate Content und Spam-Inhalte. Auf diese Weise wird nicht nur das Google Crawl Budget, sondern auch die Webseite für die Suchmaschinen optimiert

Kostenloses Angebot anfordern

Bitte füllen Sie das Kontaktformular vollständig aus. Ich werde mich dann mit Ihnen in Verbindung setzen.