Was sind Robots-Meta-Tags? , Standardmäßiges Schreiben von data-nosnippet und X-Robots-Tag

Was ist der Robots-Meta-Tag?

Machen Sie guten Gebrauch vom Robots-Meta-TagRoboter, wodurch Ihre SEO mit weniger Aufwand effektiver wird, ein Muss für die Website-Optimierung und Google-Indizierung.Robots-Meta-TagEs handelt sich um eine Einstellung auf Seitenebene, die steuert, ob einzelne Seiten indexiert und in Suchergebnissen angezeigt werden. Robots-Meta-Tags sind Tags, die Suchmaschinen mitteilen, was sie befolgen sollen und was nicht.

Wo platziere ich den Robots-Meta-Tag?

Der Robots-Meta-Tag wird im Head-Bereich der Webseite platziert!

So schreiben Sie den Robots-Meta-Tag

Dieses Tag weist alle Suchmaschinen an, diese Seite nicht zu indizieren, und verhindert so vollständig, dass sie in den Suchergebnissen erscheint.

Standardisieren Sie das Schreiben von data-nosnippet und X-Robots-Tag

So verwenden Sie Einstellungen auf Seiten- und Textebene, um die Darstellung von Inhalten in Suchergebnissen durch Google anzupassen. Sie können Einstellungen auf Seitenebene festlegen, indem Sie Meta-Tags zu Ihren HTML-Seiten oder HTTP-Headern hinzufügen. Sie können verwenden Daten-Nosnippet Eigenschaften zum Festlegen von Einstellungen auf Textebene.

Bitte beachten Sie, dass diese Einstellungen nur gelesen und beachtet werden, wenn unser Crawler Zugriff auf die Seite hat, die sie enthält.

Tags oder Anweisungen gelten für Suchmaschinen-Crawler. Wenn Sie Nicht-Suchmaschinen-Crawler (wie AdsBot-Google) blockieren möchten, müssen Sie möglicherweise Anweisungen für bestimmte Crawler hinzufügen. Beispiel:

Verwenden des Robots-Meta-Tags

Mit dem Robots-Meta-Tag können Sie mithilfe detaillierter Einstellungen auf Seitenebene steuern, wie einzelne Seiten indexiert und Nutzern in den Google-Suchergebnissen angezeigt werden. Platzieren Sie den Robots-Meta-Tag im Head-Bereich einer Seite.

In diesem Beispiel weist das Robots-Meta-Tag Suchmaschinen an, die Seite nicht in den Suchergebnissen anzuzeigen. Der Wert des Namensattributs (Robots) gibt an, dass diese Anweisung für alle Crawler gilt. Um einen bestimmten Crawler anzusprechen, ersetzen Sie den Robots-Wert des Namensattributs durch den Namen dieses Crawlers. Ein bestimmter Crawler wird auch als User-Agent bezeichnet (ein Crawler verwendet seinen User-Agent, um eine Seite anzufordern). Der User-Agent-Name für den Standard-Webcrawler von Google lautet Googlebot. Wenn Sie lediglich verhindern möchten, dass Googlebot Ihre Seiten indexiert, aktualisieren Sie das Tag wie folgt:

Dieses Tag weist Google nun explizit an, diese Seite nicht in den Google-Suchergebnissen anzuzeigen. Sowohl die Namens- als auch die Inhaltsattribute berücksichtigen die Groß- und Kleinschreibung nicht.

Suchmaschinen können unterschiedliche Crawler für unterschiedliche Zwecke verwenden. Weitere Informationen finden Sie unter Vollständige Liste der Google-CrawlerWenn Sie beispielsweise möchten, dass eine Seite in den Websuchergebnissen von Google, aber nicht in Google News angezeigt wird, können Sie das folgende Meta-Tag verwenden:

Um mehrere Crawler einzeln anzugeben, verwenden Sie mehrere Robots-Meta-Tags:

Um zu verhindern, dass Nicht-HTML-Ressourcen (wie PDF-Dateien, Videodateien oder Bilddateien) indiziert werden, verwenden Sie X-Robots-Tag Antwortheader.

Verwenden des X-Robots-Tag-HTTP-Headers
Der X-Robots-Tag kann als Element in der HTTP-Header-Antwort für eine bestimmte URL verwendet werden. Jede Anweisung, die in einem Robots-Meta-Tag verwendet werden kann, kann als X-Robots-Tag angegeben werden. Hier ist ein Beispiel für eine HTTP-Antwort mit einem X-Robots-Tag, die Crawler anweist, eine Seite nicht zu indexieren:

HTTP/1.1 200 OK Datum: Dienstag, 25. Mai 2010, 21:42:43 GMT (…) X-Robots-Tag: noindex (…)

Sie können mehrere X-Robots-Tag-Header in einer HTTP-Antwort kombinieren oder eine durch Kommas getrennte Liste von Anweisungen angeben. Die folgende Beispiel-HTTP-Header-Antwort kombiniert den X-Robots-Tag „noarchive“ mit dem X-Robots-Tag „unavailable_after“.

HTTP/1.1 200 OK Datum: Dienstag, 25. Mai 2010, 21:42:43 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 25. Juni 2010, 15:00:00 PST (…)

X-Robots-Tag kann auch einen User-Agent vor der Direktive angeben. Beispielsweise kann der folgende Satz von X-Robots-Tag-HTTP-Headern verwendet werden, um die Anzeige einer Seite in den Suchergebnissen verschiedener Suchmaschinen bedingt zuzulassen:

HTTP/1.1 200 OK Datum: Dienstag, 25. Mai 2010, 21:42:43 GMT (…) X-Robots-Tag: Googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)

Wenn in der Anweisung kein Benutzeragent angegeben ist, gilt sie für alle Crawler. Der HTTP-Header, der Benutzeragent-Name und der angegebene Wert sind nicht groß- und kleinschreibungsabhängig.

Widersprüchliche Robots-Direktiven: Bei widersprüchlichen Robots-Direktiven wird die restriktivere Direktive berücksichtigt. Enthält eine Seite beispielsweise sowohl die Direktive „max-snippet:50“ als auch die Direktive „no-snippet“, wird die Direktive „no-snippet“ berücksichtigt.

Gültige Anweisungen zur Indizierung und Inhaltsbereitstellung

Sie können die folgenden Anweisungen mit dem Robots-Meta-Tag und dem X-Robots-Tag verwenden, um die Indexierung und die Snippet-Anzeige zu steuern. In Suchergebnissen ist ein Snippet ein kurzer Textauszug, der die Relevanz des Dokuments für die Suchanfrage des Nutzers angibt. Die folgende Tabelle listet alle von Google unterstützten Anweisungen und ihre jeweiligen Bedeutungen auf. Jeder Wert steht für eine bestimmte Anweisung. Sie können mehrere Anweisungen kombinieren.Kombinieren Sie es zu einer durch Kommas getrennten Liste oder verwenden Sie mehrere Meta-TagsBei diesen Anweisungen wird nicht zwischen Groß- und Kleinschreibung unterschieden.

So handhaben Sie kombinierte Indizierungs- und Bereitstellungsanweisungen

Sie können mehrere Robots-Meta-Tag-Anweisungen durch Kommas getrennt kombinieren oder mehrere Meta-Tags verwenden, um einen einzelnen Befehl mit mehreren Anweisungen zu erstellen. Hier ist ein Beispiel für einen Robots-Meta-Tag, der Webcrawlern mitteilt, die Seite nicht zu indexieren oder Links darauf zu crawlen:

Komma-getrennte Liste

Mehrere Meta-Tags

Das folgende Beispiel begrenzt die Textauszugslänge auf 20 Zeichen und ermöglicht große Bildvorschauen:

Wenn Sie mehrere Crawler angeben und jeder Crawler eine andere Anweisung hat, verwendet die Suchmaschine alle negativen Anweisungen zusammen. Beispiel:

Wenn Googlebot Seiten crawlt, die diese Meta-Tags enthalten, behandelt er sie so, als ob sie die Direktiven „noindex“ und „nofollow“ hätten.

Verwenden des HTML-Attributs „data-nosnippet“

Sie können festlegen, welche Textteile einer HTML-Seite nicht zur Generierung eines Snippets verwendet werden sollen. Dies ist auf HTML-Elementebene mit dem HTML-Attribut data-nosnippet in den Elementen span, div und section möglich. data-nosnippet wird als Boolean-Attribut behandelt. Wie bei allen Boolean-Attributen wird jeder angegebene Wert ignoriert. Um die Maschinenlesbarkeit zu gewährleisten, muss der HTML-Abschnitt gültiges HTML sein und alle Tags müssen entsprechende schließende Tags haben.

Google rendert eine Seite üblicherweise, um sie zu indexieren, die Darstellung ist jedoch nicht garantiert. Daher kann data-nosnippet sowohl vor als auch nach dem Rendern extrahiert werden. Um Rendering-Unsicherheiten zu vermeiden, fügen Sie das data-nosnippet-Attribut nicht über JavaScript zu vorhandenen Knoten hinzu oder entfernen Sie es. Wenn Sie DOM-Elemente über JavaScript hinzufügen, schließen Sie das data-nosnippet-Attribut bei Bedarf ein, wenn Sie das Element zum DOM der Seite hinzufügen. Wenn benutzerdefinierte Elemente verwendet werden und Sie data-nosnippet verwenden müssen, umschließen oder rendern Sie diese mit div-, span- oder section-Elementen.

Strukturierte Daten verwenden

Der Robots-Meta-Tag steuert die Menge an Inhalten, die Google automatisch aus einer Seite extrahiert und als Suchergebnisse anzeigt. Viele Publisher verwenden jedoch auch strukturierte Daten von Schema.org, um bestimmte Informationen für die Suchpräsentation bereitzustellen. Die Einschränkungen des Robots-Meta-Tags wirken sich nicht auf die Verwendung dieser strukturierten Daten aus, mit Ausnahme von article.description und Beschreibungswerten strukturierter Daten, die für andere kreative Arbeiten angegeben wurden. Um eine maximale Länge für Vorschauen basierend auf diesen Beschreibungswerten festzulegen, verwenden Sie den Robots-Meta-Tag „Max-Snippet“. Beispielsweise können strukturierte Daten für Rezepte auf einer Seite in ein Rezeptkarussell aufgenommen werden, auch wenn die Textvorschau begrenzt ist. Sie können „Max-Snippet“ verwenden, um die Länge der Textvorschau zu begrenzen, dieser Robots-Meta-Tag wird jedoch nicht verwendet, wenn strukturierte Daten verwendet werden, um Informationen für Rich-Suchergebnisse bereitzustellen.

Um die Verwendung strukturierter Daten auf Ihren Seiten zu verwalten, bearbeiten Sie die strukturierten Datentypen und -werte selbst. Fügen Sie Informationen hinzu oder entfernen Sie sie, sodass nur die gewünschten Daten verfügbar sind. Beachten Sie außerdem, dass strukturierte Daten weiterhin zur Anzeige von Suchergebnissen verwendet werden können, wenn sie innerhalb eines data-nosnippet-Elements deklariert sind.

Tatsächliches Hinzufügen des X-Robots-Tags

Sie können X-Robots-Tags über die Konfigurationsdateien der Webserver-Software Ihrer Website zu den HTTP-Antworten Ihrer Website hinzufügen. Auf Apache-basierten Webservern können Sie beispielsweise .htaccess- und httpd.conf-Dateien verwenden. Der Vorteil der Verwendung von X-Robots-Tags in HTTP-Antworten besteht darin, dass Sie Crawling-Anweisungen festlegen können, die für Ihre gesamte Website gelten. Reguläre Ausdrücke werden unterstützt, was ein hohes Maß an Flexibilität ermöglicht.

Um beispielsweise den HTTP-Antworten für alle PDF-Dateien Ihrer gesamten Site einen Noindex- und Nofollow-X-Robots-Tag hinzuzufügen, fügen Sie den folgenden Codeausschnitt zu Ihrer Stammdatei .htaccess oder httpd.conf für eine Apache-Site oder zu Ihrer .conf-Datei für eine NGINX-Site hinzu.

Apache

Header-Set X-Robots-Tag "noindex, nofollow"

NGINX

Standort ~* \.pdf$ { add_header X-Robots-Tag "noindex, nofollow"; }

Für Nicht-HTML-Dateien (z. B. Bilddateien), die das Robots-Meta-Tag in HTML nicht verwenden können, können Sie das X-Robots-Tag verwenden. Das folgende Beispiel zeigt, wie Sie die X-Robots-Tag-Direktive „noindex“ für Bilddateien (.png, .jpeg, .jpg, .gif) auf Ihrer gesamten Website hinzufügen:

Apache

Header-Set X-Robots-Tag "noindex"

NGINX

Standort ~* \.(png|jpe?g|gif)$ { add_header X-Robots-Tag "noindex"; }

Sie können den X-Robots-Tag-Header auch für einzelne statische Dateien festlegen:

Apache

#: Die htaccess-Datei muss im Verzeichnis der übereinstimmenden Datei abgelegt werden. Header-Set X-Robots-Tag "noindex, nofollow"

NGINX

Standort = /secrets/unicorn.pdf { add_header X-Robots-Tag "noindex, nofollow"; }

Kombinieren von robots.txt-Direktiven mit Indexierungs- und Content-Serving-Direktiven

Robots-Meta-Tags und X-Robots-Tag-HTTP-Header sind für Crawler nur sichtbar, wenn eine URL gecrawlt wird. Wenn Sie eine Seite über eine robots.txt-Datei blockieren, finden Crawler keine Informationen zu Indexierungs-/Serving-Anweisungen und ignorieren diese. Wenn Indexierungs-/Serving-Anweisungen befolgt werden müssen, können Sie Crawler nicht daran hindern, URLs zu crawlen, die diese Anweisungen enthalten.

Originallink:https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=zh-cn