우수한 소프트웨어와 실용적인 튜토리얼
로봇 메타태그란 무엇인가요?
로봇 메타 태그를 잘 활용하세요로봇, 적은 노력으로 SEO 효과를 높여주는 웹사이트 최적화와 Google 인덱싱에 꼭 필요한 기능입니다.로봇 메타 태그개별 페이지의 색인 생성 및 검색 결과 표시 여부를 제어하는 페이지 수준 설정입니다. 로봇 메타 태그는 검색 엔진에 따라야 할 내용과 따르지 말아야 할 내용을 알려주는 태그입니다.
로봇 메타태그는 어디에 넣어야 하나요?
로봇 메타 태그는 웹 페이지의 헤드 섹션에 배치됩니다!
로봇 메타 태그를 작성하는 방법
이 태그는 모든 검색 엔진에 이 페이지를 인덱싱하지 말라고 알려서 검색 결과에 전혀 나타나지 않게 합니다.
data-nosnippet 및 X-Robots-Tag 작성 표준화
페이지 수준 및 텍스트 수준 설정을 사용하여 Google 검색 결과에 콘텐츠가 표시되는 방식을 조정하는 방법입니다. HTML 페이지나 HTTP 헤더에 메타 태그를 추가하여 페이지 수준 설정을 지정할 수 있습니다. 데이터-노스니펫 텍스트 수준 설정을 지정하는 속성입니다.
이러한 설정은 크롤러가 해당 설정이 포함된 페이지에 접근할 수 있는 경우에만 읽고 적용됩니다.
태그 또는 지침은 검색 엔진 크롤러에 적용됩니다. 검색 엔진이 아닌 크롤러(예: AdsBot-Google)를 차단하려면 특정 크롤러에 대한 지침을 추가해야 할 수 있습니다. 예:
로봇 메타 태그 사용
로봇 메타 태그를 사용하면 개별 페이지의 색인 생성 방식과 Google 검색 결과에서 사용자에게 표시되는 방식을 페이지 단위의 세부적인 설정을 통해 제어할 수 있습니다. 로봇 메타 태그를 해당 페이지의 헤드 섹션에 추가하세요.
이 예에서 robots 메타 태그는 검색 엔진에 검색 결과에 해당 페이지를 표시하지 않도록 지시합니다. name 속성(robots)의 값은 이 지시어가 모든 크롤러에 적용됨을 나타냅니다. 특정 크롤러를 타겟팅하려면 name 속성의 robots 값을 해당 크롤러의 이름으로 바꾸세요. 특정 크롤러는 사용자 에이전트라고도 합니다(크롤러는 사용자 에이전트를 사용하여 페이지를 요청합니다). Google 표준 웹 크롤러의 사용자 에이전트 이름은 Googlebot입니다. Googlebot이 페이지 색인을 생성하는 것만 차단하려면 다음과 같이 태그를 업데이트하세요.
이 태그는 이제 Google 검색 결과에 이 페이지를 표시하지 않도록 Google에 명시적으로 지시합니다. name 및 content 속성은 모두 대소문자를 구분하지 않습니다.
검색 엔진은 목적에 따라 다양한 크롤러를 사용할 수 있습니다. 자세한 내용은 다음을 참조하세요. Google 크롤러 전체 목록예를 들어, Google 웹 검색 결과에는 페이지가 나타나지만 Google 뉴스에는 나타나지 않게 하려면 다음 메타 태그를 사용할 수 있습니다.
여러 크롤러를 개별적으로 지정하려면 여러 개의 로봇 메타 태그를 사용하세요.
HTML이 아닌 리소스(예: PDF 파일, 비디오 파일 또는 이미지 파일)가 인덱싱되는 것을 방지하려면 다음을 사용하세요. X-로봇 태그 응답 헤더.
X-Robots-Tag HTTP 헤더 사용
X-Robots-Tag는 지정된 URL에 대한 HTTP 헤더 응답의 요소로 사용할 수 있습니다. 로봇 메타 태그에 사용할 수 있는 모든 지시어는 X-Robots-Tag로 지정할 수 있습니다. 다음은 크롤러에게 페이지 색인을 생성하지 않도록 지시하는 X-Robots-Tag가 포함된 HTTP 응답의 예입니다.
HTTP/1.1 200 OK 날짜: 2010년 5월 25일 화요일 오후 9시 42분 43초 GMT (…) X-Robots-Tag: noindex (…)
HTTP 응답에 여러 X-Robots-Tag 헤더를 결합하거나, 쉼표로 구분된 지시어 목록을 지정할 수 있습니다. 다음 HTTP 헤더 응답 예시는 noarchive X-Robots-Tag와 unavailable_after X-Robots-Tag를 결합합니다.
HTTP/1.1 200 OK 날짜: 2010년 5월 25일 화요일 오후 9시 42분 43초 GMT (…) X-Robots-Tag: noarchive X-Robots-Tag: unavailable_after: 2010년 6월 25일 오후 3시 00분 00초 PST (…)
X-Robots-Tag는 지시어 앞에 사용자 에이전트를 지정할 수도 있습니다. 예를 들어, 다음 X-Robots-Tag HTTP 헤더 집합을 사용하면 특정 페이지가 여러 검색 엔진의 검색 결과에 조건부로 표시되도록 할 수 있습니다.
HTTP/1.1 200 OK 날짜: 2010년 5월 25일 화요일 오후 9시 42분 43초 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
지시문에 사용자 에이전트가 지정되지 않으면 모든 크롤러에 적용됩니다. HTTP 헤더, 사용자 에이전트 이름 및 지정된 값은 대소문자를 구분하지 않습니다.
충돌하는 로봇 지침: 충돌하는 로봇 지침이 있는 경우, 더 제한적인 지침이 적용됩니다. 예를 들어, 페이지에 max-snippet:50과 nosnippet 지침이 모두 포함된 경우, nosnippet 지침이 적용됩니다.
유효한 인덱싱 및 콘텐츠 제공 지침
다음 명령어를 robots 메타 태그 및 X-Robots-Tag와 함께 사용하여 색인 생성 및 스니펫 표시를 제어할 수 있습니다. 검색결과에서 스니펫은 문서와 사용자 검색어의 관련성을 나타내는 짧은 텍스트 발췌 부분입니다. 다음 표에는 Google에서 지원하는 모든 명령어와 각각의 의미가 나와 있습니다. 각 값은 특정 명령어를 나타냅니다. 여러 명령어를 결합할 수 있습니다.쉼표로 구분된 목록으로 결합하거나 여러 메타 태그를 사용하세요.. 이 지침은 대소문자를 구분하지 않습니다.
결합된 인덱싱 및 제공 지침을 처리하는 방법
여러 개의 robots 메타 태그 지시어를 쉼표로 구분하여 결합하거나, 여러 개의 메타 태그를 사용하여 여러 지시어가 포함된 단일 명령을 만들 수 있습니다. 다음은 웹 크롤러에게 페이지를 색인하거나 페이지의 링크를 크롤링하지 않도록 지시하는 robots 메타 태그의 예입니다.
쉼표로 구분된 목록
여러 개의 메타 태그
다음 예제에서는 텍스트 발췌 길이를 20자로 제한하고 큰 이미지 미리 보기를 허용합니다.
여러 크롤러를 지정하고 각 크롤러에 다른 지시어가 있는 경우, 검색 엔진은 모든 부정 지시어를 함께 사용합니다. 예:
Googlebot이 이러한 메타 태그가 포함된 페이지를 크롤링할 때 해당 페이지에 noindex, nofollow 지침이 있는 것으로 처리합니다.
data-nosnippet HTML 속성 사용
HTML 페이지에서 스니펫 생성에 사용할 텍스트 부분을 지정할 수 있습니다. span, div, section 요소에 data-nosnippet HTML 속성을 사용하여 HTML 요소 수준에서 지정할 수 있습니다. data-nosnippet은 부울 속성으로 처리됩니다. 모든 부울 속성과 마찬가지로, 지정된 값은 무시됩니다. 기계가 읽을 수 있도록 하려면 HTML 섹션이 유효한 HTML이어야 하며, 모든 태그에는 해당하는 닫는 태그가 있어야 합니다.
Google은 일반적으로 페이지를 색인화하기 위해 렌더링하지만, 렌더링이 보장되지는 않습니다. 따라서 data-nosnippet은 렌더링 전과 후에 모두 추출될 수 있습니다. 렌더링 불확실성을 방지하려면 JavaScript를 통해 기존 노드에서 data-nosnippet 속성을 추가하거나 제거하지 마세요. JavaScript를 통해 DOM 요소를 추가하는 경우, 페이지의 DOM에 요소를 처음 추가할 때 필요에 따라 data-nosnippet 속성을 포함하세요. 사용자 지정 요소를 사용하고 data-nosnippet을 사용해야 하는 경우, div, span 또는 section 요소로 감싸거나 렌더링하세요.
구조화된 데이터를 사용하세요
로봇 메타 태그는 Google이 페이지에서 자동으로 추출하여 검색 결과로 표시하는 콘텐츠의 양을 제어합니다. 그러나 많은 게시자는 검색 결과에 특정 정보를 제공하기 위해 schema.org 구조화된 데이터도 사용합니다. 로봇 메타 태그 제한은 다른 창작물에 지정된 구조화된 데이터의 article.description 및 description 값을 제외하고는 해당 구조화된 데이터의 사용에는 영향을 미치지 않습니다. 이러한 description 값을 기반으로 미리보기의 최대 길이를 지정하려면 max-snippet 로봇 메타 태그를 사용하세요. 예를 들어, 텍스트 미리보기가 제한되어 있더라도 페이지의 recipe 구조화된 데이터는 레시피 캐러셀에 포함될 수 있습니다. max-snippet을 사용하여 텍스트 미리보기의 길이를 제한할 수 있지만, 구조화된 데이터를 사용하여 리치 결과에 정보를 제공할 때는 이 로봇 메타 태그가 사용되지 않습니다.
페이지에서 구조화된 데이터가 사용되는 방식을 관리하려면 구조화된 데이터 유형과 값 자체를 편집하여 원하는 데이터만 사용할 수 있도록 정보를 추가하거나 제거하세요. 또한, data-nosnippet 요소 내에서 구조화된 데이터를 선언하는 경우에도 검색 결과를 표시하는 데 사용할 수 있습니다.
실제로 X-Robots-Tag를 추가합니다.
웹사이트 웹 서버 소프트웨어의 설정 파일을 통해 웹사이트의 HTTP 응답에 X-Robots-Tags를 추가할 수 있습니다. 예를 들어 Apache 기반 웹 서버에서는 .htaccess 및 httpd.conf 파일을 사용할 수 있습니다. HTTP 응답에 X-Robots-Tags를 사용하면 전체 웹사이트에 적용되는 크롤링 지침을 지정할 수 있다는 장점이 있습니다. 정규 표현식이 지원되어 높은 수준의 유연성을 제공합니다.
예를 들어, 전체 사이트의 모든 .PDF 파일에 대한 HTTP 응답에 noindex, nofollow X-Robots-Tag를 추가하려면 Apache 사이트의 경우 다음 스니펫을 루트 .htaccess 또는 httpd.conf 파일에 추가하고, NGINX 사이트의 경우 .conf 파일에 추가합니다.
아파치
헤더 세트 X-Robots-Tag "noindex, nofollow"
엔진엑스
위치 ~* \.pdf$ { add_header X-Robots-Tag "noindex, nofollow"; }
HTML에서 robots 메타 태그를 사용할 수 없는 비HTML 파일(예: 이미지 파일)의 경우 X-Robots-Tag를 사용할 수 있습니다. 다음 예는 전체 사이트에 이미지 파일(.png, .jpeg, .jpg, .gif)에 대해 noindex X-Robots-Tag 명령어를 추가하는 방법을 보여줍니다.
아파치
헤더 세트 X-Robots-Tag "noindex"
엔진엑스
위치 ~* \.(png|jpe?g|gif)$ { add_header X-Robots-Tag "noindex"; }
개별 정적 파일에 대해 X-Robots-Tag 헤더를 설정할 수도 있습니다.
아파치
# htaccess 파일은 일치하는 파일이 있는 디렉토리에 있어야 합니다. 헤더 세트 X-Robots-Tag "noindex, nofollow"
엔진엑스
위치 = /secrets/unicorn.pdf { add_header X-Robots-Tag "noindex, nofollow"; }
robots.txt 지침을 인덱싱 및 콘텐츠 제공 지침과 결합
로봇 메타 태그와 X-Robots-Tag HTTP 헤더는 URL이 크롤링될 때만 크롤러에게 표시됩니다. robots.txt 파일을 통해 페이지를 차단하면 크롤러는 인덱싱/게재 지침에 대한 정보를 찾지 못하고 무시합니다. 인덱싱/게재 지침을 반드시 준수해야 하는 경우, 크롤러가 해당 지침이 포함된 URL을 크롤링하는 것을 차단할 수 없습니다.
원본 링크:https://developers.google.com/search/docs/advanced/robots/robots_meta_tag?hl=zh-cn
