Использование метатега robots поможет вам добиться лучших результатов SEO с меньшими усилиями и имеет решающее значение для оптимизации вашего сайта для включения в результаты поиска Google. Метатег robots — это настройка на уровне страницы, которая управляет индексацией отдельных веб-страниц и их отображением в результатах поиска. Метатег robots сообщает поисковым системам, что нужно отслеживать, а что нет.