X-Robots-Tag — это HTTP-заголовок, который управляет индексацией страниц и отдельных файлов (например, PDF, видео, изображений) поисковыми системами. В отличие от meta robots, который размещается в HTML-коде страницы, X-Robots-Tag передаётся в HTTP-заголовках сервера, что делает его удобным для управления ресурсами, не имеющими HTML-разметки.
Зачем нужен X-Robots-Tag
- Контроль индексации нестандартных файлов
Позволяет закрывать от индексации изображения, документы, видео и другие файлы, которые нельзя скрыть черезmeta robots
. - Гибкость в управлении SEO
Директива применяется ко всему сайту или отдельным файлам через настройки сервера, что удобно для масштабных проектов. - Дополнительная защита от дублирования контента
Позволяет скрывать технические страницы и файлы, которые не должны попадать в поиск. - Альтернативный метод для серверных решений
Полезен, если невозможно редактировать HTML-код страниц, но есть доступ к настройкам сервера.
Как использовать X-Robots-Tag
1. Настройка в .htaccess (Apache)
Если сайт работает на Apache, директива добавляется в .htaccess
:
<Files "example.pdf">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
Этот код запретит индексацию и переход по ссылкам в файле example.pdf
.
Чтобы запретить индексацию всех PDF-файлов:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
2. Настройка на Nginx
Для серверов на Nginx директива добавляется в конфигурационный файл:
location ~* \.(pdf|doc|jpg|png)$ {
add_header X-Robots-Tag "noindex, nofollow";
}
Этот код запрещает индексацию указанных типов файлов.
3. Добавление в заголовки ответа через PHP
Если нет доступа к серверным настройкам, можно добавить заголовок в PHP-скрипте:
header("X-Robots-Tag: noindex, nofollow", true);
Этот код запрещает индексацию страницы, на которой он размещён.
Основные значения X-Robots-Tag
- noindex – запрещает индексацию страницы или файла
- nofollow – запрещает поисковым системам переходить по ссылкам на странице
- noarchive – запрещает поисковикам сохранять кэш страницы
- nosnippet – запрещает отображение сниппетов в поисковой выдаче
- notranslate – отключает автоматический перевод страницы в Google
Где использовать X-Robots-Tag
- Закрытие индексации PDF, DOC, MP4, JPG и других файлов
- Управление индексацией API-эндпоинтов и JSON-ответов
- Запрет индексации автоматически генерируемых страниц
- Контроль индексации динамического контента без возможности редактировать HTML
Как проверить X-Robots-Tag
- Открыть DevTools (
F12 → Network → Headers
) и найтиX-Robots-Tag
в ответе сервера. - Использовать онлайн-инструменты, например Google Search Console.
- Проверить через команду
curl
в терминале:
curl -I https://example.com/example.pdf
Если настройка работает, в заголовках ответа появится строка:
X-Robots-Tag: noindex, nofollow
Итог
X-Robots-Tag – мощный инструмент SEO, который дополняет meta robots
и позволяет гибко управлять индексацией файлов, страниц и API-ответов. Его настройка требует доступа к серверным конфигурациям, но даёт больше возможностей для оптимизации сайта и защиты от лишней индексации.