Главная страница » Директива X-Robots-Tag: что это и как использовать
xrobottag

Директива X-Robots-Tag: что это и как использовать

X-Robots-Tag — это HTTP-заголовок, который управляет индексацией страниц и отдельных файлов (например, PDF, видео, изображений) поисковыми системами. В отличие от meta robots, который размещается в HTML-коде страницы, X-Robots-Tag передаётся в HTTP-заголовках сервера, что делает его удобным для управления ресурсами, не имеющими HTML-разметки.

Зачем нужен X-Robots-Tag

  1. Контроль индексации нестандартных файлов
    Позволяет закрывать от индексации изображения, документы, видео и другие файлы, которые нельзя скрыть через meta robots.
  2. Гибкость в управлении SEO
    Директива применяется ко всему сайту или отдельным файлам через настройки сервера, что удобно для масштабных проектов.
  3. Дополнительная защита от дублирования контента
    Позволяет скрывать технические страницы и файлы, которые не должны попадать в поиск.
  4. Альтернативный метод для серверных решений
    Полезен, если невозможно редактировать HTML-код страниц, но есть доступ к настройкам сервера.

Как использовать X-Robots-Tag

1. Настройка в .htaccess (Apache)

Если сайт работает на Apache, директива добавляется в .htaccess:

<Files "example.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Этот код запретит индексацию и переход по ссылкам в файле example.pdf.

Чтобы запретить индексацию всех PDF-файлов:

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

2. Настройка на Nginx

Для серверов на Nginx директива добавляется в конфигурационный файл:

location ~* \.(pdf|doc|jpg|png)$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Этот код запрещает индексацию указанных типов файлов.

3. Добавление в заголовки ответа через PHP

Если нет доступа к серверным настройкам, можно добавить заголовок в PHP-скрипте:

header("X-Robots-Tag: noindex, nofollow", true);

Этот код запрещает индексацию страницы, на которой он размещён.

Основные значения X-Robots-Tag

  • noindex – запрещает индексацию страницы или файла
  • nofollow – запрещает поисковым системам переходить по ссылкам на странице
  • noarchive – запрещает поисковикам сохранять кэш страницы
  • nosnippet – запрещает отображение сниппетов в поисковой выдаче
  • notranslate – отключает автоматический перевод страницы в Google

Где использовать X-Robots-Tag

  • Закрытие индексации PDF, DOC, MP4, JPG и других файлов
  • Управление индексацией API-эндпоинтов и JSON-ответов
  • Запрет индексации автоматически генерируемых страниц
  • Контроль индексации динамического контента без возможности редактировать HTML

Как проверить X-Robots-Tag

  1. Открыть DevTools (F12 → Network → Headers) и найти X-Robots-Tag в ответе сервера.
  2. Использовать онлайн-инструменты, например Google Search Console.
  3. Проверить через команду curl в терминале:
curl -I https://example.com/example.pdf

Если настройка работает, в заголовках ответа появится строка:

X-Robots-Tag: noindex, nofollow

Итог

X-Robots-Tag – мощный инструмент SEO, который дополняет meta robots и позволяет гибко управлять индексацией файлов, страниц и API-ответов. Его настройка требует доступа к серверным конфигурациям, но даёт больше возможностей для оптимизации сайта и защиты от лишней индексации.