Директива X-Robots-Tag: что это и как использовать
X-Robots-Tag — это HTTP-заголовок, который управляет индексацией страниц и отдельных файлов (например, PDF, видео, изображений) поисковыми системами. В отличие от meta robots, который размещается в …