X-Robots-Tag
X-Robots-Tag: L’intestazione X-Robots-Tag viene utilizzata nei file robots.txt per fornire istruzioni specifiche agli spider dei motori di ricerca. Ad esempio, è possibile utilizzare questa intestazione per impedire l’indicizzazione di determinate pagine o per specificare se i motori di ricerca dovrebbero seguire i link presenti su una pagina.