Robotarna meta tag tillåter programmerare att ställa in parametrar för bots, eller sökmotor spindlar. Dessa taggar används för att blockera bots från indexering och krypa en hel webbplats eller bara delar av webbplatsen. Du kan också använda dessa taggar för att blockera en specifik sökmotor spindel från att indexera ditt innehåll. Dessa taggar visas i huvudet på din HTML-fil. Denna metod används ofta av programmerare som inte har tillgång till en webbplats rotkatalog. Det är möjligt att blockera alla bots från att indexera en sida och eller från att följa en sidas länkar. Denna tagg används ofta när en levande webbplats är under utveckling. När webbplatsen är klar, rekommenderas starkt att du tar bort denna tagg. Om du inte tar bort taggen, kommer din sida inte indexeras eller sökbar via sökmotorer.  Du kan blockera bots från att indexera sidan och från att följa någon av länkarna: <meta name=.robots med innehåll=..noindex, nofollow... Du kan blockera alla bots från att indexera sidan: <meta name=.robots.... innehåll=..noindex.... Du kan blockera alla bots från att följa sidans länkar: <meta name=.robots.............................................................................................................................................................................................................  Lägg in följande kodrad i ditt huvud: <meta name=.robots med innehåll=._______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________ Lägg in följande kodrad i ditt huvud: <meta name=.robots med innehåll=.noindex, följ > För att dölja en enda länk på en sida, bädda in en rel-tagg i <a href> </a> länktagg. Du kanske vill använda taggen för att blockera länkar på andra sidor som leder till den specifika sidan du vill blockera.  < a href="dindomain.html" rel="nofollow">Insert Länk till blockerad sida </a> Istället för att blockera alla bots från din webbsida, kanske du vill förhindra en bot från att krypa och indexera sidan. För att åstadkomma detta, ersätt  på metataggen med namnet på en specifik bot. Exempel är: googlebot, googlebot-news, googlebot-image, bingbot och teoma.  Om du vill försäkra dig om att din sida kommer att indexeras och dess länkar kommer att följas, kan du infoga en efterföljande meta-robot-tagg i ditt huvud. Använd följande kod: <meta name=-robots-innehåll=-index, följande >
Förstå HTML-robotar metataggar. Blockera robotar från en enda sida. Låt botarna indexera en sida, men följ inte dess länkar. Låt sökmotorn spindlar följa länkarna men inte indexera sidan. Blockera en enda utgående länk. Blockera en specifik sökmotor spindel. Uppmuntra bots att krypa och indexera din sida.