{"id":18613,"date":"2026-11-05T18:53:56","date_gmt":"2026-11-05T21:53:56","guid":{"rendered":"https:\/\/www.homehost.com.br\/blog\/?p=18613"},"modified":"2026-11-05T18:54:05","modified_gmt":"2026-11-05T21:54:05","slug":"robots-txt","status":"publish","type":"post","link":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/","title":{"rendered":"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\"><strong>O robots.txt \u00e9 um arquivo de texto na raiz do site que diz aos rob\u00f4s dos buscadores e das empresas de IA o que eles podem rastrear. Com o gerador abaixo, voc\u00ea monta o arquivo para WordPress, WooCommerce ou site em HTML, decide o que fazer com os rob\u00f4s de IA e testa qualquer endere\u00e7o antes de publicar.<\/strong><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Um aviso antes, porque \u00e9 o erro mais comum: o robots.txt controla o rastreamento, n\u00e3o o que aparece no Google. Para tirar uma p\u00e1gina da busca, o caminho \u00e9 outro, explicado mais abaixo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Gere e teste o seu robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Escolha a plataforma, informe o endere\u00e7o do site para a linha do sitemap e decida o que fazer com os rob\u00f4s de IA. Na parte de baixo, teste um endere\u00e7o ou cole o robots.txt atual do seu site para conferir se ele tem algum erro.<\/p>\n\n\n\n<div class=\"hh-rob\" id=\"hh-rob\" style=\"max-width:780px;margin:28px auto;border:1px solid #c9d2dd;border-radius:14px;padding:22px 24px;background:#f4f6f9;font-family:Arial,Helvetica,sans-serif;color:#0F172A;font-size:15px;box-sizing:border-box;\"><\/div>\n<script>(function () { var root0 = document.getElementById(\"hh-rob\"); if (!root0) { return; } var S2 = \"\/\" + \"\/\"; var PFX = \"hh-rob-\"; function U(n) { return String.fromCharCode(n); } var NL = U(10); var NAVY = \"#0b3d91\"; var MONO = \"font-family:Consolas,Menlo,monospace;\"; var COL = {ok: [\"#15803d\", \"#e8f5ec\", U(10004)], warn: [\"#b45309\", \"#fff4e5\", U(9888)], err: [\"#b42318\", \"#fdecec\", U(10006)], info: [\"#1d4ed8\", \"#eef3ff\", U(8505)]}; var RANK = {err: 0, warn: 1, ok: 2, info: 3}; var INP = \"width:100%;box-sizing:border-box;padding:8px 10px;border:1px solid #9aa7b8;border-radius:8px;font-size:15px;background:#ffffff;color:#0F172A;margin:0;font-family:Arial,Helvetica,sans-serif;\"; var NAO = \"N\" + U(227) + \"o\"; var BOTS = [ [\"GPTBot\", \"OpenAI\", \"Treinamento dos modelos de IA\", \"train\"], [\"ClaudeBot\", \"Anthropic\", \"Treinamento dos modelos de IA\", \"train\"], [\"Google-Extended\", \"Google\", \"Uso do conte\" + U(250) + \"do no Gemini. \" + NAO + \" afeta a busca do Google\", \"train\"], [\"Applebot-Extended\", \"Apple\", \"Treinamento dos modelos da Apple. \" + NAO + \" afeta a busca\", \"train\"], [\"Meta-ExternalAgent\", \"Meta\", \"Treinamento de IA e indexa\" + U(231) + U(227) + \"o\", \"train\"], [\"CCBot\", \"Common Crawl\", \"Arquivo p\" + U(250) + \"blico da web, reaproveitado por terceiros\", \"train\"], [\"OAI-SearchBot\", \"OpenAI\", \"Busca do ChatGPT\", \"search\"], [\"Claude-SearchBot\", \"Anthropic\", \"Busca do Claude\", \"search\"], [\"PerplexityBot\", \"Perplexity\", \"Busca do Perplexity\", \"search\"], [\"Meta-WebIndexer\", \"Meta\", \"Busca da Meta AI\", \"search\"], [\"ChatGPT-User\", \"OpenAI\", \"Visitas pedidas por usu\" + U(225) + \"rios do ChatGPT. Pode ignorar o robots.txt\", \"user\"], [\"Claude-User\", \"Anthropic\", \"Visitas pedidas por usu\" + U(225) + \"rios do Claude\", \"user\"], [\"Perplexity-User\", \"Perplexity\", \"Visitas pedidas por usu\" + U(225) + \"rios. Costuma ignorar o robots.txt\", \"user\"], [\"Meta-ExternalFetcher\", \"Meta\", \"Visitas pedidas por usu\" + U(225) + \"rios. Pode ignorar o robots.txt\", \"user\"] ]; var TEST_BOTS = [\"Googlebot\", \"Bingbot\", \"GPTBot\", \"OAI-SearchBot\", \"ChatGPT-User\", \"ClaudeBot\", \"Claude-SearchBot\", \"Google-Extended\", \"PerplexityBot\", \"Applebot\", \"Applebot-Extended\", \"CCBot\", \"Meta-ExternalAgent\"]; var SITEMAPS = { wp: [[\"wp\", \"Do pr\" + U(243) + \"prio WordPress (wp-sitemap.xml)\"], [\"yoast\", \"Yoast SEO (sitemap_index.xml)\"], [\"rank\", \"Rank Math (sitemap_index.xml)\"], [\"aio\", \"All in One SEO (sitemap.xml)\"], [\"custom\", \"Outro endere\" + U(231) + \"o\"], [\"none\", \"Sem sitemap\"]], html: [[\"root\", \"sitemap.xml na raiz do site\"], [\"custom\", \"Outro endere\" + U(231) + \"o\"], [\"none\", \"Sem sitemap\"]] }; var SMPATH = {wp: \"\/wp-sitemap.xml\", yoast: \"\/sitemap_index.xml\", rank: \"\/sitemap_index.xml\", aio: \"\/sitemap.xml\", root: \"\/sitemap.xml\"}; var st = {dirty: false, gen: \"\"}; function el(id) { return document.getElementById(PFX + id); } function add(p, tag, text, style) { var n = document.createElement(tag); if (text) { n.textContent = text; } if (style) { n.setAttribute(\"style\", style); } p.appendChild(n); return n; } function gt(a, b) { return a === b ? false : Math.max(a, b) === a; } function lt(a, b) { return a === b ? false : Math.min(a, b) === a; } function ge(a, b) { return Math.max(a, b) === a; } function or(a, b) { return a ? a : b; } function has(s, x) { return String(s).indexOf(x) !== -1; } function val(id) { var e = el(id); return e ? String(or(e.value, \"\")).trim() : \"\"; } function lines(s) { var r = []; var p = String(or(s, \"\")).split(NL); for (var i = 0; i !== p.length; i++) { var t = p[i].trim(); if (t) { r.push(t); } } return r; } function origin(s) { s = String(s).trim(); if (!s) { return \"\"; } if (s.indexOf(\"http:\" + S2) !== 0 ? s.indexOf(\"https:\" + S2) !== 0 : false) { s = \"https:\" + S2 + s; } var a = s.indexOf(S2) + 2; var host = s.slice(a).split(\"\/\")[0].split(\"?\")[0].split(\"#\")[0]; if (!has(host, \".\") ? true : has(host, \" \")) { return \"\"; } return s.slice(0, a) + host.toLowerCase(); } function toPath(s) { s = String(s).trim(); if (!s) { return \"\/\"; } if (s.indexOf(\"http:\" + S2) === 0 ? true : s.indexOf(\"https:\" + S2) === 0) { var a = s.indexOf(S2) + 2; var rest = s.slice(a); var k = rest.indexOf(\"\/\"); s = k === -1 ? \"\/\" : rest.slice(k); } s = s.split(\"#\")[0]; if (s.charAt(0) !== \"\/\") { s = \"\/\" + s; } return s; } function notes(box, arr) { box.textContent = \"\"; arr = arr.slice().sort(function (a, b) { return RANK[a[0]] - RANK[b[0]]; }); for (var i = 0; i !== arr.length; i++) { var c = COL[arr[i][0]]; var d = add(box, \"div\", \"\", \"background:\" + c[1] + \";border-left:4px solid \" + c[0] + \";border-radius:6px;padding:7px 10px;margin:8px 0 0;font-size:14px;line-height:1.5;color:#0F172A;overflow-wrap:anywhere;\"); add(d, \"span\", c[2] + \" \", \"color:\" + c[0] + \";font-weight:800;\"); d.appendChild(document.createTextNode(arr[i][1])); } } function blockedBots() { var mode = \"\"; var R = document.getElementsByName(PFX + \"ai\"); for (var i = 0; i !== R.length; i++) { if (R[i].checked) { mode = R[i].value; } } var out = []; for (var j = 0; j !== BOTS.length; j++) { var b = BOTS[j]; var on = mode === \"train\" ? b[3] === \"train\" : (mode === \"all\" ? true : (mode === \"pick\" ? el(\"b-\" + j).checked : false)); if (on) { out.push(b[0]); } } return {mode: mode, list: out}; } function generate() { var N = []; var plat = val(\"plat\"); var wp = plat !== \"html\"; var L = []; var whole = el(\"whole\").checked; var ai = blockedBots(); L.push(\"User-agent: *\"); if (whole) { L.push(\"Disallow: \/\"); N.push([\"warn\", \"Com essa op\" + U(231) + U(227) + \"o, nenhum buscador rastreia o site. Use s\" + U(243) + \" enquanto o site est\" + U(225) + \" em constru\" + U(231) + U(227) + \"o e lembre de tirar depois.\"]); } else { var dis = 0; if (wp) { L.push(\"Disallow: \/wp-admin\/\"); L.push(\"Allow: \/wp-admin\/admin-ajax.php\"); dis++; } if (wp ? el(\"search\").checked : false) { L.push(\"Disallow: \/?s=\"); L.push(\"Disallow: \/search\/\"); dis++; } if (plat === \"woo\" ? el(\"cart\").checked : false) { L.push(\"Disallow: \/\" + \"*add-to-cart=\"); dis++; } var ex = lines(val(\"extra\")); for (var i = 0; i !== ex.length; i++) { var p = ex[i]; if (p.indexOf(\"http:\" + S2) === 0 ? true : p.indexOf(\"https:\" + S2) === 0) { p = toPath(p); } if (p.charAt(0) !== \"\/\" ? p.charAt(0) !== \"*\" : false) { p = \"\/\" + p; } if (has(p, \" \")) { N.push([\"warn\", \"Endere\" + U(231) + \"os n\" + U(227) + \"o podem ter espa\" + U(231) + \"os e ficaram de fora: \" + ex[i]]); continue; } L.push(\"Disallow: \" + p); dis++; } if (dis === 0) { L.push(\"Allow: \/\"); } if (ai.list.length) { L.push(\"\"); L.push(\"# Rob\" + U(244) + \"s de IA bloqueados\"); for (var k = 0; k !== ai.list.length; k++) { L.push(\"User-agent: \" + ai.list[k]); } L.push(\"Disallow: \/\"); } } var sm = val(\"sm\"); var sUrl = \"\"; if (sm === \"custom\") { var cu = val(\"smurl\"); if (cu ? (cu.indexOf(\"http:\" + S2) === 0 ? true : cu.indexOf(\"https:\" + S2) === 0) : false) { sUrl = cu; } else if (cu) { N.push([\"warn\", \"O endere\" + U(231) + \"o do sitemap precisa ser completo, come\" + U(231) + \"ando com https:\" + S2 + \".\"]); } else { N.push([\"warn\", \"Informe o endere\" + U(231) + \"o completo do sitemap.\"]); } } else if (sm !== \"none\") { var o = origin(val(\"site\")); if (o) { sUrl = o + SMPATH[sm]; } else { N.push([\"warn\", \"Informe o endere\" + U(231) + \"o do site para montar a linha do sitemap.\"]); } } else { N.push([\"info\", \"Sem a linha do sitemap, os buscadores precisam achar o sitemap de outro jeito, como pelo Search Console.\"]); } if (sUrl) { L.push(\"\"); L.push(\"Sitemap: \" + sUrl); } if (plat === \"woo\") { N.push([\"info\", \"O WooCommerce j\" + U(225) + \" marca as p\" + U(225) + \"ginas de carrinho, finalizar compra e minha conta como noindex. N\" + U(227) + \"o precisa bloque\" + U(225) + \"-las aqui.\"]); } if (ai.mode === \"train\") { N.push([\"info\", \"Bloquear o Google-Extended n\" + U(227) + \"o tira o site da busca do Google, e bloquear o Applebot-Extended n\" + U(227) + \"o tira o site da busca da Apple. Os dois s\" + U(243) + \" controlam o uso do conte\" + U(250) + \"do pela IA.\"]); } if (ai.mode === \"all\") { N.push([\"warn\", \"Bloquear os rob\" + U(244) + \"s de busca com IA tira o site das respostas do ChatGPT, do Claude, do Perplexity e da Meta AI. E alguns rob\" + U(244) + \"s que visitam a pedido do usu\" + U(225) + \"rio podem ignorar o robots.txt.\"]); } if (ai.mode === \"pick\" ? ai.list.length === 0 : false) { N.push([\"info\", \"Marque os rob\" + U(244) + \"s de IA que quer bloquear.\"]); } N.push([\"info\", \"Depois de publicar, as mudan\" + U(231) + \"as podem levar at\" + U(233) + \" 24 horas para valer, porque os rob\" + U(244) + \"s guardam o arquivo em cache.\"]); return {txt: L.join(NL) + NL, N: N}; } function parse(txt) { var t = String(txt); var I = []; if (t.charCodeAt(0) === 65279) { t = t.slice(1); I.push([\"info\", \"O arquivo come\" + U(231) + \"a com um caractere invis\" + U(237) + \"vel (BOM). O Google ignora, mas o ideal \" + U(233) + \" salvar em UTF-8 sem BOM.\"]); } var size = window.TextEncoder ? new TextEncoder().encode(t).length : t.length; if (gt(size, 512000)) { I.push([\"warn\", \"O arquivo passa de 500 KiB. O Google ignora tudo o que vem depois desse limite.\"]); } var raw = t.split(NL); var groups = []; var cur = null; var lastWasAgent = false; var sitemaps = []; var known = {\"user-agent\": 1, \"allow\": 1, \"disallow\": 1, \"sitemap\": 1}; for (var i = 0; i !== raw.length; i++) { var line = raw[i]; var hash = line.indexOf(\"#\"); if (hash !== -1) { line = line.slice(0, hash); } line = line.trim(); if (!line) { continue; } var c = line.indexOf(\":\"); if (c === -1) { I.push([\"warn\", \"Linha \" + (i + 1) + \" n\" + U(227) + \"o tem dois-pontos e foi ignorada: \" + line]); continue; } var key = line.slice(0, c).trim().toLowerCase(); var v = line.slice(c + 1).trim(); if (key === \"user-agent\") { if (lastWasAgent ? cur : false) { cur.agents.push(v); } else { cur = {agents: [v], rules: [], line: i + 1}; groups.push(cur); } lastWasAgent = true; continue; } lastWasAgent = false; if (key === \"sitemap\") { sitemaps.push(v); if (v.indexOf(\"http:\" + S2) !== 0 ? v.indexOf(\"https:\" + S2) !== 0 : false) { I.push([\"warn\", \"Linha \" + (i + 1) + \": o sitemap precisa de um endere\" + U(231) + \"o completo, come\" + U(231) + \"ando com https:\" + S2 + \".\"]); } continue; } if (key === \"allow\" ? true : key === \"disallow\") { if (!cur) { I.push([\"warn\", \"Linha \" + (i + 1) + \": a regra vem antes de qualquer User-agent e \" + U(233) + \" ignorada.\"]); continue; } if (v ? (v.charAt(0) !== \"\/\" ? v.charAt(0) !== \"*\" : false) : false) { I.push([\"warn\", \"Linha \" + (i + 1) + \": o caminho precisa come\" + U(231) + \"ar com \/ ou *. Assim como est\" + U(225) + \", o Google ignora a regra: \" + v]); continue; } cur.rules.push({type: key, path: v, line: i + 1}); if (key === \"disallow\" ? (v === \"\/wp-content\/\" ? true : (v === \"\/wp-includes\/\" ? true : v === \"\/wp-content\/plugins\/\")) : false) { I.push([\"warn\", \"Linha \" + (i + 1) + \": bloquear \" + v + \" pode esconder do Google o CSS e o JavaScript do site, e ele precisa deles para entender as p\" + U(225) + \"ginas.\"]); } continue; } if (key === \"crawl-delay\") { I.push([\"info\", \"Linha \" + (i + 1) + \": o Google ignora o Crawl-delay. Outros rob\" + U(244) + \"s, como o ClaudeBot e o CCBot, respeitam.\"]); continue; } if (key === \"noindex\") { I.push([\"warn\", \"Linha \" + (i + 1) + \": o Google n\" + U(227) + \"o aceita noindex no robots.txt. Use a meta tag robots na pr\" + U(243) + \"pria p\" + U(225) + \"gina.\"]); continue; } if (!known[key]) { I.push([\"info\", \"Linha \" + (i + 1) + \": o Google n\" + U(227) + \"o reconhece o campo \" + line.slice(0, c).trim() + \" e o ignora.\"]); } } for (var g = 0; g !== groups.length; g++) { var gr = groups[g]; var star = false; for (var a = 0; a !== gr.agents.length; a++) { if (gr.agents[a] === \"*\") { star = true; } } if (star) { for (var r = 0; r !== gr.rules.length; r++) { if (gr.rules[r].type === \"disallow\" ? gr.rules[r].path === \"\/\" : false) { I.push([\"warn\", \"Linha \" + gr.rules[r].line + \": Disallow: \/ no grupo User-agent: * bloqueia o site inteiro para todos os buscadores.\"]); } } } } if (!groups.length) { I.push([\"info\", \"N\" + U(227) + \"o h\" + U(225) + \" nenhum grupo User-agent: o arquivo n\" + U(227) + \"o bloqueia nada.\"]); } if (!sitemaps.length) { I.push([\"info\", \"O arquivo n\" + U(227) + \"o tem a linha Sitemap.\"]); } return {groups: groups, sitemaps: sitemaps, I: I}; } function wild(path, pat) { var anch = pat.charAt(pat.length - 1) === \"$\"; if (anch) { pat = pat.slice(0, -1); } var parts = pat.split(\"*\"); if (path.indexOf(parts[0]) !== 0) { return false; } var pos = parts[0].length; for (var i = 1; i !== parts.length; i++) { if (i === parts.length - 1 ? anch : false) { var last = parts[i]; return ge(path.length - last.length, pos) ? path.slice(path.length - last.length) === last : false; } var f = path.indexOf(parts[i], pos); if (f === -1) { return false; } pos = f + parts[i].length; } return anch ? pos === path.length : true; } function decide(P, bot, path) { var b = bot.toLowerCase(); var rules = []; var agent = \"\"; for (var g = 0; g !== P.groups.length; g++) { for (var a = 0; a !== P.groups[g].agents.length; a++) { if (P.groups[g].agents[a].toLowerCase() === b) { rules = rules.concat(P.groups[g].rules); agent = P.groups[g].agents[a]; } } } if (!agent) { for (var h = 0; h !== P.groups.length; h++) { for (var c = 0; c !== P.groups[h].agents.length; c++) { if (P.groups[h].agents[c] === \"*\") { rules = rules.concat(P.groups[h].rules); agent = \"*\"; } } } } var best = null; for (var i = 0; i !== rules.length; i++) { var r = rules[i]; if (!r.path) { continue; } if (!wild(path, r.path)) { continue; } var len = r.path.length; if (!best ? true : (gt(len, best.path.length) ? true : (len === best.path.length ? r.type === \"allow\" : false))) { best = r; } } return {agent: agent, rule: best, allowed: best ? best.type === \"allow\" : true}; } function test() { var txt = el(\"t-txt\").value; var P = parse(txt); var bot = val(\"t-bot\") === \"other\" ? or(val(\"t-other\"), \"*\") : val(\"t-bot\"); var path = toPath(val(\"t-url\")); var d = decide(P, bot, path); var box = el(\"t-res\"); box.textContent = \"\"; var ok = d.allowed; var c = ok ? COL.ok : COL.err; var card = add(box, \"div\", \"\", \"background:\" + c[1] + \";border:1px solid \" + c[0] + \";border-radius:10px;padding:12px 14px;margin-top:12px;\"); add(card, \"div\", c[2] + \" \" + (ok ? \"Permitido\" : \"Bloqueado\"), \"font-weight:800;font-size:17px;color:\" + c[0] + \";\"); var line1 = add(card, \"div\", \"\", \"font-size:14px;color:#0F172A;margin-top:4px;line-height:1.5;overflow-wrap:anywhere;\"); line1.appendChild(document.createTextNode(\"O \" + bot + (ok ? \" pode acessar \" : \" n\" + U(227) + \"o pode acessar \"))); add(line1, \"span\", path, MONO + \"font-weight:700;\"); line1.appendChild(document.createTextNode(\".\")); var why = d.rule ? \"Regra que decidiu: \" + (d.rule.type === \"allow\" ? \"Allow\" : \"Disallow\") + \": \" + d.rule.path + \" (linha \" + d.rule.line + \"), no grupo User-agent: \" + d.agent + \".\" : (d.agent ? \"Nenhuma regra do grupo User-agent: \" + d.agent + \" se aplica a esse endere\" + U(231) + \"o, ent\" + U(227) + \"o o acesso fica liberado.\" : \"Nenhum grupo vale para esse rob\" + U(244) + \", ent\" + U(227) + \"o o acesso fica liberado.\"); add(card, \"div\", why, \"font-size:13.5px;color:#334155;margin-top:4px;line-height:1.5;overflow-wrap:anywhere;\"); var extra = []; var bl = bot.toLowerCase(); if (bl === \"google-extended\" ? true : bl === \"applebot-extended\") { extra.push([\"info\", \"O \" + bot + \" n\" + U(227) + \"o visita o site: \" + U(233) + \" s\" + U(243) + \" um nome usado no robots.txt para controlar o uso do conte\" + U(250) + \"do pela IA. Quem rastreia \" + U(233) + \" o \" + (bl === \"google-extended\" ? \"Googlebot\" : \"Applebot\") + \".\"]); } if (bl === \"chatgpt-user\" ? true : (bl === \"perplexity-user\" ? true : bl === \"meta-externalfetcher\")) { extra.push([\"warn\", \"Esse rob\" + U(244) + \" age a pedido de um usu\" + U(225) + \"rio e pode ignorar o robots.txt.\"]); } notes(el(\"t-notes\"), P.I.concat(extra)); } function update() { var r = generate(); st.gen = r.txt; el(\"out\").textContent = r.txt; notes(el(\"notes\"), r.N); if (!st.dirty) { el(\"t-txt\").value = r.txt; } test(); } function syncPlat() { var plat = val(\"plat\"); var key = plat === \"html\" ? \"html\" : \"wp\"; var s = el(\"sm\"); var cur = s.value; s.textContent = \"\"; var opts = SITEMAPS[key]; var keep = false; for (var i = 0; i !== opts.length; i++) { var o = add(s, \"option\", opts[i][1]); o.value = opts[i][0]; if (opts[i][0] === cur) { keep = true; } } s.value = keep ? cur : opts[0][0]; el(\"search-w\").style.display = key === \"wp\" ? \"flex\" : \"none\"; el(\"cart-w\").style.display = plat === \"woo\" ? \"flex\" : \"none\"; syncSm(); } function syncSm() { el(\"smurl-w\").style.display = val(\"sm\") === \"custom\" ? \"block\" : \"none\"; } function syncAi() { var m = blockedBots().mode; el(\"pick\").style.display = m === \"pick\" ? \"block\" : \"none\"; } function label(p, text, id) { var l = add(p, \"label\", text, \"display:block;font-weight:700;font-size:13.5px;color:\" + NAVY + \";margin-bottom:4px;\"); if (id) { l.setAttribute(\"for\", PFX + id); } return l; } function sub(p, text) { return add(p, \"div\", text, \"font-weight:800;font-size:12.5px;letter-spacing:.05em;text-transform:uppercase;color:#475569;margin:18px 0 6px;\"); } function row(p) { return add(p, \"div\", \"\", \"display:flex;flex-wrap:wrap;gap:10px;margin-top:10px;\"); } function col(p, flex) { return add(p, \"div\", \"\", \"flex:\" + or(flex, \"1 1 220px\") + \";min-width:0;\"); } function check(p, id, text, on, hint) { var w = add(p, \"label\", \"\", \"display:flex;align-items:flex-start;gap:8px;margin-top:8px;cursor:pointer;font-size:14px;color:#0F172A;line-height:1.45;\"); w.id = PFX + id + \"-w\"; var c = add(w, \"input\", \"\", \"margin:2px 0 0;width:17px;height:17px;flex:0 0 auto;\"); c.type = \"checkbox\"; c.id = PFX + id; c.checked = on; var tx = add(w, \"span\", \"\"); add(tx, \"span\", text, \"font-weight:700;\"); if (hint) { add(tx, \"span\", \" \" + hint, \"color:#475569;\"); } c.addEventListener(\"change\", update); return c; } function btn(p, text, primary) { var b = add(p, \"button\", text, primary ? \"padding:9px 18px;border:0;border-radius:8px;background:\" + NAVY + \";color:#ffffff;font-size:14.5px;font-weight:700;cursor:pointer;line-height:1.3;margin:0;\" : \"padding:6px 12px;border:1px solid \" + NAVY + \";border-radius:7px;background:#ffffff;color:\" + NAVY + \";font-size:13px;font-weight:700;cursor:pointer;line-height:1.3;margin:0;\"); b.type = \"button\"; return b; } add(root0, \"div\", \"Gerador de robots.txt\", \"font-weight:800;font-size:19px;color:\" + NAVY + \";margin-bottom:4px;\"); add(root0, \"p\", \"Escolha a plataforma, decida o que fazer com os rob\" + U(244) + \"s de IA e copie o arquivo pronto. Depois, teste qualquer endere\" + U(231) + \"o do site para ver se um rob\" + U(244) + \" pode acess\" + U(225) + \"-lo.\", \"margin:0 0 12px;line-height:1.5;font-size:14.5px;\"); var r1 = row(root0); var c1 = col(r1); label(c1, \"Plataforma\", \"plat\"); var plat = add(c1, \"select\", \"\", INP); plat.id = PFX + \"plat\"; var PL = [[\"wp\", \"WordPress\"], [\"woo\", \"WordPress com WooCommerce\"], [\"html\", \"Site em HTML ou outra plataforma\"]]; for (var p0 = 0; p0 !== PL.length; p0++) { add(plat, \"option\", PL[p0][1]).value = PL[p0][0]; } var c2 = col(r1); label(c2, \"Endere\" + U(231) + \"o do site\", \"site\"); var site = add(c2, \"input\", \"\", INP); site.type = \"url\"; site.id = PFX + \"site\"; site.setAttribute(\"placeholder\", \"https:\" + S2 + \"www.seusite.com.br\"); site.setAttribute(\"autocomplete\", \"off\"); var r2 = row(root0); var c3 = col(r2); label(c3, \"Sitemap\", \"sm\"); var sm = add(c3, \"select\", \"\", INP); sm.id = PFX + \"sm\"; var c4 = col(r2); c4.id = PFX + \"smurl-w\"; label(c4, \"Endere\" + U(231) + \"o do sitemap\", \"smurl\"); var smu = add(c4, \"input\", \"\", INP); smu.type = \"url\"; smu.id = PFX + \"smurl\"; smu.setAttribute(\"placeholder\", \"https:\" + S2 + \"www.seusite.com.br\/sitemap.xml\"); smu.setAttribute(\"autocomplete\", \"off\"); sub(root0, \"O que bloquear para todos os rob\" + U(244) + \"s\"); check(root0, \"search\", \"Bloquear a busca interna do site\", true, \"(\/?s= e \/search\/). Essas p\" + U(225) + \"ginas n\" + U(227) + \"o t\" + U(234) + \"m conte\" + U(250) + \"do pr\" + U(243) + \"prio e gastam rastreamento.\"); check(root0, \"cart\", \"Bloquear os links de adicionar ao carrinho\", true, \"(add-to-cart=). Cada produto gera v\" + U(225) + \"rios desses links.\"); var r3 = row(root0); var c5 = col(r3, \"1 1 100%\"); label(c5, \"Outras pastas ou p\" + U(225) + \"ginas (uma por linha)\", \"extra\"); var ex = add(c5, \"textarea\", \"\", INP + \"min-height:64px;resize:vertical;line-height:1.45;\" + MONO + \"font-size:14px;\"); ex.id = PFX + \"extra\"; ex.setAttribute(\"placeholder\", \"\/area-do-cliente\/\" + NL + \"\/\" + \"*.pdf$\"); add(c5, \"div\", \"Use * para qualquer sequ\" + U(234) + \"ncia de caracteres e $ para marcar o fim do endere\" + U(231) + \"o.\", \"font-size:12.5px;color:#475569;margin-top:3px;\"); sub(root0, \"Rob\" + U(244) + \"s de IA\"); var aiw = add(root0, \"div\", \"\", \"display:flex;flex-direction:column;gap:6px;\"); var AIO = [[\"allow\", \"Permitir todos\", \"Nenhuma regra extra para IA.\"], [\"train\", \"Bloquear s\" + U(243) + \" o treinamento de IA\", \"O site continua aparecendo nas buscas com IA, como a do ChatGPT.\"], [\"all\", \"Bloquear treinamento e buscas com IA\", \"Tira o site tamb\" + U(233) + \"m das respostas dos assistentes.\"], [\"pick\", \"Escolher um por um\", \"\"]]; for (var a0 = 0; a0 !== AIO.length; a0++) { var lw = add(aiw, \"label\", \"\", \"display:flex;align-items:flex-start;gap:8px;cursor:pointer;font-size:14px;color:#0F172A;line-height:1.45;\"); var rd = add(lw, \"input\", \"\", \"margin:2px 0 0;width:17px;height:17px;flex:0 0 auto;\"); rd.type = \"radio\"; rd.name = PFX + \"ai\"; rd.value = AIO[a0][0]; rd.id = PFX + \"ai-\" + AIO[a0][0]; rd.checked = a0 === 0; rd.addEventListener(\"change\", function () { syncAi(); update(); }); var lt0 = add(lw, \"span\", \"\"); add(lt0, \"span\", AIO[a0][1], \"font-weight:700;\"); if (AIO[a0][2]) { add(lt0, \"span\", \" \" + AIO[a0][2], \"color:#475569;\"); } } var pick = add(root0, \"div\", \"\", \"display:none;background:#ffffff;border:1px solid #d5dce5;border-radius:10px;padding:4px 12px;margin-top:8px;\"); pick.id = PFX + \"pick\"; for (var b0 = 0; b0 !== BOTS.length; b0++) { var bw = add(pick, \"label\", \"\", \"display:flex;align-items:flex-start;gap:8px;padding:7px 0;cursor:pointer;\" + (b0 === 0 ? \"\" : \"border-top:1px solid #eef1f5;\")); var bc = add(bw, \"input\", \"\", \"margin:2px 0 0;width:17px;height:17px;flex:0 0 auto;\"); bc.type = \"checkbox\"; bc.id = PFX + \"b-\" + b0; bc.checked = BOTS[b0][3] === \"train\"; bc.addEventListener(\"change\", update); var bt = add(bw, \"span\", \"\", \"font-size:13.5px;line-height:1.45;color:#334155;min-width:0;\"); add(bt, \"span\", BOTS[b0][0], \"font-weight:800;color:#0F172A;\" + MONO); bt.appendChild(document.createTextNode(\" \" + U(183) + \" \" + BOTS[b0][1] + \" \" + U(183) + \" \" + BOTS[b0][2])); } var wh = add(root0, \"div\", \"\", \"margin-top:14px;\"); check(wh, \"whole\", \"Bloquear o site inteiro\", false, \"(site em constru\" + U(231) + U(227) + \"o). Nenhum buscador rastreia nada.\"); var nt = add(root0, \"div\", \"\"); nt.id = PFX + \"notes\"; nt.setAttribute(\"aria-live\", \"polite\"); sub(root0, \"Seu robots.txt\"); var pre = add(root0, \"pre\", \"\", \"margin:0;background:#ffffff;border:1px solid #d5dce5;border-radius:10px;padding:10px 12px;font-size:13px;line-height:1.6;white-space:pre-wrap;overflow-wrap:anywhere;color:#0F172A;\" + MONO); pre.id = PFX + \"out\"; var bts = add(root0, \"div\", \"\", \"display:flex;flex-wrap:wrap;gap:8px;margin-top:10px;\"); var cp = btn(bts, \"Copiar\", true); cp.id = PFX + \"copy\"; cp.addEventListener(\"click\", function () { function done() { cp.textContent = \"Copiado\"; setTimeout(function () { cp.textContent = \"Copiar\"; }, 1500); } function manual() { cp.textContent = \"Selecione e copie\"; } if (navigator.clipboard ? navigator.clipboard.writeText : false) { navigator.clipboard.writeText(st.gen).then(done, manual); } else { manual(); } }); var dl = btn(bts, \"Baixar robots.txt\", false); dl.id = PFX + \"dl\"; dl.addEventListener(\"click\", function () { var u = URL.createObjectURL(new Blob([st.gen], {type: \"text\/plain\"})); var a = document.createElement(\"a\"); a.href = u; a.download = \"robots.txt\"; a.style.display = \"none\"; document.body.appendChild(a); a.click(); setTimeout(function () { URL.revokeObjectURL(u); a.remove(); }, 4000); }); add(root0, \"p\", \"O arquivo vai na raiz do site, no endere\" + U(231) + \"o seusite.com.br\/robots.txt. No cPanel, \" + U(233) + \" a pasta public_html.\", \"margin:10px 0 0;font-size:13.5px;color:#334155;line-height:1.5;\"); var tw = add(root0, \"div\", \"\", \"margin-top:22px;padding-top:16px;border-top:1px solid #d5dce5;\"); add(tw, \"div\", \"Teste um endere\" + U(231) + \"o\", \"font-weight:800;font-size:17px;color:\" + NAVY + \";margin-bottom:4px;\"); add(tw, \"p\", \"O teste usa o arquivo gerado acima. Para testar o robots.txt atual do seu site, abra seusite.com.br\/robots.txt, copie o conte\" + U(250) + \"do e cole aqui.\", \"margin:0 0 8px;font-size:14px;line-height:1.5;color:#334155;\"); var tt = add(tw, \"textarea\", \"\", INP + \"min-height:150px;resize:vertical;line-height:1.5;font-size:13.5px;\" + MONO); tt.id = PFX + \"t-txt\"; tt.setAttribute(\"aria-label\", \"Conte\" + U(250) + \"do do robots.txt para testar\"); tt.setAttribute(\"spellcheck\", \"false\"); tt.addEventListener(\"input\", function () { st.dirty = true; el(\"t-reset\").style.display = \"inline-block\"; test(); }); var rs = btn(add(tw, \"div\", \"\", \"margin-top:6px;\"), \"Voltar ao arquivo gerado\", false); rs.id = PFX + \"t-reset\"; rs.style.display = \"none\"; rs.addEventListener(\"click\", function () { st.dirty = false; rs.style.display = \"none\"; el(\"t-txt\").value = st.gen; test(); }); var r4 = row(tw); var c6 = col(r4, \"2 1 260px\"); label(c6, \"Endere\" + U(231) + \"o ou caminho\", \"t-url\"); var tu = add(c6, \"input\", \"\", INP + MONO); tu.type = \"text\"; tu.id = PFX + \"t-url\"; tu.value = \"\/wp-admin\/\"; tu.setAttribute(\"autocomplete\", \"off\"); tu.setAttribute(\"spellcheck\", \"false\"); tu.addEventListener(\"input\", test); var c7 = col(r4, \"1 1 200px\"); label(c7, \"Rob\" + U(244), \"t-bot\"); var tb = add(c7, \"select\", \"\", INP); tb.id = PFX + \"t-bot\"; for (var t0 = 0; t0 !== TEST_BOTS.length; t0++) { add(tb, \"option\", TEST_BOTS[t0]).value = TEST_BOTS[t0]; } add(tb, \"option\", \"Outro rob\" + U(244) + U(8230)).value = \"other\"; var c8 = col(r4, \"1 1 180px\"); c8.id = PFX + \"t-other-w\"; c8.style.display = \"none\"; label(c8, \"Nome do rob\" + U(244), \"t-other\"); var to = add(c8, \"input\", \"\", INP + MONO); to.type = \"text\"; to.id = PFX + \"t-other\"; to.setAttribute(\"placeholder\", \"Bytespider\"); to.setAttribute(\"autocomplete\", \"off\"); to.addEventListener(\"input\", test); tb.addEventListener(\"change\", function () { c8.style.display = tb.value === \"other\" ? \"block\" : \"none\"; test(); }); var tr = add(tw, \"div\", \"\"); tr.id = PFX + \"t-res\"; tr.setAttribute(\"aria-live\", \"polite\"); var tn = add(tw, \"div\", \"\"); tn.id = PFX + \"t-notes\"; add(root0, \"p\", \"Tudo acontece no seu navegador. O teste segue as regras de prioridade do Google: vale a regra mais espec\" + U(237) + \"fica e, no empate, a que libera.\", \"margin:16px 0 0;font-size:12.5px;color:#475569;line-height:1.5;\"); plat.addEventListener(\"change\", function () { syncPlat(); update(); }); site.addEventListener(\"input\", update); sm.addEventListener(\"change\", function () { syncSm(); update(); }); smu.addEventListener(\"input\", update); ex.addEventListener(\"input\", update); syncPlat(); syncAi(); update(); })();<\/script>\n\n\n\n<h2 class=\"wp-block-heading\">O que \u00e9 o robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O robots.txt fica sempre no mesmo lugar: na raiz do site, em <code>seusite.com.br\/robots.txt<\/code>. Antes de rastrear as p\u00e1ginas, os rob\u00f4s dos buscadores leem esse arquivo para saber o que podem visitar. O Google o usa principalmente para controlar o tr\u00e1fego de rob\u00f4s, para n\u00e3o sobrecarregar o servidor e para n\u00e3o gastar rastreamento com p\u00e1ginas sem import\u00e2ncia.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cada endere\u00e7o tem o seu arquivo. Um subdom\u00ednio, como loja.seusite.com.br, precisa de um robots.txt pr\u00f3prio, e o mesmo vale para vers\u00f5es com outro protocolo ou porta.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Os rob\u00f4s dos grandes buscadores e das grandes empresas de IA seguem o arquivo, mas ele \u00e9 s\u00f3 um pedido: rob\u00f4s mal-intencionados simplesmente ignoram. Por isso, o robots.txt n\u00e3o serve para proteger nada.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ele tamb\u00e9m n\u00e3o deve ser confundido com dois arquivos parecidos. O sitemap.xml lista as p\u00e1ginas do site, e o llms.txt indica aos modelos de IA o que mais importa. A <a href=\"https:\/\/www.homehost.com.br\/blog\/seo\/llms-txt\/\">compara\u00e7\u00e3o entre robots.txt, sitemap.xml e llms.txt<\/a> mostra a fun\u00e7\u00e3o de cada um.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Como funcionam as regras do arquivo<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O arquivo \u00e9 formado por grupos. Cada grupo come\u00e7a com uma ou mais linhas <code>User-agent<\/code>, que dizem a quais rob\u00f4s ele vale, seguidas das regras.<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><th>Linha<\/th><th>O que faz<\/th><th>Exemplo<\/th><\/tr><\/thead><tbody><tr><td>User-agent<\/td><td>Define a qual rob\u00f4 as regras valem. O asterisco vale para todos<\/td><td><code>User-agent: Googlebot<\/code><\/td><\/tr><tr><td>Disallow<\/td><td>Bloqueia um caminho<\/td><td><code>Disallow: \/wp-admin\/<\/code><\/td><\/tr><tr><td>Allow<\/td><td>Libera um caminho dentro de outro bloqueado<\/td><td><code>Allow: \/wp-admin\/admin-ajax.php<\/code><\/td><\/tr><tr><td>Sitemap<\/td><td>Informa o endere\u00e7o completo do sitemap<\/td><td><code>Sitemap: https:\/\/www.seusite.com.br\/sitemap.xml<\/code><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Nos caminhos, o asterisco vale por qualquer sequ\u00eancia de caracteres, e o cifr\u00e3o marca o fim do endere\u00e7o. <code>Disallow: \/*.pdf$<\/code> bloqueia todos os PDFs. Os caminhos diferenciam mai\u00fasculas de min\u00fasculas: <code>\/Fotos\/<\/code> e <code>\/fotos\/<\/code> s\u00e3o pastas diferentes para o robots.txt.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Quando as regras se cruzam, o Google segue duas regras de prioridade, descritas na <a href=\"https:\/\/developers.google.com\/search\/docs\/crawling-indexing\/robots\/robots_txt\">documenta\u00e7\u00e3o do Google sobre o robots.txt<\/a>:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Cada rob\u00f4 segue um grupo s\u00f3:<\/strong> o que tem o nome dele ou, se n\u00e3o houver, o do asterisco. Um rob\u00f4 com grupo pr\u00f3prio ignora as regras do grupo geral.<\/li>\n\n\n\n<li><strong>Dentro do grupo, vale a regra mais espec\u00edfica,<\/strong> ou seja, a de caminho mais longo. Se <code>Allow<\/code> e <code>Disallow<\/code> empatam, vale a que libera.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">\u00c9 por isso que <code>Allow: \/wp-admin\/admin-ajax.php<\/code> funciona mesmo com <code>Disallow: \/wp-admin\/<\/code> logo acima: a regra que libera \u00e9 mais longa.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Alguns limites pr\u00e1ticos: o arquivo precisa estar em UTF-8, o Google l\u00ea s\u00f3 os primeiros 500 KiB e guarda o arquivo em cache por at\u00e9 24 horas. O Google ignora a linha <code>Crawl-delay<\/code>, que outros rob\u00f4s, como o ClaudeBot e o CCBot, respeitam.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Modelos prontos de robots.txt<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">WordPress<\/h3>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php\nDisallow: \/?s=\nDisallow: \/search\/\n\nSitemap: https:\/\/www.seusite.com.br\/wp-sitemap.xml<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">As tr\u00eas primeiras linhas s\u00e3o as que o pr\u00f3prio WordPress usa no robots.txt virtual que ele gera quando n\u00e3o existe um arquivo de verdade. As duas seguintes bloqueiam as p\u00e1ginas de busca interna, que n\u00e3o t\u00eam conte\u00fado pr\u00f3prio. O sitemap muda conforme o plugin: o Yoast e o Rank Math usam <code>sitemap_index.xml<\/code>, e o gerador j\u00e1 monta o endere\u00e7o certo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">N\u00e3o bloqueie as pastas <code>\/wp-content\/<\/code> e <code>\/wp-includes\/<\/code>. Elas guardam o CSS e o JavaScript do site, e o Google precisa deles para entender as p\u00e1ginas.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">WooCommerce<\/h3>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php\nDisallow: \/?s=\nDisallow: \/search\/\nDisallow: \/*add-to-cart=\n\nSitemap: https:\/\/www.seusite.com.br\/wp-sitemap.xml<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">A linha a mais bloqueia os links de adicionar ao carrinho, que se multiplicam a cada produto. N\u00e3o \u00e9 preciso bloquear as p\u00e1ginas de carrinho, finalizar compra e minha conta: o WooCommerce j\u00e1 as marca como noindex.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">Site em HTML<\/h3>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: *\nAllow: \/\n\nSitemap: https:\/\/www.seusite.com.br\/sitemap.xml<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Libera tudo e indica o sitemap. Se houver uma pasta que n\u00e3o deve ser rastreada, acrescente uma linha <code>Disallow<\/code> para ela.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Como bloquear os rob\u00f4s de IA no robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">As empresas de IA usam rob\u00f4s diferentes para coisas diferentes. Uns coletam conte\u00fado para treinar os modelos. Outros montam o \u00edndice da busca com IA, como a do ChatGPT. E h\u00e1 os que visitam uma p\u00e1gina na hora em que um usu\u00e1rio pede, e esses nem sempre seguem o robots.txt.<\/p>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><th>Rob\u00f4<\/th><th>Empresa<\/th><th>Para que serve<\/th><\/tr><\/thead><tbody><tr><td>GPTBot<\/td><td>OpenAI<\/td><td>Treinamento dos modelos<\/td><\/tr><tr><td>OAI-SearchBot<\/td><td>OpenAI<\/td><td>Busca do ChatGPT<\/td><\/tr><tr><td>ChatGPT-User<\/td><td>OpenAI<\/td><td>Visitas pedidas por usu\u00e1rios. Pode ignorar o robots.txt<\/td><\/tr><tr><td>ClaudeBot<\/td><td>Anthropic<\/td><td>Treinamento dos modelos<\/td><\/tr><tr><td>Claude-SearchBot<\/td><td>Anthropic<\/td><td>Busca do Claude<\/td><\/tr><tr><td>Claude-User<\/td><td>Anthropic<\/td><td>Visitas pedidas por usu\u00e1rios<\/td><\/tr><tr><td>Google-Extended<\/td><td>Google<\/td><td>Uso do conte\u00fado no Gemini<\/td><\/tr><tr><td>Applebot-Extended<\/td><td>Apple<\/td><td>Treinamento dos modelos da Apple<\/td><\/tr><tr><td>PerplexityBot<\/td><td>Perplexity<\/td><td>Busca do Perplexity<\/td><\/tr><tr><td>Perplexity-User<\/td><td>Perplexity<\/td><td>Visitas pedidas por usu\u00e1rios. Costuma ignorar o robots.txt<\/td><\/tr><tr><td>Meta-ExternalAgent<\/td><td>Meta<\/td><td>Treinamento de IA e indexa\u00e7\u00e3o<\/td><\/tr><tr><td>Meta-WebIndexer<\/td><td>Meta<\/td><td>Busca da Meta AI<\/td><\/tr><tr><td>CCBot<\/td><td>Common Crawl<\/td><td>Arquivo p\u00fablico da web, reaproveitado por terceiros<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<figure class=\"wp-block-image size-large\"><img fetchpriority=\"high\" decoding=\"async\" src=\"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robos-de-ia-robots-txt-777x1024.png\" alt=\"Infogr\u00e1fico com os tr\u00eas tipos de rob\u00f4s de IA, de treinamento, de busca e a pedido do usu\u00e1rio, e o que acontece ao bloquear cada um\" class=\"wp-image-18615\" width=\"777\" height=\"1024\" srcset=\"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robos-de-ia-robots-txt-777x1024.png 777w, https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robos-de-ia-robots-txt-228x300.png 228w, https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robos-de-ia-robots-txt-768x1013.png 768w, https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robos-de-ia-robots-txt.png 1092w\" sizes=\"(max-width: 777px) 100vw, 777px\" \/><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">O Google-Extended e o Applebot-Extended n\u00e3o s\u00e3o rob\u00f4s que visitam o site. S\u00e3o nomes usados s\u00f3 no robots.txt para controlar o uso do conte\u00fado pela IA, e bloque\u00e1-los n\u00e3o tira o site da busca do Google nem da busca da Apple, segundo a <a href=\"https:\/\/developers.google.com\/search\/docs\/crawling-indexing\/google-common-crawlers\">lista de rastreadores do Google<\/a> e a <a href=\"https:\/\/support.apple.com\/en-ae\/119829\">p\u00e1gina do Applebot<\/a>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para bloquear s\u00f3 o treinamento, junte os rob\u00f4s em um grupo:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>User-agent: GPTBot\nUser-agent: ClaudeBot\nUser-agent: Google-Extended\nUser-agent: Applebot-Extended\nUser-agent: Meta-ExternalAgent\nUser-agent: CCBot\nDisallow: \/<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">A decis\u00e3o \u00e9 sua. Bloquear o treinamento n\u00e3o afeta a busca tradicional. J\u00e1 bloquear os rob\u00f4s de busca, como o OAI-SearchBot e o PerplexityBot, tira o site das respostas desses assistentes, que hoje tamb\u00e9m mandam visitantes para os sites que citam.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">O que o robots.txt n\u00e3o faz<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>N\u00e3o tira p\u00e1ginas do Google.<\/strong> Uma p\u00e1gina bloqueada ainda pode aparecer na busca, sem descri\u00e7\u00e3o, se outros sites apontarem para ela. Para tirar uma p\u00e1gina do Google, use a <a href=\"https:\/\/www.homehost.com.br\/blog\/tutoriais\/meta-tag\/\">meta tag<\/a> robots com noindex e deixe a p\u00e1gina liberada no robots.txt, porque o Google precisa visit\u00e1-la para ler o noindex.<\/li>\n\n\n\n<li><strong>N\u00e3o protege conte\u00fado.<\/strong> O arquivo \u00e9 p\u00fablico, e qualquer pessoa pode ler o que voc\u00ea bloqueou. Para uma \u00e1rea restrita, <a href=\"https:\/\/www.homehost.com.br\/blog\/tutoriais\/como-proteger-uma-pasta-seu-site-com-login-e-senha\/\">proteja a pasta com senha<\/a>.<\/li>\n\n\n\n<li><strong>N\u00e3o melhora a posi\u00e7\u00e3o no Google.<\/strong> Um robots.txt bem feito evita problemas de rastreamento, mas n\u00e3o faz o site subir.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Como editar o robots.txt no WordPress e no cPanel<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O WordPress cria um robots.txt virtual quando n\u00e3o existe um arquivo de verdade na raiz do site. Para trocar por um arquivo seu, h\u00e1 tr\u00eas caminhos:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Yoast SEO:<\/strong> em SEO \u203a Ferramentas \u203a Editor de arquivos.<\/li>\n\n\n\n<li><strong>Rank Math:<\/strong> em Rank Math \u203a Configura\u00e7\u00f5es gerais \u203a Editar robots.txt.<\/li>\n\n\n\n<li><strong>Gerenciador de Arquivos do cPanel:<\/strong> crie o arquivo robots.txt na pasta public_html e cole o conte\u00fado. Um arquivo de verdade sempre substitui o virtual do WordPress.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Depois de salvar, abra <code>seusite.com.br\/robots.txt<\/code> no navegador para confirmar que o arquivo novo est\u00e1 no ar.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Como testar o robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O testador do gerador mostra se um rob\u00f4 pode acessar um endere\u00e7o e qual regra decidiu, seguindo a mesma prioridade do Google. Para testar o arquivo que j\u00e1 est\u00e1 no ar, abra o robots.txt do seu site, copie o conte\u00fado e cole no testador.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">No Google Search Console, o relat\u00f3rio robots.txt, em Configura\u00e7\u00f5es, mostra as vers\u00f5es que o Google baixou, os erros que encontrou e permite pedir uma nova leitura do arquivo. Ele substituiu o antigo testador de robots.txt, aposentado em 2023. Para uma p\u00e1gina espec\u00edfica, a Inspe\u00e7\u00e3o de URL diz se ela est\u00e1 bloqueada.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Erros comuns no robots.txt<\/h2>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Esquecer o <code>Disallow: \/<\/code> depois de lan\u00e7ar o site.<\/strong> \u00c9 comum bloquear tudo durante a constru\u00e7\u00e3o e esquecer de liberar depois.<\/li>\n\n\n\n<li><strong>Bloquear CSS e JavaScript.<\/strong> Sem eles, o Google n\u00e3o v\u00ea a p\u00e1gina como o visitante v\u00ea.<\/li>\n\n\n\n<li><strong>Usar o robots.txt para tirar p\u00e1ginas do Google.<\/strong> Al\u00e9m de n\u00e3o funcionar, impede o Google de ler o noindex.<\/li>\n\n\n\n<li><strong>Escrever o caminho sem a barra inicial.<\/strong> <code>Disallow: privado<\/code> n\u00e3o vale nada; o certo \u00e9 <code>Disallow: \/privado<\/code>.<\/li>\n\n\n\n<li><strong>Colocar o sitemap com endere\u00e7o relativo.<\/strong> A linha Sitemap precisa do endere\u00e7o completo, com https.<\/li>\n\n\n\n<li><strong>Usar noindex ou Crawl-delay para o Google.<\/strong> O Google n\u00e3o aceita nenhuma das duas linhas.<\/li>\n<\/ul>\n\n\n\n<div style=\"max-width:780px;margin:24px auto;border:1px solid #c9d2dd;border-left:6px solid #0b3d91;border-radius:12px;padding:18px 22px;background:#f4f6f9;font-family:Arial,Helvetica,sans-serif;color:#0F172A;box-sizing:border-box;\">\n<div style=\"font-weight:800;font-size:17px;color:#0b3d91;margin-bottom:6px;\">Hospedagem com cPanel na Homehost<\/div>\n<p style=\"margin:0 0 12px;line-height:1.6;font-size:15px;\">Servidores LiteSpeed, certificado SSL gr\u00e1tis e o robots.txt e os outros arquivos do site sempre \u00e0 m\u00e3o, no Gerenciador de Arquivos do cPanel.<\/p>\n<a href=\"https:\/\/www.homehost.com.br\/hospedagem-de-sites\/\" style=\"display:inline-block;margin:0 0 6px;padding:9px 18px;background:#0b3d91;color:#ffffff;border-radius:8px;font-weight:700;font-size:14.5px;text-decoration:none;\">Ver planos de hospedagem<\/a>\n<\/div>\n\n\n\n<h2 class=\"wp-block-heading\">Perguntas frequentes<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>O que \u00e9 robots.txt?<\/strong><br>\u00c9 um arquivo de texto na raiz do site que diz aos rob\u00f4s dos buscadores e das empresas de IA o que eles podem rastrear. Ele fica em seusite.com.br\/robots.txt e \u00e9 lido antes do rastreamento. Os grandes buscadores seguem o arquivo, mas ele \u00e9 s\u00f3 um pedido, e n\u00e3o uma prote\u00e7\u00e3o.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Onde fica o robots.txt no WordPress?<\/strong><br>Se n\u00e3o existe um arquivo na raiz do site, o WordPress mostra um robots.txt virtual. Para editar, use o editor de arquivos do Yoast SEO, a op\u00e7\u00e3o Editar robots.txt do Rank Math ou crie o arquivo na pasta public_html pelo Gerenciador de Arquivos do cPanel. Um arquivo de verdade sempre substitui o virtual.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Como bloquear o ChatGPT e outras IAs no robots.txt?<\/strong><br>Crie um grupo com os rob\u00f4s de IA e a regra Disallow: \/. Para bloquear s\u00f3 o treinamento, use GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent e CCBot. Para tirar o site tamb\u00e9m das buscas com IA, inclua OAI-SearchBot, Claude-SearchBot, PerplexityBot e Meta-WebIndexer. O gerador desta p\u00e1gina monta o grupo pronto.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Bloquear rob\u00f4s de IA prejudica o site no Google?<\/strong><br>Bloquear o treinamento n\u00e3o afeta a busca do Google. O Google-Extended, por exemplo, n\u00e3o \u00e9 usado para incluir nem para ranquear sites na busca. J\u00e1 bloquear os rob\u00f4s de busca com IA tira o site das respostas do ChatGPT, do Claude e do Perplexity.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>O robots.txt tira uma p\u00e1gina do Google?<\/strong><br>N\u00e3o. Uma p\u00e1gina bloqueada ainda pode aparecer na busca se outros sites apontarem para ela. Para tirar uma p\u00e1gina do Google, use a meta tag robots com noindex e deixe a p\u00e1gina liberada no robots.txt, para que o Google consiga ler o noindex.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Todo site precisa de robots.txt?<\/strong><br>N\u00e3o \u00e9 obrigat\u00f3rio. Sem o arquivo, os buscadores entendem que podem rastrear tudo. Mesmo assim, vale ter um, nem que seja s\u00f3 para indicar o sitemap e para decidir o que fazer com os rob\u00f4s de IA.<\/p>\n\n\n\n<script type=\"application\/ld+json\">\n{\n  \"@context\": \"https:\/\/schema.org\",\n  \"@type\": \"FAQPage\",\n  \"mainEntity\": [\n    {\n      \"@type\": \"Question\",\n      \"name\": \"O que \u00e9 robots.txt?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"\u00c9 um arquivo de texto na raiz do site que diz aos rob\u00f4s dos buscadores e das empresas de IA o que eles podem rastrear. Ele fica em seusite.com.br\/robots.txt e \u00e9 lido antes do rastreamento. Os grandes buscadores seguem o arquivo, mas ele \u00e9 s\u00f3 um pedido, e n\u00e3o uma prote\u00e7\u00e3o.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Onde fica o robots.txt no WordPress?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Se n\u00e3o existe um arquivo na raiz do site, o WordPress mostra um robots.txt virtual. Para editar, use o editor de arquivos do Yoast SEO, a op\u00e7\u00e3o Editar robots.txt do Rank Math ou crie o arquivo na pasta public_html pelo Gerenciador de Arquivos do cPanel. Um arquivo de verdade sempre substitui o virtual.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Como bloquear o ChatGPT e outras IAs no robots.txt?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Crie um grupo com os rob\u00f4s de IA e a regra Disallow: \/. Para bloquear s\u00f3 o treinamento, use GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent e CCBot. Para tirar o site tamb\u00e9m das buscas com IA, inclua OAI-SearchBot, Claude-SearchBot, PerplexityBot e Meta-WebIndexer. O gerador desta p\u00e1gina monta o grupo pronto.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Bloquear rob\u00f4s de IA prejudica o site no Google?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"Bloquear o treinamento n\u00e3o afeta a busca do Google. O Google-Extended, por exemplo, n\u00e3o \u00e9 usado para incluir nem para ranquear sites na busca. J\u00e1 bloquear os rob\u00f4s de busca com IA tira o site das respostas do ChatGPT, do Claude e do Perplexity.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"O robots.txt tira uma p\u00e1gina do Google?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"N\u00e3o. Uma p\u00e1gina bloqueada ainda pode aparecer na busca se outros sites apontarem para ela. Para tirar uma p\u00e1gina do Google, use a meta tag robots com noindex e deixe a p\u00e1gina liberada no robots.txt, para que o Google consiga ler o noindex.\"\n      }\n    },\n    {\n      \"@type\": \"Question\",\n      \"name\": \"Todo site precisa de robots.txt?\",\n      \"acceptedAnswer\": {\n        \"@type\": \"Answer\",\n        \"text\": \"N\u00e3o \u00e9 obrigat\u00f3rio. Sem o arquivo, os buscadores entendem que podem rastrear tudo. Mesmo assim, vale ter um, nem que seja s\u00f3 para indicar o sitemap e para decidir o que fazer com os rob\u00f4s de IA.\"\n      }\n    }\n  ]\n}\n<\/script>\n\n\n\n<h2 class=\"wp-block-heading\">Conclus\u00e3o<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O robots.txt \u00e9 um arquivo pequeno com uma fun\u00e7\u00e3o bem definida: dizer aos rob\u00f4s o que eles podem rastrear. Ele organiza o rastreamento, aponta o sitemap e, hoje, \u00e9 tamb\u00e9m onde se decide se o conte\u00fado do site pode treinar modelos de IA. O que ele n\u00e3o faz \u00e9 esconder p\u00e1ginas do Google ou proteger conte\u00fado. Monte o arquivo no gerador, teste os endere\u00e7os mais importantes e confira o relat\u00f3rio do Search Console depois de publicar.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>O robots.txt \u00e9 um arquivo de texto na raiz do site que diz aos rob\u00f4s dos buscadores e das empresas de IA o que eles podem rastrear. Com o gerador abaixo, voc\u00ea monta o arquivo para WordPress, WooCommerce ou site em HTML, decide o que fazer com os rob\u00f4s de IA e testa qualquer endere\u00e7o [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":18614,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_helpful_status":1,"_lmt_disableupdate":"","_lmt_disable":"","_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[24],"tags":[],"class_list":["post-18613","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.2 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis | Homehost<\/title>\n<meta name=\"description\" content=\"Gerador de robots.txt gr\u00e1tis: modelos para WordPress e WooCommerce, bloqueio de rob\u00f4s de IA como o GPTBot e testador de endere\u00e7os.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis | Homehost\" \/>\n<meta property=\"og:description\" content=\"Gerador de robots.txt gr\u00e1tis: modelos para WordPress e WooCommerce, bloqueio de rob\u00f4s de IA como o GPTBot e testador de endere\u00e7os.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Homehost\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/Homehost\/\" \/>\n<meta property=\"article:published_time\" content=\"2026-11-05T21:53:56+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-11-05T21:54:05+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robots-txt.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1672\" \/>\n\t<meta property=\"og:image:height\" content=\"941\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Gustavo Gallas\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@Homehost\" \/>\n<meta name=\"twitter:site\" content=\"@Homehost\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Gustavo Gallas\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"11 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/\"},\"author\":{\"name\":\"Gustavo Gallas\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#\\\/schema\\\/person\\\/df8002f43fc55e7f4e132abb2a6ddbc4\"},\"headline\":\"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis\",\"datePublished\":\"2026-11-05T21:53:56+00:00\",\"dateModified\":\"2026-11-05T21:54:05+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/\"},\"wordCount\":1949,\"publisher\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/robots-txt.png\",\"articleSection\":[\"SEO\"],\"inLanguage\":\"pt-BR\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/\",\"url\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/\",\"name\":\"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis | Homehost\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/robots-txt.png\",\"datePublished\":\"2026-11-05T21:53:56+00:00\",\"dateModified\":\"2026-11-05T21:54:05+00:00\",\"description\":\"Gerador de robots.txt gr\u00e1tis: modelos para WordPress e WooCommerce, bloqueio de rob\u00f4s de IA como o GPTBot e testador de endere\u00e7os.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/robots-txt.png\",\"contentUrl\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/wp-content\\\/uploads\\\/2026\\\/11\\\/robots-txt.png\",\"width\":1672,\"height\":941,\"caption\":\"Rob\u00f4 lendo o arquivo robots.txt diante de um site com sinais de acesso livre e de acesso proibido\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/seo\\\/robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"In\u00edcio\",\"item\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#website\",\"url\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/\",\"name\":\"Homehost\",\"description\":\"Hospedagem De Sites\",\"publisher\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#organization\",\"name\":\"Homehost\",\"url\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/logo-detalhes.png\",\"contentUrl\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/logo-detalhes.png\",\"width\":150,\"height\":48,\"caption\":\"Homehost\"},\"image\":{\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/Homehost\\\/\",\"https:\\\/\\\/x.com\\\/Homehost\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/www.homehost.com.br\\\/blog\\\/#\\\/schema\\\/person\\\/df8002f43fc55e7f4e132abb2a6ddbc4\",\"name\":\"Gustavo Gallas\",\"description\":\"Analista de sistemas, formado pela PUC-Rio. Programador, gestor de redes e diretor da empresa Homehost. Pai do B\u00f3ris, seu pet de estima\u00e7\u00e3o. Gosta de rock'n'roll, cerveja artesanal e de escrever sobre assuntos t\u00e9cnicos. Contato: gustavo.blog@homehost.com.br\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis | Homehost","description":"Gerador de robots.txt gr\u00e1tis: modelos para WordPress e WooCommerce, bloqueio de rob\u00f4s de IA como o GPTBot e testador de endere\u00e7os.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/","og_locale":"pt_BR","og_type":"article","og_title":"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis | Homehost","og_description":"Gerador de robots.txt gr\u00e1tis: modelos para WordPress e WooCommerce, bloqueio de rob\u00f4s de IA como o GPTBot e testador de endere\u00e7os.","og_url":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/","og_site_name":"Homehost","article_publisher":"https:\/\/www.facebook.com\/Homehost\/","article_published_time":"2026-11-05T21:53:56+00:00","article_modified_time":"2026-11-05T21:54:05+00:00","og_image":[{"width":1672,"height":941,"url":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robots-txt.png","type":"image\/png"}],"author":"Gustavo Gallas","twitter_card":"summary_large_image","twitter_creator":"@Homehost","twitter_site":"@Homehost","twitter_misc":{"Escrito por":"Gustavo Gallas","Est. tempo de leitura":"11 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/#article","isPartOf":{"@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/"},"author":{"name":"Gustavo Gallas","@id":"https:\/\/www.homehost.com.br\/blog\/#\/schema\/person\/df8002f43fc55e7f4e132abb2a6ddbc4"},"headline":"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis","datePublished":"2026-11-05T21:53:56+00:00","dateModified":"2026-11-05T21:54:05+00:00","mainEntityOfPage":{"@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/"},"wordCount":1949,"publisher":{"@id":"https:\/\/www.homehost.com.br\/blog\/#organization"},"image":{"@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robots-txt.png","articleSection":["SEO"],"inLanguage":"pt-BR"},{"@type":"WebPage","@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/","url":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/","name":"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis | Homehost","isPartOf":{"@id":"https:\/\/www.homehost.com.br\/blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robots-txt.png","datePublished":"2026-11-05T21:53:56+00:00","dateModified":"2026-11-05T21:54:05+00:00","description":"Gerador de robots.txt gr\u00e1tis: modelos para WordPress e WooCommerce, bloqueio de rob\u00f4s de IA como o GPTBot e testador de endere\u00e7os.","breadcrumb":{"@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/#primaryimage","url":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robots-txt.png","contentUrl":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robots-txt.png","width":1672,"height":941,"caption":"Rob\u00f4 lendo o arquivo robots.txt diante de um site com sinais de acesso livre e de acesso proibido"},{"@type":"BreadcrumbList","@id":"https:\/\/www.homehost.com.br\/blog\/seo\/robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"In\u00edcio","item":"https:\/\/www.homehost.com.br\/blog\/"},{"@type":"ListItem","position":2,"name":"Robots.txt: o que \u00e9, como criar e gerador gr\u00e1tis"}]},{"@type":"WebSite","@id":"https:\/\/www.homehost.com.br\/blog\/#website","url":"https:\/\/www.homehost.com.br\/blog\/","name":"Homehost","description":"Hospedagem De Sites","publisher":{"@id":"https:\/\/www.homehost.com.br\/blog\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.homehost.com.br\/blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR"},{"@type":"Organization","@id":"https:\/\/www.homehost.com.br\/blog\/#organization","name":"Homehost","url":"https:\/\/www.homehost.com.br\/blog\/","logo":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.homehost.com.br\/blog\/#\/schema\/logo\/image\/","url":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2022\/10\/logo-detalhes.png","contentUrl":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2022\/10\/logo-detalhes.png","width":150,"height":48,"caption":"Homehost"},"image":{"@id":"https:\/\/www.homehost.com.br\/blog\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/Homehost\/","https:\/\/x.com\/Homehost"]},{"@type":"Person","@id":"https:\/\/www.homehost.com.br\/blog\/#\/schema\/person\/df8002f43fc55e7f4e132abb2a6ddbc4","name":"Gustavo Gallas","description":"Analista de sistemas, formado pela PUC-Rio. Programador, gestor de redes e diretor da empresa Homehost. Pai do B\u00f3ris, seu pet de estima\u00e7\u00e3o. Gosta de rock'n'roll, cerveja artesanal e de escrever sobre assuntos t\u00e9cnicos. Contato: gustavo.blog@homehost.com.br"}]}},"modified_by":"ad_hmhst","jetpack_featured_media_url":"https:\/\/www.homehost.com.br\/blog\/wp-content\/uploads\/2026\/11\/robots-txt.png","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/posts\/18613","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/comments?post=18613"}],"version-history":[{"count":1,"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/posts\/18613\/revisions"}],"predecessor-version":[{"id":18616,"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/posts\/18613\/revisions\/18616"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/media\/18614"}],"wp:attachment":[{"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/media?parent=18613"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/categories?post=18613"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.homehost.com.br\/blog\/wp-json\/wp\/v2\/tags?post=18613"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}