User-agent: *
Disallow: /_private/
Disallow: /wp-admin/
Disallow: /*.php$
Disallow: /cgi-bin/
Disallow: /0/
Disallow: /tag/*
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /carros/
Allow: /fotos-de-carros/
Allow: /fotos-de-motos/
Allow: /wp-admin/images/

User-agent: duggmirror
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: Mediapartners-Google*
Allow: /

User-agent: Adsbot-Google
Allow: /

Sitemap: https://www.noticiasautomotivas.com.br/sitemapindex.xml
Sitemap: https://www.noticiasautomotivas.com.br/site.xml
Sitemap: https://www.noticiasautomotivas.com.br/post.xml
Sitemap: https://www.noticiasautomotivas.com.br/page.xml

# robots for https://www.noticiasautomotivas.com.br/
# mexi nele em 7 de junho de 2007 pra acabar com problema de duplicated e supplemental, tirando /email e /plugins
# em 19 de maio de 2008, adicionei mais algumas coisas, listadas depois do *?*, tambem duggmirror e archiver
# em 14 de agosto de 2008 adicionei wp-, cache, themes, comments feed e 2005 a 2009
# em 23 de setembro de 2008 tirei 2005 a 2009, porque as paginas de arquivos ja estao com noindex
# em 15 de abril de 2009 deixei o feed ser indexado
# em 9 de abril de 2010 inclui arquivos php
# em 27 de marco de 2011 inclui itens 404 do google webmaster tools, como 0, 2006, 2007, 2008 e paginas traduzidas
# em 30 de maio de 2012 tirei restricao a tags
# em 15 de marco de 2013 voltei restricao a tags
# em 28 de maio de 2015 retirei restricoes a ?, includes, plugins e themes
# em 14 de janeiro de 2016 retirei disallows antigos, referindo a page e versões de outros idiomas e inseri crawl delay para todos ao inves de apenas Slurp
# em 4 de agosto de 2017 retirei crawl delay
# em 15 de agosto de 2017 joguei descrições para baixo e inseri mediapartners e adsbot