User-agent: *
Disallow: /_private/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /*.php$
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /search/
Disallow: *?s=*
Disallow: *?p=*
Disallow: *&p=*
Disallow: *&preview=*
Disallow: /readme.html
Disallow: /refer/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Adsbot-Google
Allow: /

Sitemap: https://www.noticiasautomotivas.com.br/sitemap_index.xml
Sitemap: https://www.noticiasautomotivas.com.br/sitemap-root.xml
Sitemap: https://www.noticiasautomotivas.com.br/sitemap-posttype-post.xml
Sitemap: https://www.noticiasautomotivas.com.br/sitemap-posttype-page.xml

# robots for https://www.noticiasautomotivas.com.br/
# mexi nele em 7 de junho de 2007 pra acabar com problema de duplicated e supplemental, tirando /email e /plugins
# em 19 de maio de 2008, adicionei mais algumas coisas, listadas depois do *?*, tambem duggmirror e archiver
# em 14 de agosto de 2008 adicionei wp-, cache, themes, comments feed e 2005 a 2009
# em 23 de setembro de 2008 tirei 2005 a 2009, porque as paginas de arquivos ja estao com noindex
# em 15 de abril de 2009 deixei o feed ser indexado
# em 9 de abril de 2010 inclui arquivos php
# em 27 de marco de 2011 inclui itens 404 do google webmaster tools, como 0, 2006, 2007, 2008 e paginas traduzidas
# em 30 de maio de 2012 tirei restricao a tags
# em 15 de marco de 2013 voltei restricao a tags
# em 28 de maio de 2015 retirei restricoes a ?, includes, plugins e themes
# em 14 de janeiro de 2016 retirei disallows antigos, referindo a page e versões de outros idiomas e inseri crawl delay para todos ao inves de apenas Slurp
# em 4 de agosto de 2017 retirei crawl delay
# em 15 de agosto de 2017 joguei descrições para baixo e inseri mediapartners e adsbot
# em 5 de outubro de 2018 inclui restricao a tudo que tenha wpamp
# em 14 de outubro de 2018 retirei restricao a wpamp
# em 5 de dezembro de 2018 inclui disallow a wp-login.php e retirei allow para wp-admin/images
# em 26 de julho de 2021 retirei Ahrefs, duggmirror e ia_archive, corrigi links para os sitemaps e adicionei disallows a partir de /search/
# em 19 de dezembro de 2022 adicionei disallow para ?, para evitar crawling the ?wpamp e ?PageSpeed=noscript
# em 12 de agosto de 2023 adicionei disallow para chat gpt
# em 30 de setembro de 2023 adicionei 7 linhas de exclusão de JS ezoic
# em 6 de outubro de 2023 removi wp-content/plugins, includes, tag, author, comments/feed, interrogação e JS ezoic
# em 3 de dezembro de 2023, disallow google-extended
# em 10 de janeiro de 2024, removi disallow para chat gpt e google-extended