# As a condition of accessing this website, you agree to abide by the following # content signals: # (a) If a Content-Signal = yes, you may collect content for the corresponding # use. # (b) If a Content-Signal = no, you may not collect content for the # corresponding use. # (c) If the website operator does not include a Content-Signal for a # corresponding use, the website operator neither grants nor restricts # permission via Content-Signal with respect to the corresponding use. # The content signals and their meanings are: # search: building a search index and providing search results (e.g., returning # hyperlinks and short excerpts from your website's contents). Search does not # include providing AI-generated search summaries. # ai-input: inputting content into one or more AI models (e.g., retrieval # augmented generation, grounding, or other real-time taking of content for # generative AI search answers). # ai-train: training or fine-tuning AI models. # use: how AI systems may consume the content (immediate, reference, or full). # ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF # RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT # AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET. # BEGIN Cloudflare Managed content User-agent: * Content-Signal: search=yes,ai-train=no,use=reference Allow: / User-agent: Amazonbot Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Bytespider Disallow: / User-agent: CCBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: CloudflareBrowserRenderingCrawler Disallow: / User-agent: Google-Extended Disallow: / User-agent: GPTBot Disallow: / User-agent: meta-externalagent Disallow: / # END Cloudflare Managed Content # ========================================================= # robots.txt - PRESTASHOP MULTIBOUTIQUE # bredele.boutique # cakesandsweets.boutique # emportepieces.com # # Objectifs : # - préserver SEO / GEO # - empêcher le crawl des facettes PrestaShop ?q= # - réduire le crawl inutile et la charge serveur # - bloquer les crawlers / scrapers non souhaités # ========================================================= # ========================================================= # MOTEURS ET CRAWLERS AUTORISES # ========================================================= User-agent: * # --------------------------------------------------------- # Ressources nécessaires au rendu des pages # --------------------------------------------------------- Allow: */modules/*.css Allow: */modules/*.js Allow: */modules/*.png Allow: */modules/*.jpg Allow: */modules/*.jpeg Allow: */modules/*.webp Allow: */modules/*.svg Allow: */modules/*.woff Allow: */modules/*.woff2 Allow: /js/jquery/* # ========================================================= # NAVIGATION A FACETTES PRESTASHOP # CRITIQUE : ne jamais laisser crawler ces combinaisons # ========================================================= Disallow: /*?q= Disallow: /*&q= # ========================================================= # PARAMETRES TECHNIQUES / DUPLICATION # ========================================================= Disallow: /*?order= Disallow: /*&order= Disallow: /*?tag= Disallow: /*&tag= Disallow: /*?id_currency= Disallow: /*&id_currency= Disallow: /*?search_query= Disallow: /*&search_query= Disallow: /*?back= Disallow: /*&back= Disallow: /*?n= Disallow: /*&n= Disallow: /*?resultsPerPage= Disallow: /*&resultsPerPage= # ========================================================= # CONTROLLERS PRESTASHOP PRIVES / INUTILES AU SEO # ========================================================= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # ========================================================= # REPERTOIRES SYSTEME PRESTASHOP # Une seule déclaration suffit pour les 3 boutiques # ========================================================= Disallow: /app/ Disallow: /cache/ Disallow: /classes/ Disallow: /config/ Disallow: /controllers/ Disallow: /download/ Disallow: /js/ Disallow: /localization/ Disallow: /log/ Disallow: /mails/ Disallow: /modules/ Disallow: /override/ Disallow: /pdf/ Disallow: /src/ Disallow: /tools/ Disallow: /translations/ Disallow: /upload/ Disallow: /var/ Disallow: /vendor/ Disallow: /webservice/ Disallow: /fr/app/ Disallow: /fr/cache/ Disallow: /fr/classes/ Disallow: /fr/config/ Disallow: /fr/controllers/ Disallow: /fr/download/ Disallow: /fr/js/ Disallow: /fr/localization/ Disallow: /fr/log/ Disallow: /fr/mails/ Disallow: /fr/modules/ Disallow: /fr/override/ Disallow: /fr/pdf/ Disallow: /fr/src/ Disallow: /fr/tools/ Disallow: /fr/translations/ Disallow: /fr/upload/ Disallow: /fr/var/ Disallow: /fr/vendor/ Disallow: /fr/webservice/ # ========================================================= # COMPTE CLIENT / PANIER / COMMANDES # ========================================================= Disallow: /adresse Disallow: /adresses Disallow: /authentification Disallow: /panier Disallow: /bons-de-reduction Disallow: /suivi-commande-invite Disallow: /historique-des-commandes Disallow: /identite Disallow: /mon-compte Disallow: /commande Disallow: /confirmation-commande Disallow: /details-de-la-commande Disallow: /avoirs Disallow: /mot-de-passe-oublie Disallow: /recherche Disallow: /fr/adresse Disallow: /fr/adresses Disallow: /fr/authentification Disallow: /fr/panier Disallow: /fr/bons-de-reduction Disallow: /fr/suivi-commande-invite Disallow: /fr/historique-des-commandes Disallow: /fr/identite Disallow: /fr/mon-compte Disallow: /fr/commande Disallow: /fr/confirmation-commande Disallow: /fr/details-de-la-commande Disallow: /fr/avoirs Disallow: /fr/mot-de-passe-oublie Disallow: /fr/recherche # ========================================================= # IA / CRAWLERS NON SOUHAITES # BLOCAGE COMPLET # # Claude volontairement bloqué totalement suite aux # crawls agressifs constatés sur le serveur. # ========================================================= User-agent: ClaudeBot User-agent: Claude-SearchBot User-agent: GPTBot User-agent: Bytespider User-agent: TikTokSpider User-agent: TikTokBot User-agent: CCBot User-agent: Baiduspider User-agent: BaiduImagespider User-agent: Sogou User-agent: 360Spider User-agent: HaosouSpider User-agent: PetalBot User-agent: YandexBot User-agent: YandexImages User-agent: YandexMobileBot User-agent: SeznamBot User-agent: Amazonbot User-agent: cohere-ai User-agent: AI2Bot User-agent: Diffbot User-agent: omgilibot User-agent: omgili Disallow: / # ========================================================= # BOTS SEO / DATA / SCRAPERS NON SOUHAITES # ========================================================= User-agent: AhrefsBot User-agent: SemrushBot User-agent: SemrushBot-SA User-agent: MJ12bot User-agent: DotBot User-agent: BLEXBot User-agent: DataForSeoBot User-agent: SERankingBacklinksBot User-agent: serpstatbot User-agent: MegaIndex User-agent: WinningradarBot Disallow: / # ========================================================= # CRAWLERS SEO / GEO UTILES # # Pas de groupe spécifique volontairement pour : # Googlebot # bingbot # OAI-SearchBot # ChatGPT-User # PerplexityBot # Applebot # facebookexternalhit # meta-externalagent # # Ils restent donc autorisés sur les pages normales # et suivent les exclusions générales, notamment ?q= # ========================================================= # ========================================================= # SITEMAPS # ========================================================= Sitemap: https://cakesandsweets.boutique/3_index_sitemap.xml # Ajouter lorsque les URLs exactes sont connues : # Sitemap: https://bredele.boutique/XXXXXXXX_index_sitemap.xml # Sitemap: https://emportepieces.com/XXXXXXXX_index_sitemap.xml