Votre fichier robots.txt est soit absent, soit par défaut, soit il bloque des pages importantes sans que vous le sachiez.

Le robots.txt, c'est le premier fichier que Google lit quand il visite votre site. C'est un fichier texte de quelques lignes qui dit à Google : "tu peux aller ici, mais pas là". Mal configuré, il peut empêcher Google d'indexer vos pages les plus importantes. Trop permissif, il laisse Google perdre du temps sur des pages inutiles (admin, panier, brouillons).

La plupart des petits sites utilisent le robots.txt par défaut de WordPress ou Shopify sans jamais l'avoir vérifié. C'est un risque invisible : votre site peut être partiellement bloqué pour Google depuis des mois sans que vous le sachiez.

CE QUE JE FAIS POUR VOUS

J'audite, je corrige et j'optimise votre fichier robots.txt pour que Google accède à tout ce qui doit être indexé et ignore tout ce qui ne sert à rien — le tout en quelques lignes de code propres.

CE QUI EST INCLUS DANS L'OFFRE DE BASE ($454.75)

✅ Audit du fichier robots.txt actuel (ou constat d'absence)
✅ Vérification des blocages accidentels (pages importantes bloquées ?)
✅ Rédaction d'un robots.txt optimisé :
— Autorisation des pages stratégiques (accueil, services, produits, articles, contact)
— Blocage des ressources inutiles (admin, panier vide, pages de connexion, résultats de recherche interne, fichiers système)
— Blocage des crawlers indésirables (bots IA non souhaités, scrapers)
— Référence au sitemap XML intégrée
✅ Implémentation sur votre site (WordPress ou Shopify)
✅ Test avec l'outil d'inspection d'URL de Google Search Console
✅ Vérification qu'aucune page importante n'est bloquée
✅ Capture d'écran du fichier final + rapport de test

POURQUOI C'EST IMPORTANT

→ Débloquer vos pages — Un robots.txt mal configuré peut empêcher Google d'accéder à vos pages produits, vos articles ou même votre accueil. Vous êtes invisible sans le savoir.
→ Protéger votre budget de crawl — Google a un nombre limité de passages sur votre site. Si ses bots perdent du temps sur /wp-admin, /cart, /search?q= ou /tag/truc-inutile, vos vraies pages sont crawlées moins souvent.
→ Bloquer les bots indésirables — Des dizaines de bots IA et de scrapers parcourent votre site en permanence. Le robots.txt permet de bloquer ceux que vous ne souhaitez pas.
→ Signaler votre sitemap — La référence au sitemap dans le robots.txt est une bonne pratique qui accélère la découverte de vos pages.

AVANT / APRÈS

❌ Avant (robots.txt par défaut WordPress) :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
→ Minimaliste. Ne bloque rien d'utile, n'optimise rien.

✅ Après (robots.txt optimisé) :
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Disallow: /tag/
Disallow: /?s=
Disallow: /xmlrpc.php
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://votresite.com/sitemap_index.xml

→ Propre, sécurisé, optimisé. Google voit ce qui compte. Les bots indésirables sont bloqués. Le sitemap est référencé.

COMMENT ÇA SE PASSE ?

Étape 1 — Vous me transmettez vos accès
Étape 2 — J'audite le robots.txt actuel et identifie les problèmes
Étape 3 — Je rédige et implémente le nouveau fichier
Étape 4 — Test dans Search Console + vérification aucune page utile bloquée + livraison

⏱️ Livraison sous 1 jour après réception de vos accès.

QUI SUIS-JE ?

Je m'appelle Josué Diagathe, fondateur de 001marketing. Depuis 2017, j'optimise le SEO technique de sites WordPress et Shopify. Le robots.txt est un fichier minuscule mais critique — une erreur dedans peut rendre un site entier invisible sur Google.