Robots.txt — це текстовий файл у корені сайту, який визначає правила доступу для пошукових роботів (Googlebot, Bingbot та ін.). Він вказує, які розділи можна сканувати, а які — ні.
Meta-теги robots (<meta name="robots" content="noindex, nofollow">) дають точкові інструкції вже всередині HTML-сторінок.
Разом вони допомагають контролювати індексацію, уникати дубльованого контенту, захистити приватні розділи та оптимізувати бюджет сканування.
🔍 Як працює robots.txt
-
Розташовується за адресою:
https://вашдомен.ua/robots.txt. -
Має правила у форматі:
-
User-agent — конкретний пошуковий бот (наприклад, Googlebot).
-
Disallow / Allow — заборона або дозвіл доступу до певного каталогу чи сторінки.
-
Sitemap — шлях до карти сайту для прискорення індексації.
✅ Приклади налаштувань
-
Повністю заблокувати сторінку
/user-data/: -
Дозволити доступ до
/blog, але закрити/wp-admin:
🛠 Як використовувати meta-теги robots
У <head> HTML сторінки додають:
Можливі значення:
-
noindex— не індексувати сторінку. -
nofollow— не переходити за посиланнями. -
index, follow— дозволяють індексацію та перехід (за замовчуванням).
Кожна сторінка потребує індивідуальної інструкції, особливо:
-
Пошукові фільтри, теми, сторінки з низькою цінністю контенту.
-
Дублі сторінок (мобільні vs. десктопні, параметри сесії).
-
Лендінги, що не повинні бути в пошуку (thank-you, оплату).
⚙️ Порядок обробки роботом
-
Бот заходить на
/robots.txt. -
Читає правила
User-agent:. -
Виходячи з
Allow/Disallow, визначає, що сканувати. -
Якщо доступ дозволено, переходить на сторінку і може застосувати meta-теги.
-
Якщо зустрічає
noindex, індексація не відбувається навіть при дозволі robots.txt.
📈 Чому це важливо для SEO
-
Бюджет сканування (crawl budget): обмежені ресурси, економно використовуйте.
-
Запобігання дублям: redirect і canonical не завжди достатні.
-
Безпека і конфіденційність: особисті дані та адмін-кабінети не повинні бути доступні.
-
Чистий індекс: тільки релевантні сторінки — кращий UX та ранжування.
-
Виключення "thin content": сторінки з низькою цінністю — не сприяють зростанню.
✅ Типові помилки та як їх уникнути
| Проблема | Наслідок | Як виправити |
|---|---|---|
| Занадто загальні правила | Блокуються важливі сторінки | Перевірити Allow/Disallow |
| Прописати noindex без Disallow | Бот може ще раз сканувати | Додати Disallow, щоб уникнути заходу |
| Відсутність sitemap у robots.txt | Бот не знаходить карту → погіршення умов | Додати Sitemap: |
| Розміщення robots.txt не в корені | Бот не знайде файл → індексація всього | Помістити файл в корінь сайту |
| Заборонені ресурси CSS/JS | Проблеми з рендерингом та оцінкою сторінки | Дозволити доступ до критичних ресурсів |
🧩 Як використовувати на практиці (для UA-сайтів)
🔧 Крок 1: Створення robots.txt
🔧 Крок 2: Використання meta-tags
-
На
/cart/і/checkout/—<meta name="robots" content="noindex, nofollow"> -
На дублікатах mobile →
rel="canonical"на основну версію
🔧 Крок 3: Тест у GSC
-
Використайте Coverage Report → "test robots.txt"
-
Перевірте сторінки з
noindex
🔧 Крок 4: Постійний моніторинг
-
Перевірка сторінок with status 200, but excluded
-
Аналіз білого списку в log'ах сервера і Googlebot's activity
🔎 Висновок
Robots.txt і meta-robots — необхідні фундаментальні інструменти для:
-
Оптимізації витрат сканування
-
Захисту приватних розділів
-
Поліпшення UX і рейтингів
-
Чистоти індексу
Для українського бізнесу, який позиціонується в UA-сегменті, правильна настройка — це базова SEO-практика, що гарантує ефективність, безпеку та авторитет.
🚀 Gototop допоможе
-
Провести аудит robots.txt, meta robots.
-
Налаштувати правила, canonical, rel-alts.
-
Тестувати доступність у GSC, налаштувати карти сайту.
-
Змоніторити лог-сканування та оптимізувати crawl-budget.
-
Навчити команду і створити чек-лист для подальших змін.