robots.txt
Настройка robots.txt
С прошлого запуска висит Disallow: / — и все удивляются, что нет в поиске. Привожу robots в порядок на живом сайте.
Прайс
от 90 BYN
Ориентир «от». Точная смета после аудита по URL. Если задача повторяется — абонентка 140 / 290 / 490 BYN/мес.
- Рабочий robots
- проверка ключевых URL
Боль владельца
- Закрыт весь сайт «на всякий».
- Закрыты важные разделы.
- Нет Sitemap: в файле.
Что делаем
- 01Разбор текущего robots
- 02Правила: что закрыть, что открыть
- 03Sitemap строка
- 04Проверка, что важное не в Disallow
Этапы
01
Сейчас
Что запрещено.
02
Интент
Что должно индексироваться.
03
Файл
Без поэзии на 200 строк.
04
Проверка
Вебмастер / URL inspection.
Как это выглядит
- robots
- sitemap
- canonical
- schema
- FAQ
Пример
Снял Disallow: /, закрыл /cart и ?s=. Через неделю страницы услуг пошли в индекс. Позиции не обещал.
- robots не заменяет noindex.
- AI-боты: не закрываю GPTBot/Claude без вашей просьбы.
- Связано с индексацией SEO.
- Яндекс и Google читают чуть по-разному — без фанатизма.
Вопросы
Закроете от ChatGPT?
Только если просите. Иначе вас не процитируют.
Это noindex?
Разные инструменты. Могу оба — страница индексации.
Crawl-delay?
Редко нужен. Не ставлю «на всякий».
Выведете в топ?
Нет.
Соседние услуги
Настройка сайта: формы, почта, SSL
от 180 BYN
Настройка SMTP на сайте
от 140 BYN
Установка и настройка SSL
от 120 BYN
Перевод сайта на HTTPS
от 180 BYN
Настройка Яндекс Метрики
от 140 BYN
Исправление ошибок на сайте
от 180 BYN
Исправление ошибки 500 на сайте
от 180 BYN
Cookie-баннер и 99-З
от 290 BYN
Все услуги · Настройка: почта, SSL, аналитика · На главную · Тарифы