О чём этот гайд
Если XenForo только поставили — robots.txt обычно либо забывают, либо делают “как в интернете”, а потом ловят мусор в индексе: поиск, ленты, теги, параметры, служебные страницы и прочие бесконечные URL. В итоге роботы тратят обход не на темы, а на хлам — и это реально мешает росту.В статье я собрал безопасный стартовый robots.txt для XenForo 2.x: он не ломает CSS/JS, режет служебное и снижает дубли. Плюс отдельно — что добавить, если у вас установлен AMS.
Внутри материала:
- базовый шаблон robots.txt для XenForo 2.x “из коробки”;
- что обязательно оставить открытым (CSS/JS/статика), чтобы не поломать рендер;
- какие разделы почти всегда надо закрывать (поиск, ленты, теги, служебное);
- как резать URL с параметрами, чтобы не плодить дубли;
- что делать с профилями участников (и как точечно открыть “витринный” профиль админа);
- куда правильно прописать sitemap и как проверить, что он реально отдается;
- дополнительный блок, если установлен AMS (что обычно не нужно в индексе).
Читать полную статью
Открыть гайд: robots.txt для XenForo 2.x (шаблон + пояснения + AMS)Обсуждение
Давайте соберём практику.- Киньте сюда свой текущий robots.txt (без домена можно) — подскажу, где лишнее/опасное.
- Напишите, какой у вас формат ссылок (www/без www, https) и включён ли канонический URL.
- Если стоит AMS — скиньте пару реальных URL ваших статей/очередей/служебных страниц, подгоним правила 1-в-1 под ваши пути.
Если хотите — могу сделать “строгий” вариант robots.txt под вашу конкретную схему URL (и без риска отрезать важное).