О чём это и зачем вообще трогать robots.txt​

Если XenForo только поставили — robots.txt обычно либо забывают, либо закрывают “всё подряд”. Итог: в индексе появляется мусор (поиск, ленты, теги, параметры), а роботы тратят обход на бесконечные страницы вместо нормальных тем и разделов.

Схема для Robots.txt в XenForo 2.x

Ниже — безопасный стартовый robots.txt для XenForo 2.x: он не ломает CSS/JS, режет служебное и снижает дубли. В конце — что добавить, если у вас стоит AMS.

0) Важно (чтобы не было иллюзий)​

  • robots.txt не удаляет страницы из поиска. Он ограничивает обход. Для удаления/деиндексации используйте
    Код: 
    noindex
    , каноникал, настройку видимости/прав в XF и инструменты вебмастера.
  • robots.txt — не защита. Закрытие в robots не делает URL “секретным”.
  • Каталоги
    Код: 
    /data/
    и
    Код: 
    /internal_data/
    должны быть закрыты на уровне веб-сервера (это безопасность). robots.txt — только дополнительный слой “не ходить”.

1) Готовый robots.txt (база для XenForo 2.x)​

Замените
Код: 
ВАШ_ДОМЕН
на свой домен.​
Код: 
# robots.txt для XenForo 2.x
User-agent: *

# --- 1) Критичные динамические ресурсы (не ломаем рендер) ---
Allow: /css.php
Allow: /css.php?*
Allow: /js.php
Allow: /js.php?*
Allow: /webmanifest.php
Allow: /webmanifest.php?*

# --- 2) Статика (не закрываем, иначе поисковик "не видит" сайт) ---
Allow: /js/
Allow: /styles/
Allow: /favicon.ico
Allow: /attachments/

# Если у вас реально отдаются публичные ассеты из /data/assets/ (иногда бывает) — оставьте:
Allow: /data/assets/

# --- 3) Служебные зоны (в поиске не нужны) ---
Disallow: /admin.php
Disallow: /install/
Disallow: /account/
Disallow: /conversations/
Disallow: /login/
Disallow: /logout/
Disallow: /register/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /goto/

# --- 4) Мусор и дубли ---
Disallow: /search/
Disallow: /find-threads/
Disallow: /whats-new/
Disallow: /online/
Disallow: /tags/
Disallow: /*/latest
Disallow: /*/post-thread

# --- 5) Профили пользователей (обычно низкая ценность/дубли) ---
Disallow: /members/

# --- 6) Параметры (сортировки/фильтры/переходники) ---
Disallow: /*?*

# --- 7) Технические директории (не должны быть публичными) ---
Disallow: /data/
Disallow: /internal_data/

# --- Sitemap ---
Sitemap: https://ВАШ_ДОМЕН/sitemap.xml

2) Что мы закрываем и почему​

/whats-new/, /search/, /find-threads/, /tags/, /*?*​

Это генераторы дублей и бесконечных страниц. Они почти всегда не дают “вечного” трафика и пожирают crawl budget.

/account/, /login/, /register/, /conversations/​

Личный кабинет, авторизация и личка — в индексе быть не должны.

/misc/, /goto/​

Служебные действия и редиректы: ценности ноль, потенциального шума много.

3) Что мы открываем и зачем​


/css.php, /js.php, /styles/, /js/​

Иначе поисковик может увидеть “полусломанный” рендер: без стилей/скриптов и с неправильной оценкой страницы.

/attachments/​

Если вложения — картинки/схемы/файлы по теме, они могут давать трафик (особенно по картинкам). Закрывать вложения стоит только если они реально мусорные или приватные.

4) Как открыть профиль администратора (если он реально “витрина”)​

Если профиль — лицо проекта (автор статей/гайдов), можно открыть его точечно, а вкладки “активность/подписки” закрыть.

Пример (подставьте ваш реальный URL профиля):
Код: 
Allow: /members/admin.1/
Disallow: /members/admin.1/latest-activity/
Disallow: /members/admin.1/recent-content
Disallow: /members/admin.1/following/
Disallow: /members/admin.1/followers/

Важно: формат профилей у вас может быть вида
Код: 
/members/admin.9/
. Используйте именно тот URL, который реально отдаёт ваш форум.​

5) Если установлен AMS (Article Management System)​

Тут нельзя угадать идеально без ваших реальных URL, но принцип простой: закрываем добавление/редактирование/очереди/служебное, чтобы не плодить дубли и мусор.

Добавьте и подгоните под ваши пути:
Код: 
# --- AMS (пример — проверьте реальные URL у себя) ---
Disallow: /ams/*/add
Disallow: /ams/*/edit
Disallow: /ams/*/delete
Disallow: /ams/*/queue
Disallow: /whats-new/ams*

Как проверить: откройте нужные страницы AMS (добавление, редактирование, очереди) и просто скопируйте “хвост” URL в robots.​

6) Быстрая проверка, что всё работает​

  • Откройте:
    Код: 
    https://ВАШ_ДОМЕН/robots.txt
    — файл должен отдаваться без редиректов и ошибок.
  • Откройте:
    Код: 
    https://ВАШ_ДОМЕН/sitemap.xml
    — должен быть доступен (или редиректить на реальный sitemap).
  • Проверьте, что CSS/JS грузятся: откройте любую тему и убедитесь, что страница выглядит нормально даже в “инкогнито” (без кэша).

Mini-FAQ​

Нужно ли закрывать /posts/?​

Обычно нет. В XenForo это часто переход к конкретному сообщению/редирект — закрытие редко даёт пользу.

Почему нельзя “защищать” приватное через robots?​

Потому что robots — это рекомендация для роботов, а не запрет на доступ. Если URL доступен — его могут открыть люди/боты, даже если он закрыт в robots.

Вывод​

Стартовый robots.txt для XenForo должен:
  • открывать CSS/JS/статику,
  • закрывать служебное и генераторы дублей (поиск/ленты/теги/параметры),
  • не подменять собой безопасность (приватное закрываем веб-сервером и правами),
  • и учитывать AMS, если он установлен (по вашим реальным URL).