# Породотека — robots.txt
# Собирается scripts/seo_build.py, правки в файле будут перезаписаны.
# Политика: поисковые и ИИ-роботы открыты, закрыты только состояния
# фильтров, поиска и страницы аккаунта.

# ── Поисковые и ИИ-роботы: явное разрешение ──────────────────

# индексация для поиска ChatGPT
User-agent: OAI-SearchBot
Allow: /

# переход по ссылке по действию пользователя
User-agent: ChatGPT-User
Allow: /

# индексация для поиска Claude
User-agent: Claude-SearchBot
Allow: /

# переход по ссылке по запросу пользователя
User-agent: Claude-User
Allow: /

# индексация Perplexity
User-agent: PerplexityBot
Allow: /

# переход по ссылке в Perplexity
User-agent: Perplexity-User
Allow: /

# источник для Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# индексация Amazon
User-agent: Amazonbot
Allow: /

# индекс Bing, питает Copilot
User-agent: Bingbot
Allow: /

# индекс Google, питает AI Overviews и AI Mode
User-agent: Googlebot
Allow: /

# индекс Яндекса
User-agent: YandexBot
Allow: /

# источник для Алисы AI и быстрых ответов
User-agent: YandexAdditional
Allow: /

# ── Обучающие краулеры: открыты намеренно ────────────────────
# Блокировка не снижает цитируемость, но убирает проект из знаний
# моделей. Цель проекта — быть источником, поэтому открыто.

# обучение моделей OpenAI
User-agent: GPTBot
Allow: /

# обучение моделей Anthropic
User-agent: ClaudeBot
Allow: /

# обучение Gemini; на AI Overviews не влияет
User-agent: Google-Extended
Allow: /

# Common Crawl — открытый корпус
User-agent: CCBot
Allow: /

# обучение моделей Meta
User-agent: Meta-ExternalAgent
Allow: /

# ── Все остальные ───────────────────────────────────────────
User-agent: *
Allow: /
Disallow: /lk/
Disallow: /voiti/
Disallow: /api/
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?region=
Disallow: /*&region=
Disallow: /*?breed=
Disallow: /*&breed=
Disallow: /*?sire=
Disallow: /*&sire=
Disallow: /*?dam=
Disallow: /*&dam=

# Яндекс: склеить параметры фильтра с канонической страницей —
# это экономит обход лучше, чем запрет.
Clean-param: q&sort&cat&sire&dam&utm_source&utm_medium&utm_campaign&utm_term&utm_content /

Sitemap: https://porodoteka.ru/sitemap.xml