diff --git a/backend/app/seo_pages.py b/backend/app/seo_pages.py index 8ffa12f..4f63fdb 100644 --- a/backend/app/seo_pages.py +++ b/backend/app/seo_pages.py @@ -553,9 +553,17 @@ def robots(db: Session = Depends(get_db)): content="User-agent: *\nDisallow: /\n", media_type="text/plain; charset=utf-8", ) - # Allow: /api/site — رندرر گوگل موقع رندر صفحه این XHR را هم واکشی می‌کند؛ - # Disallow کلی /api باعث می‌شد «مسدود توسط robots.txt» در منابع صفحه ثبت شود - lines = ["User-agent: *", "Disallow: /admin", "Disallow: /api", "Allow: /api/site", ""] + # /api/site مسدود نمی‌شود: رندرر گوگل این XHR را واکشی می‌کند و Disallow کلی + # /api باعث می‌شد «مسدود توسط robots.txt» ثبت شود. افزودن Allow داخل همان گروه + # قابل‌اعتماد نبود (برخی خزنده‌ها گروه Disallow را ملاک می‌گیرند). حالا فقط + # مسیرهای حساس اداری و اندپوینت‌های مدیریتی مسدود می‌شوند — نه /api/site. + lines = [ + "User-agent: *", + "Disallow: /admin", + "Disallow: /api/admin", + "Allow: /api/site", + "", + ] # سیاست صریح خزنده‌های هوش مصنوعی — ربات‌های جست‌وجو/ارجاع آزادند تا محتوا # در پاسخ‌های ChatGPT/Claude/Perplexity/Gemini ارجاع شود for bot in AI_SEARCH_BOTS: