From 04dc5facdeb11e8b12faff2a8e6a224eb7dcf777 Mon Sep 17 00:00:00 2001
From: aramesh-site deploy <deploy@aramesh-site.local>
Date: Sat, 10 Oct 2026 10:28:51 +0000
Subject: [PATCH] =?UTF-8?q?fix(robots):=20=D9=85=D8=B3=D8=AF=D9=88=D8=AF?=
 =?UTF-8?q?=20=D9=86=DA=A9=D8=B1=D8=AF=D9=86=20/api/site=20=E2=80=94=20All?=
 =?UTF-8?q?ow=20=D8=AF=D8=A7=D8=AE=D9=84=20=DA=AF=D8=B1=D9=88=D9=87=20Disa?=
 =?UTF-8?q?llow=20=D9=82=D8=A7=D8=A8=D9=84=E2=80=8C=D8=A7=D8=B9=D8=AA?=
 =?UTF-8?q?=D9=85=D8=A7=D8=AF=20=D9=86=D8=A8=D9=88=D8=AF?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

گزارش منابع صفحهٔ GSC: «Googlebot blocked by robots.txt → /api/site».
robots.txt قاعدهٔ «آخرین تطابق» ندارد؛ افزودن Allow: /api/site داخل همان گروه
Disallow: /api توسط برخی خزنده‌ها نادیده گرفته می‌شد. حالا فقط /admin و
/api/admin مسدود می‌شوند و /api/site آزاد است.
---
 backend/app/seo_pages.py | 14 +++++++++++---
 1 file changed, 11 insertions(+), 3 deletions(-)

diff --git a/backend/app/seo_pages.py b/backend/app/seo_pages.py
index 8ffa12f..4f63fdb 100644
--- a/backend/app/seo_pages.py
+++ b/backend/app/seo_pages.py
@@ -553,9 +553,17 @@ def robots(db: Session = Depends(get_db)):
             content="User-agent: *\nDisallow: /\n",
             media_type="text/plain; charset=utf-8",
         )
-    # Allow: /api/site — رندرر گوگل موقع رندر صفحه این XHR را هم واکشی می‌کند؛
-    # Disallow کلی /api باعث می‌شد «مسدود توسط robots.txt» در منابع صفحه ثبت شود
-    lines = ["User-agent: *", "Disallow: /admin", "Disallow: /api", "Allow: /api/site", ""]
+    # /api/site مسدود نمی‌شود: رندرر گوگل این XHR را واکشی می‌کند و Disallow کلی
+    # /api باعث می‌شد «مسدود توسط robots.txt» ثبت شود. افزودن Allow داخل همان گروه
+    # قابل‌اعتماد نبود (برخی خزنده‌ها گروه Disallow را ملاک می‌گیرند). حالا فقط
+    # مسیرهای حساس اداری و اندپوینت‌های مدیریتی مسدود می‌شوند — نه /api/site.
+    lines = [
+        "User-agent: *",
+        "Disallow: /admin",
+        "Disallow: /api/admin",
+        "Allow: /api/site",
+        "",
+    ]
     # سیاست صریح خزنده‌های هوش مصنوعی — ربات‌های جست‌وجو/ارجاع آزادند تا محتوا
     # در پاسخ‌های ChatGPT/Claude/Perplexity/Gemini ارجاع شود
     for bot in AI_SEARCH_BOTS: