MMD
ce0735d775
Security: deep /api/health (DB+MinIO probes, 503 on failure) + /api/live; rate-limited public forms with honeypots; real client IP behind Traefik (--proxy-headers); TipTap URL sanitization on write (nh3); non-root containers + slim .dockerignore; prod MinIO console bound to 127.0.0.1; HSTS/nosniff on TLS routers; JWT 8h; no default credentials in code. Reliability: Alembic migrations (create_all baseline); graceful shutdown (exec uvicorn); hardened backups (checksums, sanity check, freshness gauge, optional rclone off-site) + restore.sh + hourly db-backup sidecar (ops profile); stack.sh ops tooling (deploy/logs/health/backup/restore/monitoring); .gitattributes LF for shell scripts. Orchestration: json-file log rotation, pinned images, per-service memory limits, edge/internal networks, Traefik ping/accesslog/metrics + flood limiter, conditional minio-setup, pgvector db image, one-shot db-init (umami + aramesh_chatbot databases). Chatbot: unified from site-chatbot branch (RAG + pgvector, SSE, ChatWidget). Monitoring: Prometheus/Alertmanager/Loki/Promtail/Grafana + cAdvisor, node/postgres/blackbox exporters, provisioned dashboards and 10 alert rules; alerts delivered to Bale (tapi.bale.ai — Telegram-compatible). Analytics: Umami on shared Postgres, build-time tracker injection, custom events (contact/newsletter/phone/chat/lang) via frontend/src/analytics.ts. Hygiene: CSV export for contact messages and subscribers; upload image optimization (Pillow); CI script + GitHub-compatible workflow; audit.sh; gen-env.sh for strong credentials.
80 lines
3.8 KiB
Python
80 lines
3.8 KiB
Python
"""نرمال‌سازی متن فارسی و توکن‌سازی برای جست‌وجوی کلیدواژه (BM25).
|
||
|
||
بدون وابستگی سنگین — فقط استانداردسازی نویسه‌ها، حذف اعراب و نیم‌فاصله‌های
|
||
مشکلی و شکستن کلمه‌های مرکب روی نیم‌فاصله برای بهبود بازیابی.
|
||
"""
|
||
|
||
import re
|
||
|
||
# نویسه‌های عربی که در متن فارسی اشتباهاً استفاده می‌شوند
|
||
_CHAR_MAP = {
|
||
"\u064a": "\u06cc", # ي → ی
|
||
"\u0643": "\u06a9", # ك → ک
|
||
"\u0623": "\u0627", # أ → ا
|
||
"\u0625": "\u0627", # إ → ا
|
||
"\u0671": "\u0627", # ٱ → ا
|
||
"\u0629": "\u0647", # ة → ه
|
||
"\u0624": "\u0648", # ؤ → و
|
||
"\u0626": "\u06cc", # ئ → ی
|
||
"\u0640": "", # ـ (کشیده) حذف
|
||
}
|
||
|
||
# اعراب و علامت‌های اضافی
|
||
_DIACRITICS = re.compile(r"[\u064b-\u0652\u0670\u0653-\u0655\u0640]")
|
||
|
||
# ارقام فارسی و عربی → ASCII
|
||
_DIGITS = str.maketrans({
|
||
"\u06f0": "0", "\u06f1": "1", "\u06f2": "2", "\u06f3": "3", "\u06f4": "4",
|
||
"\u06f5": "5", "\u06f6": "6", "\u06f7": "7", "\u06f8": "8", "\u06f9": "9",
|
||
"\u0660": "0", "\u0661": "1", "\u0662": "2", "\u0663": "3", "\u0664": "4",
|
||
"\u0665": "5", "\u0666": "6", "\u0667": "7", "\u0668": "8", "\u0669": "9",
|
||
})
|
||
|
||
# واژه‌های دستوری پرتکرار — در جست‌وجو بی‌معنا هستند
|
||
STOPWORDS = frozenset("""
|
||
و در به از که با این آن است هست بود بودن شد شدن شود کرد کردن کرده کند کنی
|
||
برای را های ها هایی هم نیز اما یا اگر تا بر روی زیر بین پس قبل بعد همه هر چه
|
||
چیزی کس کسی کجا چرا چگونه چطور چند یکی دو سه ما شما آنها ایشان من تو او
|
||
کدام کی چی چه‌قدر چقدر
|
||
می نخواهد خواهد باشد باشند هستیم هستند بودم بودیم دارد دارند داشته داد دهد
|
||
بله خیر آیا فقط نیز خیلی بسیار کمی دیگر دیگری همان همین وقتی زمانی وقتیکه
|
||
اساساً لطفاً میشه میکنه هستن هستم
|
||
""".split())
|
||
|
||
# علائم نگارشی فارسی/لاتین — قبل از توکن‌سازی حذف می‌شوند (نیم‌فاصله جزو اینها نیست)
|
||
_PUNCT_RE = re.compile(r"[،؛؟!,;:\?\"'()\[\]{}«»….*#@&%+=/\\|~^$\u066d\u066c\u066b]+")
|
||
|
||
# توکن: حروف/ارقام فارسی و لاتین + نیم‌فاصله در میان کلمه
|
||
_TOKEN_RE = re.compile(r"[\w\u0600-\u06ff\u200c]+")
|
||
|
||
|
||
def normalize(text: str) -> str:
|
||
"""نویسه‌های غیراستاندارد عربی/فارسی را به شکل یکدست فارسی می‌برد."""
|
||
if not text:
|
||
return ""
|
||
out = []
|
||
for ch in text:
|
||
out.append(_CHAR_MAP.get(ch, ch))
|
||
text = "".join(out)
|
||
text = _DIACRITICS.sub("", text)
|
||
text = text.translate(_DIGITS)
|
||
# فاصله‌های تکراری را یکی کن — نیم‌فاصله عمداً حفظ می‌شود (می‌شود)
|
||
text = re.sub(r"[ \t\r\n]+", " ", text)
|
||
return text.strip()
|
||
|
||
|
||
def tokenize(text: str) -> list[str]:
|
||
"""توکن‌های نرمال‌شده برای BM25 — کلمه‌های مرکب روی نیم‌فاصله هم جدا ایندکس می‌شوند."""
|
||
text = _PUNCT_RE.sub(" ", normalize(text).lower())
|
||
tokens = []
|
||
for raw in _TOKEN_RE.findall(text):
|
||
if raw in STOPWORDS or len(raw) < 2:
|
||
continue
|
||
tokens.append(raw)
|
||
# «می‌شود» → می + شود (فراخوانی بیشتر برای بازیابی)
|
||
if "\u200c" in raw:
|
||
for part in raw.split("\u200c"):
|
||
if len(part) >= 2 and part not in STOPWORDS:
|
||
tokens.append(part)
|
||
return tokens
|