کانال های بررسی مبتنی بر شواهد با ترکیبی RAG و LLM

تولید زبان تایید نشده یک اشکال بی ضرر نیست – این یک مسئولیت پرهزینه در دامنه های تنظیم شده است.

• استناد ارزیابی ویزای ساختگی می‌تواند درخواستی را رد کند و ماه‌ها درخواست تجدیدنظر را آغاز کند.
• یک بند توهم در گزارش انطباق ممکن است منجر به مجازات شود.
• یک مرجع ساختگی در یک بررسی بالینی می تواند ایمنی بیمار را به خطر بیندازد.

مدل های زبان بزرگ (LLM) “شکسته” نیستند. آنها فقط هستند بی حساب شده. Advanced Retrieval Generation (RAG) کمک می کند، اما RAG استاندارد شکننده باقی می ماند:

• استخراج ممکن است شواهد مهمی را از دست بدهد.
• تعداد کمی از خطوط لوله بررسی می کنند که عبارات تولید شده واقعاً توسط متن استخراج شده پشتیبانی می شوند.
• نمرات اعتماد اغلب کالیبره نشده یا گمراه کننده هستند.

اگر شما یک مهندس هستید که برنامه‌هایی را ایجاد می‌کنید که به سطح بالایی از اعتماد نیاز دارند، مانند مهاجرت، مراقبت‌های بهداشتی یا انطباق، پس یک «ربات چت با زمینه» کافی نیست. شما به روش هایی نیاز دارید که هر ادعا را تأیید کند، به وضوح نشان دهنده عدم قطعیت باشد و شامل نظارت متخصص باشد.

این مقاله به شرح یک یک چارچوب ترکیبی RAG + LLM ساخته شده با منبع باز Django، FAISS و پشته NLP. ترکیب می کند:

• استخراج دو کاناله
• خروجی های تحمیلی JSON
• تأیید خودکار ادعا
• کالیبراسیون اعتماد
• نظارت انسانی

به آن به عنوان خط لوله ای فکر کنید که LLM را از آن تغییر می دهد داستان نویسان خلاق ج دستیاران قابل ممیزی.

بلع و بریدن

بررسی‌های پرمخاطب شامل مجموعه‌های نامرتب و متفاوت است: پی‌دی‌اف‌های اسکن‌شده، اسناد Word، دستورالعمل‌های HTML و یادداشت‌های متن ساده. هر قالب چالش های منحصر به فردی را معرفی می کند.

دام های رایج:

• سرفصل ها، جداول و مراجع اغلب تراز یا تحریف شده اند.
• عجیب و غریب یونیکد (نقل قول های هوشمند، فضاهای با عرض صفر) جاسازی ها را خراب می کنند.
• اطلاعات شناسایی شخصی (PII) باید ویرایش شود.

خط لوله:

• همه اسناد را به متن ساده UTF-8 تبدیل کنید.
• عناصر ساختاری را حفظ کنید (مثلاً جداول را به جای صاف کردن آنها به JSON تبدیل کنید).
• محتوا را به دو قسمت تقسیم کنید 400-800 پنجره رمز با 15% همپوشانی برای حفظ تداوم متنی

from langchain.text_splitter import RecursiveCharacterTextSplitter
    
splitter = RecursiveCharacterTextSplitter(      
chunk_size=800,      
chunk_overlap=120  
)  

chunks = splitter.split_text(cleaned_doc)

این امر بلع ایمن و ساختار یافته را برای استخراج پایین دست تضمین می کند.

دستگاه استخراج هیبریدی

توجه داشته باشید که هیچ روش استخراج به خودی خود کافی نیست:

• BM25 (عصاره گیری رقیق شده): دقت کلمه کلیدی قوی
• جاسازی های متراکم: مقاوم در برابر تفسیر و تنوع معنایی.

ما هر دو را با استفاده از یک تابع امتیازدهی ترکیبی ترکیب می کنیم:

S(q, d) = آلفا * s_BM25(q, d) + (1 – آلفا) * s_vec(q, d)

برای بهبود تنوع و کاهش افزونگی، اسناد و مدارک هستند دوباره طبقه بندی شد با استفاده از حداکثر ارتباط حاشیه ای (MMR):

MMR(d_i) = lambda * S(q, d_i) – (1 – lambda) * max_j sim(d_i, d_j)

زیرساخت:

• Elasticsearch → استخراج BM25
• FAISS (L2 مسطح) → جستجوی بردار متراکم با استفاده از تعبیه‌های مبتنی بر E5

یک نسل زمین دار

استخراج زمینه را فراهم می کند – اما تولید باید باشد ساختار یافته تحت ممیزی قرار گیرد.

قوانین کاربرد:

• خروجی ها را به a محدود کنید طرحواره JSON (ادعاها، نقل قول ها، خطرات، نتایج).
• به طور خاص بپرسید شناسه های استناد مانند [C1].
• از آن استفاده کنید [MISSING] نشانگرها زمانی که هیچ مدرک حمایتی وجود ندارد.

سریع:

SYSTEM: You are a review assistant.  
Cite evidence with [C#]. If none exists, write [MISSING].  
Only output valid JSON. 

اعتبار سنجی:

from jsonschema import validate, ValidationError
  
try:      
validate(instance=output, schema=review_schema)
except ValidationError:      
# retry generation     
pass

این رویکرد به جای بداهه گویی، جبرگرایی را تضمین می کند.

بازرسی و کالیبراسیون

1. بررسی انفوزیون

حتی زمانی که استنادها در دسترس هستند، ادعاها همچنان می توانند شواهد را نادرست معرفی کنند. به عنوان مثال:

• ادعا کنید: “متقاضی اجازه ماندن به مدت نامحدود را دارد.”
• شواهد: “متقاضی دارای ویزای موقت Tier-2 است.”

هر دو به یک فایل اشاره دارند، اما عبارت است تناقض دارد.

ما درخواست می کنیم RoBERTa-MNLI برای بررسی:

G_claim = max_j p_entail (ادعا، C_j)

ادعاهای زیر 0.5 ← برای بررسی پرچم گذاری شده اند.

2. کالیبراسیون

نتایج Softmax با اطمینان بیش از حد شناخته شده است.

ما درخواست می کنیم مقیاس بندی دما:

sigma_T(z) = 1 / (1 + exp(-z / T))

T* با به حداقل رساندن احتمال ورود به سیستم یک مجموعه اعتبار سنجی آموخته می شود.
پس از کالیبراسیون، ECE از 0.079 → 0.042 کاهش می یابد.

رابط نظارت انسانی

اتوماسیون خستگی را کاهش می دهد. قضاوت انسانی مشروعیت را تضمین می کند.

• جنگو + htmx داشبورد ادعا ↔ جفت شواهد را نشان می دهد.
• کارشناسان می توانند قبول دارم، من رد می کنم، یا ویرایش کنید مستقیما
• مدل بررسی دوگانه → داوری در صورت تداوم اختلاف.
• تمام اقدامات در ثبت می شود بدون تغییر گزارش های حسابرسی (SHA-256).

نشانگر: κ = 0.87 قابلیت اطمینان بین ارزیاب.

تصویری از نتایج

تاثیر: با 10000 مورد ویزا در سال، صرفه جویی 2 ساعت در هر مورد = 20000 ساعت کارشناس بازیابی شد (تقریبا 10 FTE).

یادداشت های اجرایی

• قاب: جنگو 4.2 + DRF
• دم: کرفس + تربچه
• جستجو کنید: Elasticsearch (BM25)، FAISS embeds
• نسل: GPT‑4 یا Mixtral‑8x7B
• چک کردن: RoBERTa-MNLI
• مقیاس بندی: Docker + Kubernetes; ~ 3 گیگابایت در هر 1 میلیون قطعه

حالت های شکست و کاهش

• زبان سیاست خاص ← شکاف های استخراج ← مجموعه سرپرستی شده.
• ادعاهای طولانی (> 512 توکن) → خطای NLI → ادعاهای تکه ای.
• تعصبات بدنه → نتایج مغرضانه → کاهش با آربیتراژ انسانی + چرخه های تجدید.

خطاها نشانه های طراحی هستند، نه اشکال.

شغل آینده

• بازیابی چند زبانه با استفاده از LASER 3 embeds برای بیش از 50 زبان
• سنتز الگو برای ایجاد خودکار پیگیری ها [MISSING] اسلات ها
• استقرار فدرال – تعبیه‌های on-prem با به‌روزرسانی‌های گرادیان مشترک

نتیجه گیری

توسعه‌دهندگانی که در محیط‌های تنظیم‌شده و با اعتماد بالا کار می‌کنند باید فراتر از LLM‌های خام حرکت کنند.

یک معماری ترکیبی – ترکیبی از استخراج، اجرای طرحواره، تأیید ورودی، کالیبراسیون و نظارت انسانی – سیستم‌هایی را ایجاد می‌کند که کارآمد، قابل اعتماد و قابل حسابرسی هستند.

این طرح نه تنها برای ارزیابی ویزا، بلکه برای ممیزی سلامت، انطباق با مقررات و اعتبار سنجی ادبیات علمی نیز اعمال می شود.

غذای آماده: این “هوش مصنوعی برای سرگرمی” نیست. این سیستم برای اعتماد طراحی شده است. پشته و مجموعه اعلان تحت مجوز MIT منبع باز هستند. آن را فوکوس کنید، آن را آزمایش کنید و آن را با دامنه خود تطبیق دهید.

با در نظر گرفتن زمین به عنوان یک اصل اصلی معماری، ما LLM های احتمالی را به همکاران قابل اعتماد تبدیل می کنیم.