معماری Fusion‑in‑Decoder (FiD) برای Retrieval + Reasoning

در سیستم‌های RAG کلاسیک، مدل پاسخ را با ترکیب مستقیم contextها می‌سازد.

اما در معماری Fusion‑in‑Decoder، هر سند بازیابی‌شده جداگانه رمزگذاری می‌شود و ترکیب فقط در مرحله‌ی دیکودر انجام می‌گیرد.

معماری

فرایند به شکل زیر است:

1. Retriever تعدادی سند مرتبط را بازمی‌گرداند.
2. هر سند جداگانه در encoder پردازش می‌شود.
3. دیکودر (Transformer Decoder) توالی hidden states مربوط به تمام encoderها را با هم ادغام می‌کند.

$$P(y|x) = text{Decoder}(y | sum_i Encoder(d_i, x))$$P(y∣x)=Decoder(y∣i∑​Encoder(di​,x))

مزایا

• کاهش نویز متن‌های کم‌اهمیت
• افزایش دقت پاسخ در سوالات چندمرحله‌ای
• امکان استدلال ترکیبی بین چند سند مجزا

این معماری در مدل‌هایی مثل FiD‑RAG و REALM پایه‌ای برای reasoning پیچیده در LLMهای enterprise شده است.