حاسبة تجزئة مستندات RAG
المدخلات
| رموز المستند | 8,000 |
|---|---|
| حجم المقطع | 512 |
| تداخل المقاطع | 64 |
حاسبة تجزئة مستندات RAG
حساب عدد المقاطع المتداخلة التي يُقسَّم إليها المستند في التوليد المعزَّز بالاسترجاع، وعدد الرموز التي تُرسَل إلى نموذج التضمين نتيجة ذلك.
المدخلات
المستند
التجزئة
النتائج
أدخل قيمة لعرض النتائج.
تفاصيل
تجزئة مستندات RAG
يجيب التوليد المعزَّز بالاسترجاع (RAG) عن السؤال بأن يبحث أولًا في مجموعة من المستندات عن المقاطع ذات الصلة، ثم يقدّم تلك المقاطع إلى نموذج لغوي. ولأن المستند الكامل عادةً ما يكون أطول من أن يُضمَّن ويُسترجَع كوحدة واحدة، يُقسَّم كل مستند أولًا إلى قطع أصغر تُسمى المقاطع. والتجزئة هي الخطوة التي تحدّد كيفية قطع هذه القطع، وهي تشكّل جودة الاسترجاع وكلفة التضمين معًا. تبيّن هذه الحاسبة عدد المقاطع التي ينتجها مستند بطول معيّن، وعدد الرموز التي يُرسلها ذلك إلى نموذج التضمين.
كيف تعمل التجزئة
تُمرِّر أداة التقسيم نافذةً ثابتة الحجم على المستند. عرض النافذة chunk_size من
الرموز، وبعد إصدار كل مقطع تتقدّم بمقدار خطوة بدلًا من العرض الكامل، فتتشارك
المقاطع المتتالية في شريط من chunk_overlap من الرموز. يوجد التداخل كي تظل
المعلومة الواقعة على حدّ المقطع كاملةً في مقطع واحد على الأقل — فبدونه قد تصبح
الجملة المقطوعة نصفين غير قابلة للاسترجاع من أيّ من النصفين.
الخطوة هي حجم المقطع ناقص التداخل:
s=c−oيُغطَّى مستند من رمز بعد أن يستهلك المقطع الأول رمزًا من البداية، وتُجتاز الرموز المتبقية البالغة بخطوات مقدارها ، وهو ما يتطلب
n=⌈sT−o⌉مقطعًا. ويراعي التقريب لأعلى النافذة الأخيرة التي قد تكون قصيرة. ويُضمَّن كل مقطع من المقاطع بحجمه الكامل، فيكون مجموع الرموز المُرسَلة إلى نموذج التضمين
Temb=n⋅cولأن كل مقطع بعد الأول يكرّر رمزًا، يكون أكبر من الأصلي كلما كان التداخل غير صفري.
مثال محلول
لِنأخذ مستندًا من 8,000 رمز، مُقسَّمًا بحجم مقطع 512 وتداخل 64. تتقدّم النافذة بمقدار
s=512−64=448 tokensويكون عدد المقاطع
n=⌈4488000−64⌉=⌈4487936⌉=⌈17.71⌉=18ويُرسِل تضمين المقاطع الثمانية عشر كلها بحجمها الكامل
Temb=18×512=9216 tokensإلى نموذج التضمين. ضخّم التداخل حجم التضمين من 8,000 إلى 9,216 رمزًا — بزيادة نحو 15 بالمئة — وهو الثمن المدفوع للحفاظ على المقاطع العابرة للحدود سليمة. وتقارب هذه النسبة حجم المقطع مقسومًا على الخطوة، .
ملاحظات وتنويعات
نادرًا ما تقطع أدوات التقسيم الفعلية على حدود رموز دقيقة. فمعظمها يحترم حدود الجمل أو الفقرات، فتتفاوت أطوال المقاطع ويختلف العدد قليلًا عن تقدير النافذة المتماثلة هنا. وتعدّل أدوات التقسيم العَودية والدلالية الحدود وفق البنية الطبيعية، مقايضةً التماثل بالتماسك. ونسبة التداخل هي الرافعة الأساسية على حجم التضمين: فالتداخل بنسبة 50 بالمئة يضاعف تقريبًا الرموز المُضمَّنة، بينما التداخل الصفري يُضمِّن طول المستند بالضبط لكنه يخاطر بقطع المعلومات.
التطبيق
يقود عدد المقاطع تحديد الأحجام في المراحل التالية. إذ يصبح كل مقطع متجهًا واحدًا، فيدخل مباشرةً في حجم الفهرس الذي تحسبه حاسبة حجم قاعدة البيانات المتجهية، ويحدّد مجموع الرموز المُضمَّنة كلفة التضمين لمرة واحدة التي تقدّرها حاسبة تكلفة التضمين. وعليه فإن ضبط حجم المقطع والتداخل يقايض دقة الاسترجاع مقابل كلفتي التخزين والتضمين معًا.
الأسئلة الشائعة (FAQ)
لماذا يُضاف تداخل بين المقاطع؟
قد يقطع التقسيم الحادّ جملةً أو صفّ جدول أو معلومةً إلى نصفين، فلا يحمل أيّ من المقطعين المعلومة كاملة. يكرّر التداخل آخر جزء من مقطع في بداية المقطع التالي، فتظل الفقرة الواقعة على الحدّ سليمةً في مقطع واحد على الأقل.
والمقايضة هي أن الرموز المكررة تُضمَّن أكثر من مرة، ما يرفع كلفة التضمين ويضيف مدخلات شبه مكررة إلى الفهرس.
ما حجم المقطع المناسب؟
لا توجد قيمة مثلى واحدة؛ يعتمد الأمر على المحتوى ومهمة الاسترجاع. المقاطع الأصغر، نحو 256 إلى 512 رمزًا، تعزل فكرةً واحدة في كل مقطع وتسترجع بدقة، ما يناسب البحث عن المعلومات. أما المقاطع الأكبر، 1,000 رمز أو أكثر، فتحفظ سياقًا محيطًا أوسع، ما يساعد في التلخيص وأسئلة الاستدلال.
وغالبًا ما تكون نقطة الانطلاق 512 رمزًا بتداخل 10 إلى 20 بالمئة، ثم يُعدَّل بناءً على جودة الاسترجاع.
لماذا تفوق الرموز المُضمَّنة ما يحتويه المستند؟
يكرّر كل مقطع بعد الأول منطقة التداخل من المقطع السابق، فتُضمَّن تلك الرموز مرتين. مجموع الرموز المُضمَّنة هو عدد المقاطع مضروبًا في حجم المقطع، وهو أكبر من طول المستند الخام كلما وُجد أي تداخل.
ونسبة الرموز المُضمَّنة إلى رموز المستند تقارب حجم المقطع مقسومًا على الخطوة، فالتداخل الكبير قد يضخّم حجم التضمين إلى ما يفوق حجم المستند الأصلي بكثير.
إخلاء المسؤولية
يعتمد عدد الرموز على مُرمِّز النموذج وعلى كيفية تعامل أداة التقسيم مع حدود الجمل والفقرات؛ ونادرًا ما تنتج خطوط المعالجة الفعلية مقاطع متماثلة تمامًا. تُعدّ هذه الأرقام تقديرات تخطيطية، ويُنصح بالتحقق من الأعداد الدقيقة وكلفة التضمين بأدواتك الخاصة.