آخر تحديث: 2026-06-22

لماذا تنمو تكلفة المحادثة المتعددة الأدوار؟

استدعاءات واجهة النموذج اللغوي عديمة الحالة: فلا يحتفظ النموذج بذاكرة بين الاستدعاءات، ولذلك يجب أن يعيد العميل إرسال المحادثة السابقة سياقًا في كل طلب كي يبقى النموذج متماسكًا. ويُحتسب ذلك السجل المُعاد إرساله توكنات إدخال في كل مرة. وكلما طالت المحادثة، حمل إدخال كل دور السجلَ المتراكم لكل الأدوار السابقة، فينمو إدخال الدور الواحد وينمو الإدخال التراكمي أسرع من عدد الأدوار.

الصيغة

ليكن $N$ عدد الأدوار، و$n_{sys}$ موجِّه النظام المُعاد إرساله في كل دور، و$n_{turn}$ توكنات السجل الجديدة المضافة في كل دور (رسالة المستخدم زائد الرد السابق)، و$n_{out}$ الإخراج لكل دور. في الدور $k$ يكون الإدخال $n_{sys} + (k-1)\,n_{turn}$. وبالجمع على كل الأدوار:

والحدّ المثلثي $\tfrac{N(N-1)}{2}$ تربيعيٌّ في $N$، وهذا سبب أن المحادثات الطويلة تكلّف أكثر بكثير مما يوحي به دور واحد. وعند سعرين لكل مليون $p_{in}$ و$p_{out}$:

مثال محلول

لنأخذ N = 10 أدوار، وموجِّه نظام من 800 توكن، و600 توكن جديد لكل دور، و400 توكن إخراج لكل دور، بسعر 3 دولارات لكل مليون إدخال و15 دولارًا لكل مليون إخراج:

تكلّف المحادثة نحو 16.5 سنتًا. ويتضاءل حدّ موجِّه النظام المتكرر (8000 توكن) أمام حدّ السجل (27,000 توكن) — إذ يأتي معظم فاتورة الإدخال من إعادة إرسال النص المتنامي لا من التعليمات الثابتة.

الأثر التربيعي

لأن $T_{in}$ يتوسّع مع $N^2$، فإن مضاعفة عدد الأدوار تُربّع تكلفة الإدخال تقريبًا بدلًا من مضاعفتها. فنسخةٌ من 20 دورًا من المثال أعلاه ستعيد إرسال $600 \cdot \tfrac{20 \cdot 19}{2} = 114{,}000$ توكن سجل — أي أكثر من أربعة أضعاف الـ27,000 عند عشرة أدوار. وهذا التراكم خاصية من خصائص إعادة إرسال السجل الكامل، مستقلة عن السعر لكل توكن.

التخفيف

يُخفَّض النمو بدفع ثمن السجل المتراكم مرات أقل أو بسعر أدنى: فتلخيص الأدوار القديمة أو تقليمها يحدّ من مقدار السجل المُعاد إرساله، بينما يتيح التخزين المؤقت للموجِّهات أن يحتسب المزوّد السياق المتكرر بسعر مخفَّض. ويمكن تقدير وفورات تخزين الجزء الثابت من السياق بـحاسبة وفورات التخزين المؤقت للموجِّهات. وللتأكد من أن نصًّا متناميًا ما زال يلائم النموذج قبل أن تصبح التكلفة هي الشاغل، انظر حاسبة ملاءمة نافذة السياق.