آخر تحديث: 2026-06-22

زمن استجابة الاستدلال

زمن استجابة الاستدلال هو المدة التي ينتظرها المستخدم حتى يجيب النموذج اللغوي. وفي الإكمال المتدفق ينقسم هذا الزمن إلى جزأين متمايزين: التوقف الأولي قبل ظهور أي نص، ثم الإيقاع الثابت للرموز الذي يليه. تجمع هذه الحاسبة بين الجزأين مع طول الإجابة لتقدير زمن الاستجابة الكلي والإنتاجية التي يختبرها طلب واحد فعليًا.

زمن الوصول إلى أول رمز والزمن لكل رمز مُخرَج

يصف قياسان أي نقطة نهاية متدفقة. زمن الوصول إلى أول رمز ($t_{ttft}$) هو التأخير من إرسال الطلب إلى رؤية الرمز الأول. ويشمل قراءة المُحفِّز، وبناء ذاكرة الانتباه المؤقتة لكل رمز في المُحفِّز — مرحلة التعبئة المسبقة المحدودة بالحساب — وفكّ تشفير رمز واحد. وتطيله المُحفِّزات الطويلة. أما الزمن لكل رمز مُخرَج ($t_{tpot}$)، الذي يُسمّى أيضًا زمن ما بين الرموز، فهو الفجوة بين كل رمز لاحق أثناء مرحلة فكّ التشفير. وفكّ التشفير محدود بعرض نطاق الذاكرة: يقرأ كل رمز جديد مجموعة أوزان النموذج كاملةً مرة واحدة، لذا تبقى هذه القيمة ثابتة تقريبًا ويكون مقلوبها سرعة التوليد المستقرة بالرموز في الثانية.

الصيغة

الرمز الأول مُضمَّن أصلًا في زمن الوصول إلى أول رمز، لذا يضيف كل رمز من الرموز المتبقية فجوة واحدة بين الرموز:

حيث $N_{out}$ عدد الرموز المُخرَجة، و$T$ زمن الاستجابة الكلي، و$v$ الإنتاجية الإجمالية. ويبقي حدّ الناقص واحد العدّ دقيقًا؛ وبالنسبة للإجابات الطويلة لا يكاد يغيّر النتيجة.

مثال محلول

لنفترض أن نقطة نهاية تُبلِّغ عن زمن وصول إلى أول رمز قدره 200 ms وزمن لكل رمز مُخرَج قدره 20 ms — أي سرعة توليد مستقرة قدرها 50 رمزًا في الثانية — وأن النموذج ينتج إجابة من 500 رمز:

تستغرق الإجابة نحو عشر ثوانٍ، وتقع الإنتاجية الإجمالية البالغة 49.1 رمزًا في الثانية تحت السرعة الخام البالغة 50 رمزًا في الثانية مباشرةً لأن تأخير أول رمز الثابت يتوزّع على الاستجابة بأكملها. وتتقلّص الفجوة بين القيمتين في الإجابات الأطول وتتّسع في القصيرة، حيث يهيمن توقف البدء.

تقليل زمن الاستجابة

يستجيب زمن الوصول إلى أول رمز للمُحفِّزات الأقصر، والتخزين المؤقت للمُحفِّز، وعتاد التعبئة المسبقة الأسرع. ويستجيب الزمن لكل رمز مُخرَج لعرض نطاق ذاكرة أعلى، والتكميم، وتقنيات مثل فكّ التشفير التخميني التي تصدر أكثر من رمز في تمريرة النموذج الواحدة. ولأن الزمن الكلي ينمو مع كل رمز مُولَّد، فإن تحديد الحد الأقصى لطول المُخرَج كثيرًا ما يكون أكثر الوسائل مباشرةً للتطبيقات التفاعلية. ولاستكشاف كيفية تغيير قبول النموذج المسوّد للقيمة لكل رمز، انظر حاسبة تسريع فكّ التشفير التخميني، ولنمذجة السعة على مستوى الأسطول انظر حاسبة الرموز الفعلية في الثانية.