آخر تحديث: 2026-06-22

ما تخطيط حدود معدّل النموذج اللغوي الكبير؟

تخطيط حدود معدّل النموذج اللغوي الكبير هو عملية تحديد معدّل الطلبات المستدام، وما يستلزمه من تزامن قيد التنفيذ، الذي تسمح به حدود واجهة المزوّد لعبء عمل معطى. تحدّ واجهات الاستدلال المستضافة الإنتاجية على محورين مستقلين: التوكنات في الدقيقة (TPM)، أي عدد التوكنات — إدخالًا زائد إخراجًا — التي يجوز للحساب معالجتها في كل دقيقة، والطلبات في الدقيقة (RPM)، أي عدد استدعاءات الواجهة المسموح بها في كل دقيقة بصرف النظر عن حجمها. والسقف الذي يُبلَغ أولًا هو الذي يحدّد الحدّ الأعلى.

أي حدّ هو المُلزِم

يحوّل عبء عملٍ ذو تكلفة توكنات متوسطة لكل استدعاء سقفَ التوكنات في الدقيقة إلى سقف طلبات مكافئ. فقسمة ميزانية التوكنات في الدقيقة على التوكنات المستهلكة لكل طلب تعطي عدد الطلبات في الدقيقة الذي يجيزه حدّ التوكنات وحده:

حيث $L_t$ حدّ التوكنات في الدقيقة و$n$ التوكنات لكل طلب. والمعدّل المستدام هو الأصغر من هذا السقف المشتق من التوكنات وسقف الطلبات في الدقيقة الصريح $L_r$:

فإن كان $R_t < L_r$ فحدّ التوكنات هو المُلزِم؛ وإن كان $R_t \ge L_r$ فحدّ الطلبات هو المُلزِم. ويميل العمل الكثيف التوكنات (السياق الطويل، الردود الكبيرة) إلى أن يكون مقيَّدًا بالتوكنات؛ بينما تميل الاستدعاءات الصغيرة العالية التواتر إلى أن تكون مقيَّدة بالطلبات.

التزامن من قانون ليتل

المعدّل المستدام لكل ثانية هو $R_s = R / 60$. وقانون ليتل، وهو نتيجة في نظرية الطوابير تنص على أن متوسط عدد العناصر في النظام يساوي معدّل الوصول مضروبًا في متوسط الزمن الذي يقضيه كل عنصر فيه، يحوّل ذلك المعدّل ومتوسط زمن استجابة الطلب $t_L$ إلى التزامن $C$ الذي يجب أن يعمل بالتوازي لإبقاء المسار ممتلئًا:

مثال محلول

لنأخذ حدّ توكنات في الدقيقة $L_t = 2{,}000{,}000$، وحدّ طلبات في الدقيقة $L_r = 10{,}000$، ومتوسط n = 2{,}000 توكن لكل طلب. السقف المشتق من التوكنات هو

ولأن 1{,}000 < 10{,}000، فإن حدّ التوكنات هو المُلزِم: تُحدّ الإنتاجية عند 1,000 طلب في الدقيقة، لا عند الـ10,000 المعلنة. وعند متوسط زمن استجابة $t_L = 20$ ثانية، يكون المعدّل لكل ثانية $R_s = 1{,}000 / 60 \approx 16.7$، فيكون التزامن المطلوب

فإدامة المعدّل تعني إذن إبقاء نحو 333 طلبًا قيد التنفيذ في آنٍ واحد. ولأن عبء العمل مقيَّد بالتوكنات، لن يفيد رفع سقف الطلبات في الدقيقة؛ بل يفيد تقليل التوكنات لكل طلب — عبر موجِّهات أقصر أو ردود أصغر أو حاسبة وفورات التخزين المؤقت للموجِّهات — أو طلب تخصيص حدّ توكنات في الدقيقة أعلى.

تنويعات وتطبيق

حين تكون الطلبات مقيَّدةً بالطلبات بدلًا من ذلك، يرفع جمع عدة عناصر في الاستدعاء الواحد الإنتاجيةَ الفعلية بينما لا يفيد تقليص التوكنات. ويدخل زمن الاستجابة عبر قانون ليتل وحده: فمضاعفة $t_L$ تضاعف التزامن الذي يتطلبه معدّل ثابت، ولذلك تخفّف النماذج الأسرع من تحجيم تجمّع الاتصالات والطوابير. ويغذّي رقم التزامن إعداد العميل — أعداد العمّال وحدود السيمافور وتجمّعات الاتصالات — ويغذّي المعدّل المستدام توقعات التكلفة عبر حاسبة التكلفة الشهرية للنموذج اللغوي الكبير. ولأن أعداد التوكنات تتباين لكل طلب وقد يصطفّ المزوّدون أو يندفعون، تكون أرقام الحالة المستقرة خطًّا أساسيًا تخطيطيًا يُتحقَّق منه إزاء حركة المرور الحيّة.