آخر تحديث: 2026-06-22

ما التوكن؟

التوكن هو وحدة النص التي يقرأها النموذج اللغوي ويولّدها. يقسّم المُجزّئ النص الخام إلى مدخلات من مفردات ثابتة، يكون كلٌّ منها عادةً مقطعًا قصيرًا — كلمة شائعة كاملة، أو جذر كلمة، أو لاحقة، أو علامة ترقيم، أو بضعة محارف من كلمة نادرة. وتحتسب النماذج الاستخدام وتحدّه بالتوكنات لا بالكلمات أو المحارف، ولذلك يتطلب التحويل بين التوكنات وأعداد الكلمات والمحارف الأكثر ألفةً متوسطاتِ النسب التي ينتجها المُجزّئ.

نسب التحويل

للنثر الإنجليزي يُستعمل متوسطان تجريبيان شائعان. تُربط الكلمات بالتوكنات بنحو 1.33 توكن لكل كلمة، أي ما يقابل قرابة 0.75 كلمة لكل توكن. وتُربط المحارف بنحو 4 محارف لكل توكن. وعند عدد توكنات $n$، ونسبة توكنات لكل كلمة $r_w$، ونسبة محارف لكل توكن $r_c$:

يقسم عدد الكلمات على النسبة لأن المزيد من التوكنات لكل كلمة يعني كلمات أقل لميزانية التوكنات نفسها؛ ويضرب عدد المحارف لأن كل توكن يحمل عددًا ثابتًا تقريبًا من المحارف.

مثال محلول

لنأخذ n = 1000 توكن من نص إنجليزي عادي بالنسبتين الافتراضيتين $r_w = 1.33$ و$r_c = 4$:

فمقطعٌ من 1000 توكن يبلغ قرابة 752 كلمة و4000 محرف — وهو بضع فقرات من النثر، في حدود صفحة ونصف من نص مزدوج المسافات. والأرقام تقديرات: فالتجزيء الفعلي لأي مقطع بعينه يختلف عن المتوسط، ويُقرَّب عدد الكلمات إلى أقرب كلمة كاملة.

تنويعات

النسب ليست ثوابت كونية. فهي تتحرك بثلاثة عوامل:

• اللغة. الكتابات التي يمثّلها المُجزّئ بكفاءة أدنى — كثير من الكتابات غير اللاتينية، أو اللغات الغنية بالصرف — تنتج توكنات أكثر لكل كلمة، فتخفض قيمة الكلمات لكل توكن.
• نوع المحتوى. الشيفرة المصدرية والجداول والترميز الرياضي والنص الكثيف بالأرقام أو الرموز النادرة تتجزّأ إلى توكنات أكثر من النثر الجاري، فترفع $r_w$ وتخفض $r_c$.
• المُجزّئ. تستعمل كل عائلة نماذج مفرداتها الخاصة، فينتج النص نفسه أعداد توكنات مختلفة عبر النماذج. والنسب هنا متوسطات للإنجليزية؛ أما العدد الدقيق فيتطلب تمرير النص عبر مُجزّئ النموذج المستهدف.

التطبيق

يُستعمل التحويل من التوكنات إلى الكلمات أساسًا للترجمة بين مُخرَج مكتوب وميزانية التوكنات التي يستهلكها. فيمكن تحويل طول مستهدف بالكلمات إلى عدد توكنات تقريبي لمراجعته إزاء حدود نموذج بـحاسبة ملاءمة نافذة السياق، أو لتقدير الإنفاق بـحاسبة تكلفة التوكنات. ولأن النسب متوسطات، عامِل النتيجة بوصفها تقديرًا تخطيطيًا لا قياسًا دقيقًا، واحجز هامشًا حين يقع الرقم قرب حدّ صارم.