آخر تحديث: 2026-06-22

عدد رموز مجموعة البيانات

يبدأ تدريب نموذج لغوي ووضع ميزانيته من كمية واحدة: عدد الرموز التي تحويها مجموعة البيانات. غير أن المدوّنات تُوصَف عادةً بالكلمات أو الوثائق أو الغيغابايتات لا بالرموز، والنموذج لا يقرأ سوى الرموز. تردم هذه الحاسبة تلك الفجوة بتحويل عدد الكلمات إلى عدد مقدَّر من الرموز بنسبة رموز لكل كلمة، ثم التحجيم بعدد حقب التدريب لإعطاء الإجمالي الذي سيعالجه النموذج.

رموز لا كلمات

الرمز هو الوحدة الذرية التي ينتجها المُرمِّز حين يقسّم النص إلى أجزاء فرعية. وكثيرًا ما تصبح الكلمات المتكررة رمزًا واحدًا، بينما تُقسَّم الكلمات الأندر أو الأطول إلى عدة رموز، فيحوي المقطع دائمًا تقريبًا رموزًا أكثر من كلماته. وبما أن الربط يتعلّمه المُرمِّز، فإن النسبة بين الرموز والكلمات خاصية للمُرمِّز والنص لا ثابت كوني. ومعاملة الكلمات والرموز كأنها متبادلة يقلّل من العدد الحقيقي، ومعه الحوسبة التي تحتاجها الجولة.

كيف يعمل التقدير

يدخل حجم المدوّنة بملايين الكلمات، $W$. والضرب في نسبة الرموز لكل كلمة $r$ يعطي رموز مرور واحد على البيانات. وتكرار المدوّنة لـ $e$ حقبة يضاعف العمل الذي ينفّذه النموذج، فتكون رموز التدريب الفعلية إجمالي المرور الواحد مضروبًا في عدد الحقب. ويُشتَق رقم بالمليارات من إجمالي الملايين لأن أحجام مجموعات التدريب تُعرض غالبًا بمليارات الرموز.

الصيغة

عند وجود $W$ بملايين الكلمات ونسبة $r$ و$e$ حقبة، يكون إجمالي المرور الواحد $T$ (ملايين)، وصيغته بالمليارات، وإجمالي التدريب المحجَّم بالحقب $E$ (ملايين)

والرقم بالمليارات هو ببساطة $T\,/\,1000$.

مثال محلول

لنأخذ مدوّنة من 100 مليون كلمة مُرمَّزة عند 1.3 رمز لكل كلمة ومدرَّبة لمدة ثلاث حقب:

مرور واحد على البيانات نحو 130 مليون رمز، أي 0.13 مليار. والتدريب لمدة ثلاث حقب يعني أن النموذج ينفّذ مرورات أمامية وعكسية على ما يعادل 390 مليون رمز، وإن كان 130 مليونًا فقط فريدًا. الإجمالي الفريد يصف المعلومات المتاحة؛ والإجمالي المحجَّم بالحقب يصف العمل ومن ثم الحوسبة.

اختيار النسبة

بالنسبة للنثر الإنجليزي بمُرمِّز حديث قائم على أزواج البايتات، تُعد نحو 1.3 رمز لكل كلمة قيمة افتراضية معقولة، ونحو أربعة محارف لكل رمز تقريب مرتبط. وتميل الأكواد والرياضيات والخطوط غير اللاتينية إلى التفتّت إلى رموز أكثر، فترفع النسبة. والنهج الموثوق هو تشغيل المُرمِّز المقصود على عيّنة ممثِّلة وقسمة ناتجها من الرموز على عدد كلمات تلك العيّنة، ثم استخدام النسبة المقيسة هنا. ويُعالَج التحويل العكسي من ميزانية رموز إلى طول مقروء في حاسبة التوكنات إلى الكلمات.

الحدود

النتيجة تقدير. فالعدد الدقيق للرموز يتوقف على المُرمِّز المحدد وعلى التنسيق والفراغات وكيفية ربط الوثائق، ولا تلتقط نسبة واحدة شيئًا من ذلك التقاطًا تامًا. وعدّ الحقب رموزًا إضافية صحيح للحوسبة والتوسع، لكن الرموز المتكررة لا تحمل معلومات جديدة وتقدّم عوائد متناقصة بعد بضعة مرورات. وللتحقق مما إذا كانت مجموعة البيانات كبيرة بما يكفي لحجم نموذج معطى، يُقارَن إجمالي المرور الواحد بالهدف الأمثل من حيث الحوسبة في حاسبة عدد رموز شينشيلا المثلى.