أصغر وحدة نص يقرأها النموذج اللغوي ويكتبها؛ قد تكون كلمة أو جزءًا من كلمة، وعلى أساسها يُحسب الحجم والتكلفة غالبًا.
النماذج اللغوية لا تقرأ النص حرفًا حرفًا ولا كلمةً كلمة بالضبط، بل تقسّمه إلى قطع صغيرة تسمّى «توكنز». قد يكون التوكن كلمة قصيرة كاملة، أو جزءًا من كلمة طويلة، أو علامة ترقيم. وغالبًا ما تحتاج النصوص العربية إلى توكنز أكثر من الإنجليزية لنفس المعنى، حسب النموذج المستخدم.
التوكنز مهمة لأن معظم مزوّدي النماذج يحسبون الاستخدام والتكلفة بعدد التوكنز الداخلة والخارجة، ولأن لكل نموذج حدًا أقصى من التوكنز يستطيع التعامل معه في المرة الواحدة. كلما طال الطلب أو الرد، زادت التكلفة وزاد وقت الانتظار. نصيحة عملية: اجعل التعليمات المتكررة في تطبيقك مختصرة وواضحة، ولا ترسل للنموذج مستندات كاملة إذا كان يكفيه جزء منها. وحدّد طولًا مناسبًا للردود، مثل «أجب في ثلاث جمل»، فهذا يوفّر التكلفة ويحسّن السرعة.