النسيان يمنح الذكاء الاصطناعي فهما أفضل للنصوص

توصلت دراسة حديثة إلى أن تزويد النماذج الذكية بذاكرة محدودة تشبه بعض خصائص الذاكرة البشرية يمكن أن يحسن قدرتها على تعلم القواعد اللغوية، خصوصاً عندما تتدرب باستخدام كم محدود من النصوص ، وفى هذا السياق، اختبر باحثان هولنديان فكرة قديمة في العلوم المعرفية مفادها أن نسيان التفاصيل الدقيقة للكلمات والجمل قد يساعد الإنسان على التركيز على الأنماط المتكررة واستخلاص القواعد العامة للغة.

وتعتمد نماذج اللغة الحديثة عادة على الاحتفاظ بقدر كبير من المعلومات عن الكلمات التي تعالجها داخل السياق. وقد يبدو منطقياً أن تؤدي زيادة المعلومات المتاحة للنموذج إلى تحسين عملية التعلم، لكنّ الباحثين اختبرا فرضية معاكسة: هل يمكن أن يصبح النموذج أفضل إذا نسي بعض التفاصيل تدريجياً ، ولهذا الغرض، أضافا آلية بسيطة لتلاشي الذاكرة داخل نماذج لغوية مبنية على بنية "المحوّل" (Transformer). وأطلق الباحثان على هذه النماذج اسم "محوّلات الذاكرة العابرة"، لأنها لا تحتفظ بجميع الكلمات السابقة بالمستوى نفسه من الدقة.

ومع مرور الكلمات داخل النموذج، تبدأ التفاصيل الأقدم في التلاشي، بينما تبقى الكلمات الأقرب متاحة بصورة أوضح. ويحاكي ذلك، بصورة مبسطة، الطريقة التي لا يحتفظ فيها الإنسان بالنص الحرفي الكامل لكل جملة يسمعها، لكنه يستطيع تذكر معناها وأنماطها الأساسية ، ودُرّبت النماذج باستخدام معيار «BabyLM»، وهو مجموعة بيانات صُممت لتقريب الكم اللغوى الذى قد يتعرض له الإنسان خلال مراحل النمو. وسمح ذلك للباحثين بمقارنة النماذج التقليدية مع النماذج ذات الذاكرة المتلاشية في ظروف لا تعتمد على مليارات الكلمات كما يحدث مع الأنظمة التجارية الكبيرة.

وأظهرت الاختبارات أن النماذج المزودة بآلية النسيان حققت أداء أفضل في تعلم اللغة وفي اختبارات تستهدف فهم البنية النحوية. كما استمرت النتائج عبر عمليات تدريب متعددة وانطلاقاً من إعدادات مختلفة للنماذج، ما أعطى مؤشراً على أن التحسن لم يكن نتيجة تجربة واحدة أو اختيار عشوائي محدد ، لكن الفائدة لم تتحقق من خلال النسيان وحده، فقد احتاج النموذج أيضاً إلى ما وصفه الباحثان بـ"الذاكرة الصدوية القصيرة" التي تحتفظ بآخر ثلاث إلى سبع كلمات بصورة واضحة قبل أن تبدأ المعلومات في التلاشي.

يعتقد العلماء بأن الجمع بين الذاكرة القريبة الواضحة والتلاشي التدريجي للمعلومات الأقدم كان العامل الحاسم في تحسين التعلم: فالاحتفاظ بعدد قليل من الكلمات الأخيرة يساعد النموذج على فهم العلاقات المحلية داخل الجملة، بينما يجبره نسيان الصياغات الأبعد على التركيز على الأنماط العامة بدلاً من حفظ التفاصيل الحرفية ، كما أشارت الدراسة إلى أن نجاح نماذج "المحوّل" ذات القدرة الواسعة على الوصول إلى السياق لا يعني بالضرورة أن الذاكرة غير المحدودة هي الخيار الأفضل في جميع حالات التدريب، خصوصاً عندما تكون البيانات المتاحة قليلة.