تعد المعلمات إحدى الطرق الأكثر شيوعًا لقياس أداء نموذج اللغة الكبير ( LLM ). عندما قامت OpenAI بترقية GPT 3.5 إلى GPT-4 ، كانت إحدى أهم نقاط الحديث هي كيف يُزعم أن الأخير قدم 1.7 تريليون معلمة مقارنة بـ 175 مليار GPT 3.5.
ولكن ما هي معايير الذكاء الاصطناعي (AI) بالضبط؟ وما الفرق الذي تحدثه في قدرات النموذج اللغوي؟ أدناه، سنقوم بتفصيل بعض الأسئلة الشائعة الأكثر شيوعًا المحيطة بهذه المكونات الحيوية.
ما هي المعلمة؟
في أبسط مصطلحاتها، المعلمة هي القيمة التي تحدد سلوك نموذج التعلم الآلي ، وهي خوارزمية مصممة لتحديد الأنماط في مجموعة البيانات وإجراء تنبؤات بناءً على تلك المدخلات.
ضمن حدود نموذج التعلم الآلي، تعمل كل معلمة كمتغير، مما يحدد كيفية معالجة النموذج وتحويل المدخلات إلى مخرجات.
وهذا يعني أنه، بشكل عام، كلما زاد عدد المعلمات التي يحتوي عليها النموذج، كلما كان بإمكانه التقاط التفاصيل في مجموعة البيانات بشكل أفضل وكان أدائه العام أفضل، خاصة في مهام مثل إنشاء النص والرد على أسئلة المستخدم.
ما هي أنواع المعلمات الموجودة؟
تجدر الإشارة إلى أن هناك نوعين رئيسيين من المعلمات في نماذج التعلم الآلي: المعلمات والمعلمات الفائقة. في كثير من الأحيان، يتم استخدام هذه المصطلحات بالتبادل، ولكن كل منها يشير إلى أنواع مختلفة من المتغيرات.
المعلمات هي متغيرات تتعلم قيمها الخاصة من مجموعة البيانات. يتم تحديث هذه المعلمات بواسطة خوارزمية ML طوال عملية التدريب. تستمر عملية التدريب حتى تجد المعلمات قيمها المثالية.
من ناحية أخرى، المعلمات الفائقة هي متغيرات يحددها مستخدم بشري، والتي تحدد كيفية تدريب نموذج تعلم الآلة. يتم استخدام المعلمات الفائقة لتحديد القيم المثلى للمعلمات الموضحة أعلاه.
يجب أن يحدد المطور قيم المعلمات الفائقة قبل أن يخضع النموذج للتدريب وستظل ثابتة طوال عملية التدريب.
ما فائدة وجود المزيد من المعلمات؟
على مستوى عالٍ، كلما زاد عدد المعلمات التي يحتوي عليها النموذج، زادت البيانات التي يمكنه معالجتها وتمكن من تلخيص النص أو ترجمته بشكل أفضل والرد على أسئلة المستخدم.
ومع ذلك، تجدر الإشارة إلى أن وجود المزيد من المعلمات لا يجعل بالضرورة نموذج الذكاء الاصطناعي أو LLM أفضل. هناك عوامل أخرى مثل الأخطاء في بيانات التدريب وأنواع التقنيات المستخدمة لمعالجتها يمكنها أيضًا تحديد الأداء.
كما أوضحت دراسة أجرتها شركة OpenAI، والتي تسمى " Scaling Laws for Neural Language Models" ، أن هناك نقطة متناقصة من العائدات: "يتحسن الأداء بشكل يمكن التنبؤ به طالما قمنا بزيادة N [عدد معلمات النموذج] وD [حجم مجموعة البيانات] جنبًا إلى جنب، ولكنه يدخل في نظام من العوائد المتناقصة إذا ظل N أو D ثابتًا بينما يزداد الآخر.
لذلك، في حين أن وجود المزيد من المعلمات قد يكون أمرًا إيجابيًا للعديد من النماذج، إلا أنه لن يكون مفيدًا للأداء إلا إذا زاد أيضًا حجم بيانات التدريب وكمية الحوسبة المستخدمة للتدريب.
على أية حال، عند نقطة معينة، قد يكون وجود عدد كبير جدًا من المعلمات أمرًا غير مرغوب فيه بسبب المتطلبات الحسابية الأعلى التي يحتاجها التشغيل، ولكن أيضًا إذا وقع في مأزق التجهيز الزائد.
ما هو التجهيز الزائد؟
تحدث المطابقة الزائدة عندما يحتوي النموذج على عدد كبير جدًا من المعلمات، والتي تكون مرتبطة بمجموعة معينة من بيانات التدريب، ولا يمكنها إجراء تنبؤات دقيقة بناءً على مجموعة بيانات جديدة.
لتجنب هذا السيناريو، غالبًا ما يحتاج موردو الذكاء الاصطناعي إلى توفير معلمات كافية لتوفير التوازن بين التعميم والتخصص. بهذه الطريقة، يحتوي النموذج على معلمات كافية لإجراء استنتاجات من مجموعة بيانات ولكنه لا يقع في فخ التجهيز الزائد لمجموعة بيانات معينة.
اقرا ايضا:كيف يعمل فن الذكاء الاصطناعي؟ من هنا
هل يمكن للنماذج ذات المعلمات الأقل التنافس مع النماذج الأكبر حجمًا؟
نعم في بعض المهام يحتوي نموذج اللغة الصغيرة الذي تم إصداره حديثًا من Microsoft ، Orca 2، على 13 مليار معلمة فقط ولكن يمكن أن يؤدي أداءً مشابهًا أو أفضل من النماذج الأكبر بـ 5 إلى 10 مرات في مهام معينة.
ويتم ذلك من خلال استخدام بيانات التدريب الاصطناعية، التي تعلم Orca 2 تقنيات التفكير التي يمكن استخدامها لمعالجة المهام بشكل أكثر فعالية.
وهذا يسلط الضوء على أنك لا تحتاج بالضرورة إلى المزيد من المعلمات للتفوق في الأداء أو الاستمرار في المنافسة مع نموذج آخر.
بالإضافة إلى ذلك، تتمتع النماذج اللغوية الأصغر أيضًا بميزة أنها تتطلب طاقة حسابية أقل لتشغيلها. وهذا يمكن أن يجعل النماذج ذات المعلمات المنخفضة خيارًا أكثر فعالية من حيث التكلفة للتشغيل في سيناريوهات معينة.
ونتيجة لذلك، من المفيد النظر في معلمات النموذج إلى جانب نوع البيانات التي يتم تدريبه عليها، والتقنيات التي استخدمها البائع، والتكلفة الإجمالية لتشغيله.
مرحبا بكم في جريدة وموقع كلام فور يو