تعلن شركة Microsoft عن إطلاق Orca 2، وهو نموذج لغة صغير مصمم لتوفير إمكانات تفكير محسنة. ما هي الاختلافات والمزايا التي تقدمها مقارنة ببرامج LLM، مثل ChatGPT؟
أندرويد مع الذكاء الاصطناعي
أعلنت شركة Microsoft Research هذا الأسبوع عن إطلاق Orca 2، وهو نموذج لغة صغير مفتوح المصدر (SLM) مصمم ليتناسب مع القدرات المنطقية لنماذج اللغات الكبيرة (LLMs). يأتي النموذج بحجمين: 7 مليار أو 13 مليار معلمة.
وفقًا لمايكروسوفت، يتفوق Orca 2 على النماذج الحالية ذات الحجم المماثل ويحقق مستويات أداء مشابهة أو أفضل من النماذج الأكبر بـ 5 إلى 10 مرات، خاصة في المهام التي تتطلب التفكير.
قبل كل شيء، يوضح الإصدار أن قدرات SLM آخذة في النمو. وهذا يعني أنه مع مزيد من التطوير، يمكنهم توفير بديل أكثر فعالية من حيث التكلفة لنماذج اللغات الكبيرة مثل GPT-4 وPaLm 2 في سيناريوهات معينة.
تقديم أوركا 2
قامت Microsoft بتطوير Orca من خلال ضبط النماذج الأساسية لـ Meta's Llama 2 باستخدام بيانات تركيبية عالية الجودة. تم تدريب SLM من خلال التعلم التدريجي باستخدام البيانات من مجموعة بيانات جديدة مع 817K من مثيلات التدريب ومجموعة بيانات FLAN ومدخلات أخرى من Orca 1.
وقد ساعد استخدام بيانات التدريب الاصطناعية بهذه الطريقة في تعزيز قدرات التفكير الشاملة لـ SLM.
"لقد أسفر بحثنا عن نموذج Orca 2 عن رؤى مهمة حول تعزيز القدرات المنطقية لنماذج اللغات الأصغر. ومن خلال تدريب هذه النماذج بشكل استراتيجي باستخدام بيانات تركيبية مخصصة، حققنا مستويات أداء تنافس أو تتجاوز تلك الخاصة بالنماذج الأكبر حجمًا، لا سيما في مهام الاستدلال المنطقي الصفرية.
إعادة تعريف SLMs في سوق الذكاء الاصطناعي التوليدي
في حين أن شعبية الذكاء الاصطناعي التوليدي قد نمت بشكل ملحوظ بعد إطلاق ChatGPT في نوفمبر الماضي، إلا أن التكلفة العالية لتدريب LLM ظلت نقطة ضعف كبيرة. على سبيل المثال، يقدر المحللون أن تدريب نموذج لغوي مثل GPT-3 قد يكلف أكثر من 4 ملايين دولار.
هذه التكاليف ترتفع فقط مع اكتساب LLMs المزيد من المعلمات، حيث يقال إن GPT-3 يحتوي على 175 مليار معلمة ويقدر البعض أن GPT - 4 يحتوي على ما يصل إلى تريليون . ونتيجة لذلك، يجب على المؤسسات التي ترغب في تدريب طلاب ماجستير إدارة الأعمال ذوي القدرات المنطقية المتطورة أن تستثمر في المزيد من موارد الحوسبة لمواكبة ذلك.
توفر SLMs بديلاً فعالاً من حيث التكلفة لـ LLMs لأنها تتطلب قوة حسابية أقل لتعمل.
تقليدياً، كان هذا على حساب قدرات التفكير المحدودة. ومع ذلك، أشارت ورقة بحث Microsoft Orca 2 إلى أن المنظمة سعت إلى معالجة هذه المشكلة بشكل مباشر من خلال " استكشاف كيف يمكن لإشارات التدريب المحسنة أن تعزز قدرات التفكير المنطقي لدى LM الأصغر." "
لقد تم تطوير معظم نماذج إدارة الأعمال (SLM) باستخدام تقنيات مثل التعلم بالتقليد لمحاولة تكرار مخرجات برامج ماجستير إدارة الأعمال (LLM). وقد أدى ذلك إلى نجاح محدود، حيث افتقروا إلى مهارات التفكير والفهم الشاملة التي يتمتع بها نظرائهم الأكثر قوة. كما أنهم يقتصرون على المعرفة التي تعلموها أثناء التدريب المسبق.
استجابت Microsoft لهذه القيود من خلال تعليم Orca 2 تقنيات التفكير المتعددة مثل خطوة بخطوة، والاستدعاء ثم الإنشاء، والاستدعاء وإنشاء السبب، والإجابة المباشرة مع منحها الحرية في تحديد الحل الأكثر فعالية وكفاءة للرد على كل مشكلة.
كيف يمكن مقارنة Orca 2؟
استنادًا إلى الاختبارات الأولية التي أجرتها Microsoft، حقق Orca 2 بعض النتائج الواعدة، متفوقًا أو مطابقًا للنماذج الأخرى مثل Llama 2 Chat 13B، وLlama 2 Chat 70B، وWizardLM 13B، وWizardLM 70B على المعايير بما في ذلك AGI، وBBH، وMMLU، وARC-E، وARC. -C، وRACE، وGSM8K.
يمكن لهذه المعايير تقييم قدرات نماذج اللغة المختلفة، بما في ذلك فهم اللغة متعدد المهام، والإجابة على الأسئلة، وفهم القراءة، والتفكير الحسابي.
ولعل أكثر النتائج الواعدة التي توصلت إليها الدراسة هي أن Orca 2 13B، في المتوسط، تفوق في الأداء على جميع LLms بخلاف Wizard 70B عبر هذه المعايير.
وجاء في منشور مدونة الإعلان أن "نجاح Orca 2 يكمن في تطبيقه لتقنيات التفكير المتنوعة وتحديد الحلول المثلى لمختلف المهام"، بينما أضاف أيضًا أن "إمكانات التقدم المستقبلي لـ SLM واضحة، لا سيما في تحسين التخصص في التفكير والتحكم والتفكير". وسلامة النماذج الأصغر حجما.
اقرا ايضا:الذكاء الاصطناعي التوليدي في DevOps من هنا
الخاتمه
أظهر إصدار Microsoft لـ Orca 2 والأبحاث المصاحبة له أن SLMs يمكن أن تكون بديلاً تنافسيًا للنماذج الأكبر حجمًا مع اتباع نهج التدريب الصحيح.
وفي حين أن هناك حاجة إلى مزيد من الأبحاث لتعزيز قدراتهم، فمن الواضح أن هذه خطوة قوية إلى الأمام.
مرحبا بكم في جريدة وموقع كلام فور يو