دروس تاريخية في الانهيارات المفاجئة لقوانين التوسع.. من الجسور إلى الرقائق والذكاء الاصطناعي

الرئيس التنفيذي لشركة OpenAI، سام ألتمان – الذي أصبح ربما أبرز وجه لانتشار الذكاء الاصطناعي بعد إطلاق ChatGPT في 2022، يُعجب كثيرًا بما يعرف بقوانين التوسع.

تُعد هذه القواعد العامة المشهورة التي تربط حجم نموذج الذكاء الاصطناعي بقدراته، أساسًا للاندفاع الكبير في صناعة الذكاء الاصطناعي نحو شراء شرائح الحوسبة القوية، وبناء مراكز بيانات ضخمة، وحتى إعادة تشغيل محطات نووية متوقفة.

كما أوضح ألتمان في مدونة نشرها في وقت سابق من هذا العام، فإن التفكير يقوم على أن “ذكاء” النموذج يساوي تقريبًا اللوغاريتم للموارد المستخدمة في تدريبه وتشغيله، مما يعني أنه يمكن تحقيق أداء أفضل تدريجيًا بزيادة حجم البيانات وقوة الحوسبة بشكل أُسّي.

تم رصد هذه القوانين لأول مرة في 2020 وتم تحسينها في 2022، وتستند إلى رسم خطوط على بيانات تجريبية، بالنسبة للمهندسين، توفر صيغة بسيطة توضح حجم النموذج التالي والأداء المتوقع منه.

هل ستستمر قوانين التوسع مع تكبير نماذج الذكاء الاصطناعي؟

تراهن شركات الذكاء الاصطناعي بمئات المليارات من الدولارات على ذلك، لكن التاريخ يشير إلى أن الأمور ليست دائمًا بهذه البساطة.

قوانين التوسع ليست حكرًا على الذكاء الاصطناعي

يمكن أن تكون قوانين التوسع مفيدة جدًا، كما في الديناميكا الهوائية الحديثة، حيث يستخدم مهندسون مسألة Buckingham π لمقارنة نماذج مصغرة في نفق الرياح مع الطائرات أو السفن الحقيقية من خلال مطابقة أرقام معينة.

كما أسست فكرة “قوانين مور” ثورة صناعة الرقائق الإلكترونية، حيث تضاعف عدد الترانزستورات كل عامين تقريبًا، وهو ما أتاح إنشاء تقنيات حوسبة صغيرة وقوية.

لكن هناك تحذير: ليست كل “قوانين التوسع” قوانين طبيعية. بعضها رياضي خالص ويمكن أن يستمر إلى ما لا نهاية، وبعضها خطوط مرسومة على بيانات تعمل جيدًا حتى تخرج عن ظروف القياس الأصلية.

متى تنهار قوانين التوسع؟

التاريخ مليء بأمثلة على انهيار قوانين التوسع. المثال الكلاسيكي هو انهيار جسر Tacoma Narrows في 1940، حيث اعتمد تصميمه على مقاييس جسور أصغر، ومع رياح معتدلة، حدثت اضطرابات هوائية دمّرت الجسر بعد أربعة أشهر فقط من افتتاحه.

حتى “قوانين” صناعة الرقائق كانت لها حدود، تقلص الترانزستورات إلى أبعاد نانوية أدّى إلى تسرب التيار وتصرف غير متوقع، وأصبح تقليل الفولتية دون فقدان الإشارة مستحيلاً، فانتقل مصممو الرقائق إلى تصميمات جديدة بدلًا من مجرد التصغير.

قوانين الطبيعة أم قواعد عامة؟

منحنيات التوسع في نماذج اللغة الكبيرة التي يشيد بها ألتمان مفيدة حتى الآن، فهي أظهرت إمكانية تحسين النماذج بزيادة البيانات والحوسبة، لكنها ليست ضمانًا طبيعيًا، إذ لا تأخذ في الحسبان صعوبات الحصول على بيانات عالية الجودة أو التعامل مع مهام جديدة، فضلاً عن القيود الاقتصادية.

الاستثمار في المنحنيات

بينما تبدو منحنيات الأداء سلسة، فإن الواقع المالي أقل استقرارًا، فقد حذّر بنك Deutsche من فجوة تمويلية تقدّر بـ800 مليار دولار أمريكي بين الإيرادات المتوقعة والاستثمارات المطلوبة.

وتقدّر JP Morgan أن القطاع يحتاج إلى حوالي 650 مليار دولار سنويًا لتحقيق عائد متواضع قدره 10%.

النتيجة: قد تستمر قوانين التوسع في LLMs، وقد تكون الاستثمارات في الحوسبة الضخمة مجدية إذا كان الأداء قابلًا للتنبؤ.
لكن تذكّر البنوك يُذكّرنا بأن بعض قصص التوسع قد تتحول إلى فشل مفاجئ كما في Tacoma Narrows منحنيات جميلة في سياق، لكنها تخفي مفاجآت في سياق آخر.