چند روز قبل، اینفورمیشن در گزارشی گفت کارمندان OpenAI مدل جدیدی به نام رمز Orion را آزمایش کرده‌اند که هرچند عملکرد آن از مدل‌های فعلی فراتر می‌رود، نسبت به جهش از GPT-3 به GPT-4 پیشرفت کمتری دارد. اکنون کارشناسان این مسئله را مطرح می‌کنند که شاید دیگر توسعه مدل‌های هوش مصنوعی پیشرفته‌تر به قله رسیده و روبه‌روی ما دشتی همواری قرار دارد؛ یعنی چه‌بسا تا چند سال آینده دیگر شاهد جهش‌های خارق‌العاده و قله‌های بلندتری در این عرصه نباشیم.
به گفته محققان OpenAI که نام آنها فاش نشده، مدل جدید Orion در برخی کارها بهتر از مدل قبلی خود نخواهد بود. از سویی گفته‌های جدید «ایلیا ساتسکیور» (Ilya Sutskever)، یکی از بنیان‌گذاران OpenAI که اوایل سال جاری میلادی این شرکت را ترک کرد، به این نگرانی دامن می‌زند که مدل‌های زبانی بزرگ (LLM) درحال‌حاضر به سطحی رسیده‌اند که دیگر نمی‌توان با روش‌های آموزش سنتی آنها را پیشرفته‌تر کرد.
ساتسکیور به رویترز گفت دهه 2010 عصر مقیاس‌بندی بود؛ عصری که با افزایش منابع محاسباتی و داده‌های آموزشی بیشتر شاهد پیشرفت‌های چشمگیری در مدل‌های بعدی بودیم اما اکنون قله‌های این عصر فتح شده‌اند و دوباره باید به‌دنبال چیزهای جدیدی برای کشف‌کردن باشیم.
توسعه مدل‌های هوش مصنوعی پیشرفته‌تر
به گفته متخصصان، مشکل بزرگ آموزش مدل‌های هوش مصنوعی فقدان داده‌های متنی جدید و باکیفیت برای آموزش LLMهای بعدی است. اگر داده‌های آموزشی مدل هوش مصنوعی را به میوه‌های درخت تشبیه کنیم، تاکنون تمام میوه‌های شاخه‌های پایینی چیده شده‌اند؛ مدل‌های هوش مصنوعی فعلی با آرشیو مطالب موجود اینترنت اعم از سایت‌های خبری و کتاب‌ها آموزش دیده‌اند، اکنون باید به‌سمت میوه‌هایی برویم که از شاخه‌های بالاتر درخت آویزان هستند.
محققان سعی کردند این مشکل را در مقاله‌ای کمّی‌سازی کنند و مجموعه داده‌های آموزشی برای LLM را اندازه بگیرند و موجودی متن‌های عمومی تولیدشده توسط انسان را تخمین بزنند. محققان می‌گویند «مدل‌های زبانی کامل از ذخیره متن‌های عمومی تولیدشده توسط انسان بین سال‌های 2026 تا 2032 استفاده خواهند کرد.»
OpenAI و سایر شرکت‌های پیشرو از اکنون شروع به آموزش مدل‌های خود با داده‌های مصنوعی (ساخته مدل‌های دیگر) کرده‌اند تا از این بن‌بست که به‌سرعت نزدیک می‌شود، عبور کنند اما ممکن است داده‌های مصنوعی پس از چند دوره آموزش منجر به «فروپاشی مدل» شود.
البته شرکت‌های بزرگ فناوری روش‌های آموزشی دیگری را نیز امتحان کرده‌اند؛ برای مثال یکی از این روش‌ها تخصصی‌کردن فرایند آموزش مدل است. مایکروسافت با مدل‌های زبانی کوچک که روی انواع خاصی از وظایف و مسائل تمرکز می‌کنند، موفقیت‌هایی در این زمینه به دست آورده است. برخلاف LLMهای عمومی که امروزه به آنها عادت کرده‌ایم، می‌توانیم در آینده هوش‌های مصنوعی را ببینیم که بر تخصص‌های محدودتری متمرکز هستند، دقیقاً مانند دانشجویان دکترا که شاید دانش عمومی زیادی نداشته باشند اما در رشته‌ای خاص می‌توانند مسیرهای جدیدی خلق کنند.
