AMD اولین مدل کوچک زبان هوش مصنوعی خود را منتشر کرد – AMD-135M

Источник изображения: AMD

همانطور که AMD تلاش می کند حضور خود را در بازار هوش مصنوعی افزایش دهد، سازنده نه تنها برای این نیازها سخت افزار تولید می کند، بلکه تصمیم به توسعه مدل های زبانی نیز گرفت. نتیجه این شد اعلامیه اولین زبان کوچک AMD-135M.

  منبع تصویر: AMD

منبع تصویر: AMD

مدل جدید زبان کوچک AMD-135M متعلق به خانواده Llama است و هدف آن استقرار در مشاغل خصوصی است. مشخص نیست که آیا مدل جدید هوش مصنوعی AMD ارتباطی با خرید اخیر این شرکت از این استارتاپ دارد یا خیر. هوش مصنوعی سیلو (این معامله هنوز نهایی نشده است و هنوز توسط تنظیم کننده های مختلف تأیید نشده است، بنابراین احتمالاً نه). با این حال، این یک گام روشن در جهت برآوردن نیازهای خاص مشتری با یک مدل از پیش آموزش دیده ساخته شده توسط AMD با استفاده از سخت افزار خود است.

مزیت مدل زبان AMD این است که از چیزی استفاده می کند که رمزگشایی حدسی نامیده می شود. مدل دوم یک “مدل پیش نویس” کوچکتر است که چندین توکن نامزد را در یک پاس رو به جلو تولید می کند. سپس توکن‌ها به یک «مدل هدف» بزرگ‌تر و دقیق‌تر ارسال می‌شوند که آنها را تأیید یا تصحیح می‌کند. از یک طرف، این رویکرد به شما اجازه می دهد تا چندین توکن را به طور همزمان تولید کنید، اما از طرف دیگر، به دلیل افزایش انتقال داده، منجر به افزایش مصرف انرژی می شود.

مدل زبان AMD در دو نسخه ارائه می شود: AMD-Llama-135M و AMD-Llama-135M-code. هر یک از آنها برای کارهای خاص با افزایش عملکرد استنتاج با استفاده از فناوری رمزگشایی حدسی بهینه شده است. مدل پایه AMD-Llama-135M از ابتدا با استفاده از 670 میلیارد توکن داده مشترک آموزش داده شد. این فرآیند با استفاده از چهار گره 8 کانالی مبتنی بر AMD Instinct MI250 شش روز طول کشید.

مدل کد AMD-Llama-135M به نوبه خود به دلیل آموزش اضافی بر اساس 20 میلیارد توکن اضافی که به طور خاص بر روی نوشتن کد برنامه متمرکز شده بود، بهبود یافت. آموزش مدل اضافی با استفاده از همان مجموعه سخت افزاری AMD چهار روز طول کشید. این شرکت معتقد است که بهینه سازی بیشتر مدل های خود می تواند منجر به بهبود بیشتر در عملکرد و کارایی آنها شود.

اگر متوجه خطایی شدید، آن را با ماوس انتخاب کرده و CTRL+ENTER را فشار دهید.

منبع: https://3dnews.ru/1111770