کارت گرافیک 6 گیگابایتی: راه‌حلی ایده‌آل برای ساخت ویدیوهای هوش مصنوعی

به گزارش رکنا، لو‌مین ژانگ از گیت‌هاب در همکاری با مانیش آگراوالا از دانشگاه استنفورد، فناوری نوینی به نام FramePack را معرفی کرده‌اند. این فناوری پیشرفته، امکان ساخت ویدیوهای طولانی و با کیفیت را حتی با استفاده از کارت‌های گرافیک اقتصادی با حافظه ۶ گیگابایتی فراهم می‌کند.

قابلیت تولید ویدیوهای هوش مصنوعی با حافظه کم

FramePack به‌عنوان یک معماری شبکه عصبی پیشرفته، از تکنیک‌های بهینه‌سازی چندمرحله‌ای برای ساخت محلی ویدیوهای مبتنی بر هوش مصنوعی استفاده می‌کند. این معماری امکان استفاده از یک مدل ۱۳ میلیارد پارامتری برای تولید ویدیوهایی به طول ۶۰ ثانیه را فراهم کرده است؛ آن‌هم تنها با کارت گرافیک مجهز به ۶ گیگابایت حافظه. پیش‌تر چنین قابلیتی تنها با کارت‌های گرافیک سطح بالا با حداقل ۱۲ گیگابایت حافظه ممکن بود.

جریان پردازش فریم در معماری‌های دیفیوژن

مدل‌های هوش مصنوعی دیفیوژن، روند خود را با پردازش فریم‌های پر از نویز آغاز می‌کنند و به‌تدریج به فریم‌هایی با نویز کمتر می‌رسند. اما این روش نیاز به حافظه گرافیکی بالایی دارد که با طولانی‌تر شدن زمان ویدیو، تقاضای منابع بیشتری را به دنبال دارد.

FramePack با فشرده‌سازی هوشمندانه فریم‌ها بر اساس سطح اهمیت آن‌ها، این محدودیت را برطرف کرده و به‌طور چشمگیری مصرف حافظه گرافیکی را کاهش داده است. به گفته پژوهشگران، هزینه محاسباتی این معماری با مدل‌های دیفیوژن مرتبط با تصویر تفاوت چندانی ندارد.

رفع مشکلات کیفیت در ویدیوهای طولانی‌تر

یکی از مزایای کلیدی FramePack جلوگیری از پدیده‌ای به نام Drifting است که باعث کاهش تدریجی کیفیت در ویدیوهای بلند می‌شود. برای بهره‌برداری از این معماری، به کارت‌های گرافیکی مانند سری RTX 30، 40 یا 50 نیاز دارید که از فرمت‌های FP16 و BF16 پشتیبانی می‌کنند. هنوز اطلاعاتی درباره سازگاری این فناوری با کارت‌های گرافیک AMD یا Intel منتشر نشده است.

سازگاری با کارت‌های گرافیک اقتصادی انویدیا

خبر خوش برای کاربران این است که اکثر کارت‌های گرافیک مدرن انویدیا با حداقل ۶ گیگابایت حافظه، با معماری FramePack کاملاً سازگارند. در حالت بهینه، این مدل توانایی تولید ۰٫۶ فریم در هر ثانیه را دارد و هر فریم بلافاصله پس از پردازش قابل مشاهده است.

گامی بلند برای کاهش وابستگی به سرویس‌های ابری

با وجود احتمال محدودیت نرخ پردازش FramePack به ۳۰ فریم‌برثانیه، این معماری گامی عمده برای کاهش وابستگی به سرویس‌های گران‌قیمت ابری و امکانات سنگین است. FramePack اکنون به تولید ویدیوهای هوش مصنوعی، حتی با سخت‌افزارهای اقتصادی نزدیک‌تر شده است.