تولید موسیقی با الهام از فیلم بی‌صدا

یک هوش مصنوعی جدید توسعه یافته توسط محققان دانشگاه واشنگتن قادر است از روی مشاهده یک ویدئوی بی‌صدا از نواختن پیانو، موسیقی در حال نواخته شدن را تولید کند.

به گزارش رکنا ، یک سیستم جدید هوش مصنوعی با بازتولید دیجیتالی موسیقی در حال نواخته شدن در یک ویدئوی صامت، حوزه هوش مصنوعی را یک گام جلوتر برده است.

این فناوری که با نام "Audeo" شناخته می‌شود، توسط گروهی در دانشگاه واشنگتن طراحی شده است و شامل نرم افزار هوش مصنوعی است که تقریباً با ۱۷۲ هزار فریم ویدئویی از "پل بارتون" نوازنده پیانو در حال نواختن آثار آهنگسازان کلاسیک مانند "موتزارت" و "باخ" آموزش داده شده است.

فیلم بی‌صدا از نواختن پیانو

این سیستم یک فیلم بی‌صدا از نواختن پیانو را با تعیین اینکه چه کلیدهایی به چه ترتیب فشرده می‌شوند، تعیین تک‌تک نت‌ها و ترتیب آنها تجزیه و تحلیل می‌کند. با این وجود، همچنین درک می‌کند که هر کلید با چه میزان فشاری فشرده می‌شود و چه مدت پایین نگه داشته می‌شود. این کار به این سیستم اجازه می‌دهد شدت هر نت و مدت زمانی را که در زیر صدای نت‌های بعدی پخش می‌شود، تشخیص دهد. همچنین ویژگی‌های خاص صوتی پیانوها را در نظر می‌گیرد.

سپس این داده‌ها به قالبی تبدیل می‌شوند که توسط یک ترکیب کننده(سینتی سایزر) دیجیتال قابل درک است. وقتی این سینتی سایزر فایل موسیقی را پخش می‌کند، بسیار شبیه به موسیقی اصلی ویدئو پیانو است.

آزمایش "Audeo" با یک فیلم بی‌صدا از نواختن "بارتون" انجام شد و وقتی صدای تولید شده با برنامه‌های تشخیص موسیقی مانند "SoundHound" آزمایش شد، این برنامه‌ها با دقت حدود ۸۶ درصد موفق به تشخیص قطعه مذکور شدند. در مقابل، این برنامه‌ها صدای اصلی ویدئو را با دقت ۹۳ درصد تشخیص دادند. محققان می‌گویند با توسعه بیشتر این فناوری، این شکاف باید کاهش یابد.

پروفسور "الی شلیزارمن" محقق ارشد این مطالعه می‌گوید: ما امیدواریم که مطالعه ما روش‌های جدیدی را برای تعامل با موسیقی فراهم کند. به عنوان مثال، یکی از برنامه‌های آینده این است که "Audeo" را به یک پیانوی مجازی با دوربینی که فقط حرکات دست یک نوازنده را فیلمبرداری می‌کند، گسترش دهیم. همچنین، با قرار دادن یک دوربین در بالای یک پیانوی واقعی، "Audeo" می‌تواند به طور بالقوه به روش‌های جدید آموزش هنرجویان در نواختن پیانو کمک کند.آخرین قیمت های بازار ایران را اینجا کلیک کنید.

اخبار وبگردی را در اینجا بخوانید: