به گزارش خبرگزاری مهر به نقل از اینترستینگ انجینرینگ، این پلتفرم یک سیستم خلاقانه ایجاد کرده که روبات‌ها، تحلیل موسیقی و داده‌های انسانی را ترکیب می‌کند تا صدا را به نقاشی‌های نوری متحرک تبدیل کند. در این فرایند، چند روبات مجهز به چرخ نسبت به ویژگی‌های موسیقایی واکنش نشان می‌دهند و همزمان انسان‌ها نیز اثر هنری خود را خلق می‌کنند.

نتیجه، ترکیبی از تعبیرات ماشینی و خلاقیت انسانی است که یک تجربه هنری مشترک بین شنوندگان و روبات‌ها خلق می‌کند. هر روبات کوچک، به اندازه یک توپ فوتبال، در منطقه‌ای مشخص روی زمین حرکت می‌کند و نوری رنگی از خود ساطع می‌کند. حرکت این روبات‌ها با یکدیگر ترکیب شده و همانند ضربه قلم نقاشی، یک تصویر دیجیتال پویا روی صفحه ایجاد می‌کند.

دوربینی که بالای فضای کاری نصب شده، حرکات روبات‌ها را ثبت می‌کند و امتداد نورهای آنها یک ترکیب بصری واحد ایجاد می‌کند که ریتم و هارمونی موسیقی را منعکس می‌کند. روبات‌ها به ویژگی‌های موسیقایی مانند تمپو و توالی آکوردها واکنش نشان می‌دهند و الگوهای حرکت آن‌ها تغییر می‌کند تا جوهره موسیقی به تصویر کشیده شود.

جنارو نوتومیستا، پروفسور مهندسی الکتریک و کامپیوتر در واترلو، در این باره گفت: «ما در اصل لشکری از روبات‌ها برای نقاشی بر اساس داده‌های موسیقایی برنامه‌ریزی کرده‌ایم.»

به گفته او، این سیستم فراتر از ترجمه صوت به تصویر است؛ ترکیب هماهنگ روبات‌ها و انسان‌ها باعث می‌شود یک اثر هنری تطبیقی و زنده خلق شود که احساس و روح موسیقی در حال پخش را منعکس می‌کند.