هرچند دستاوردهایی در زمینه مدل های زبانی بزرگ(LLM) مانند توسعه چت جی پی تی به ساخت ربات هایی منجر شده که قابلیت های کلامی مناسبی دارند اما برقراری ارتباط بی کلام برای این ابزارها به خصوص واکنش متناسب به حالات صورت و خواندن، همچنان با چالش روبرو است.

در همین راستا محققان Creative Machines Lab در دانشگاه کلمبیا به ایمو که یک سر رباتیک سیلیکونی آبی رنگ است، آموخته اند تا لبخند افراد را پیش بینی کند و به همان شکل نسبت به آن پاسخ دهند.

طراحی رباتی که به نشانه های غیرکلامی واکنش نشان دهد با ۲ چالش روبرو بود. چالش نخست ساخت یک صورت رسا با قابلیت های متعدد که شامل سخت افزارهای پیچیده و مکانیسم های تحریک است، بود و چالش دوم آموزش حالات به ربات است تا در زمان متناسب آنها را نشان دهد، به طوریکه طبیعی و واقعی به نظر بیاید.

ایمو فقط یک سر رباتیک است اما دارای ۲۶ محرک است که به ایجاد طیف وسیعی از حالات صورت کمک می کند. دوربین هایی با کیفیت بالا در چشمان ربات به آن کمک می کند تا ارتباط چشمی لازم برای ارتباطات غیرکلامی را برقرار کند. محققان بر آموزش ایجاد حالات صورت به ایمو، آن را در مقابل دوربین قرار دادند و اجازه دادند به طور تصادفی حرکاتی انجام دهد که معادل حرکاتی است که فرد در مقابل آینه انجام می دهد.

ایمو پس از چند ساعت آموخت چه موتور دستورهایی در واکنش به حالات صورت ایجاد می شوند.

در مرحله بعد ویدئوهایی از حالات صورت انسان به ربات نشان دادند تا آنها را فریم به فریم تحلیل کند. چند ساعت پس از آموزش ربات ایمو توانست با نگاه به صورت انسان و رصد تغییرات کوچک حالات صورت افراد را پیش بینی کند. ایمو توانست ۸۴۰ میلیونم ثانیه قبل از آنکه فرد بخندد، آن را پیش بینی کند و به طور همزمان واکنش یکسان نشان دهد