5月30日,西湖大学在虚拟现实交互领域发表了最新的研究成果,首次提出并开发了“高保真主动机械触觉交互系统”,为元宇宙带来了新的触觉感知维度。
5月29日,伦敦时间16日:00,Nature Machine Intelligence西湖大学姜汉卿团队的研究成果(自然-机器智能)在线发表Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality”。
澎湃新闻(www.thepaper.cn)从西湖大学了解到,这项研究借鉴了古代东方手工艺品“折纸”,这意味着他们借鉴折纸艺术,使虚拟现实眼镜中的虚拟世界不仅可见、可听,而且可以“触摸”。
众所周知,目前的虚拟现实交互只能提供视觉和听觉体验,呈现出一个只能从远处观察但不能触摸的虚拟空间,触觉是人类获得主体感的关键——在人类的五种感觉(视觉、听觉、嗅觉、味觉、触觉)中,视觉和听觉在信息接收中处于主导地位,味觉和嗅觉处于辅助地位,触觉处于基本地位(我们获得主体感,这是区分主体和客体的关键)。
研究人员尝试了许多“解决方案”,其中大多数是通过振动或压力补偿来创造“被动触觉”:例如,具有振动功能的手柄;西北大学的柔性电子科学家John Rogers院士发明的可以贴在皮肤上的振动电机;以及Meta2021年发布的触觉感知手套,通过气囊压迫给用户抓取物体的触觉...然而,这些“触摸”就像你的手机突然振动,或者坐在4D电影院突然感觉到座位摇晃,你的身体感觉是从设备开始的,给你一个被动的互动体验,远离真实的日常生活,由人类主动触发的“触摸”。
由于传统的折纸艺术,最前沿的虚拟现实和元宇宙如何打破局面?
据澎湃新闻报道,姜汉卿于2021年6月在亚利桑那州立大学任教15年,正式加盟西湖大学。在西湖大学,他最早开始的课题之一是柔性电子和软硬异质材料的研究,即“折纸机械超材料”。这意味着材料结构不是自然形成,而是人工结构。材料的性能不依赖于材料的分子结构或晶体结构本身,而主要依赖于其精致结构中的结构细节。
“折纸材料可能很软,但依靠不同的折叠方法,折纸结构会变得非常硬。基于折纸结构的机器人可以随时调整软硬度。”姜汉卿有了将“折纸”与元宇宙相结合的想法。
为了摆脱当前虚拟现实交互的固有思维模式,姜汉清创造了“主动触觉”的新概念——不同于肩膀、胸部、腰部、背部和其他人体通常接受“被动触觉”的部分,人们的手和脚通常是主动的,通过主动的触摸来感知物理世界。研究团队选择从“机械触摸”(即刚度、软硬触摸)开始,模拟手脚主动触摸物体的感觉。
高保真主动机械触摸交互系统的局部结构
他们开发了一套“高保真主动机械触摸交互系统”,使用不同材料和尺寸的折纸模块建立了两个不同维度的交互装置:一个手持装置,可以引起局部触摸和一个脚踏装置,可以产生全身的感觉。使用手持式交互装置时,用户可以主动掌握,体验不同交互物品的硬度;使用脚踏装置时,用户可以主动踩踏,以全身运动的形式体验环境和地面特征。
这种主动机械触摸的实现,是由于硬件设备内部曲面折纸结构在交互过程中,由用户主动触发被动变形——在电机的配合作用下,曲面折纸可以弯曲成不同的角度,也会产生不同大小的反应,从而给用户不同的“弹性”反馈。
当这种触觉的变化传递给大脑时,大脑会根据“软硬”来判断:是棉花、木板还是钢球...如果把手换成脚,大脑也会根据脚传递的刚度反馈来判断人是走在路上、草地上还是踩在冰上..因此,在元宇宙的虚拟世界中,可以实现“所见即所触,所处即所踏”。
据西湖大学介绍,接下来,江汉清研究团队将继续寻找多模式感知,恢复更完整的触觉,在形式上,他们正在尝试与柔性电子集成,实现主动触觉和被动触觉的结合,努力实现更大规模的折纸体验,在更大的场景中实现互动。