“中日科学家高层论坛”汇聚中日院士和高等院校教授,以及中日企业家,将促进中日两国科学家进行深度交流与合作,为实现科学技术的社会应用提出了建设性的意见。他们将从各自的基础研究、跨学科融合发展、产学研结合、科研成果产业链打造等方面进行深入的对话。

    在本次论坛上,合肥工业大学计算机与信息学院教授谷雨表示,情感计算来对行为识别推测你的情绪,我们现在通过你观看一些行为把这个信号认定之后做判断。

g.jpg

    以下为合肥工业大学计算机与信息学院教授谷雨在2019中日科学家高层论坛上的精彩演讲实录,由云现场整理。


   大家一直说老年化,这个事情简单的几个数据就可以看出来为什么会有老年化。最近几年我们的卫生和医疗条件许可的情况下,我们的人均寿命有了极大的提高,但是生育率的下降,1950年的生育率是6.11,2015年的时候生育率是1.66,死亡率上1950年是22.2,2015年是7.2。所以我们可以看到这个是一个普遍问题,这个是进入发达社会带来的一些负面的影响。
    2013年中国的2亿老龄人口中有100万是受到了非传染性的慢性疾病的伤害,70%以上的老人是因为慢性的疾病去世,人口老龄化的问题是养老模式的变化,2010年是几乎80%的家庭仅拥有一代或者二代人,我相信在座的同胞都有印象,随着医疗水平的进步,大家看到四世同堂都是可能的
    中国是一个高速发展的国家,在我们城镇化的过程当中,它对于专业卫生保健机构的数量不同的地域分布是极端的。这就带来了一个什么问题?第一个是人力不足,第二个是负担不起,第三个是人工服务为主,人力、时间成本消耗大,在这样的情况下,应运而生的是人工智能。我们今天为什么说AI,其实就是这个方面。这个是我们说的大的背景,我们粗略的分对老人的看护有两个部分。
    第一个是身理上的看护,我们可以实时连续的取得老人生理的信号,对于摔倒、晕厥、走失等突发行为的检测和防范。还有一个是日本有一个小机器人,它可以发出一些比较可爱的声音,就非常受到老年人的喜爱,这个是心理上促进老人更加健康。
 另外一个是心理看护,这两个都非常的重要。

    两个维度我对这个系统做切分,我现在偏重智能感知和分辨维度以及精度做这个事情,循序渐进建立了很多的系统。我们做了进一步的研究工作,推出了一些新的模式系统,我想要去让机器有这样感知的能力,感知人不同的行为和情绪。第一个是传感器,第二个是视频,在这个基础上又加进去了一个射频的通道来做这样的事情,所以我们基本的设备有三大类,一个是射频,一个是视频,还有一个是适用不同场景设备。大家看一下我们的会议室,在实验室的左上角,这里是WiFi常用的。右下角这里他们两个之间有一个WiFi连接,通过对新脑信号的解析,我们有了一些指标可以侧面的刻划屋里的状态。我们说这个是人的行走和人坐在这里,我们可以看到每一个人在实验室的动作都会对射频信号的接受端产生影响。系统主要是识别室内人的状态,比如你在走和你跑的时候,对你的一些状态进行观测。还有系统是实时的检测你的动作,更加的复杂。这个基础上我们今年做了一个跌倒检测,不用视频和传感器只用射频来做。这个是我们看到的信息,我们也看到人的动作可以很清晰的体现出来。我们也发现这个系统里面很容易被发现。
    后续做了一些更精细的工作,实际上是我们和网络的工作,就是最简单的一个是运动的动作,一个是静止的运动,你到底在干什么,你是在打字,还是看电影,还是打游戏?当然我们这个系统只用了射频信号,我们通过信号来做这样的一个动作。这样就可以分辨你到底目前在做什么事情,你打游戏的话我会提醒你休息。
    另外一个方面就是做检测,我们用一个系统是移动端的APP和我们的设备,我们不用传感器和设备,什么都不用来判断你目前的睡姿和你的动作,包括你的翻身和你哪个部分进行分析,发生了什么样的动作和睡姿来做检测。记录了你在梦中突然惊醒,不管你怎么动,其实都不会达到这样的强度,我们可以区分你是不是出了什么事。大家可能要问了你这样做有什么好处,一个是睡眠综合障碍症,加上足够的数据量分析你是不是处在一个健康的状态。还有一个我们提的问题就是你目前做的一些事情都是很大的动作,你能不能得出一个真实的生理信号,一个是你的呼吸,一个是你的心跳,你能不能不用传感器,我就去测你的呼吸。
    可以用一些柔性的传感器铺在床上来做,也可以用一些手持的设备,医院用的比较标准,还有放大很多倍看你的胸口,我们在完全不接触的情况下也可以用设备来做到。不管你是侧着的还是躺着的,我们都可以实时的检测。在你做这个的时候,你就算趴着我都可以得到你呼吸和心跳的数据。

    现在主流的认证方式有两种,第一种是你的人脸识别还有你的指纹,我们做了一个系统,就是我们不用任何的设备,不需要密码和键盘,所有的人都是同样的,我们识别的不是PIN,而识别的是你输入密码的方式。对于同样的密码每一个人的输入方式是不一样,为什么?第一个用户和第二个用户,即使是同样的密码,但是他的动作明显不一样,但是同样的用户不管输入几次都可以识别出来是同一个人。换句话说,如果你以后不记得密码了,年龄比较大了,密码记不住了,你就设同样的统一的密码,比如就12345678或者你的拼音,大家都知道了也没有问题。我现在做的试验就是这个地方没有键盘,但是就在这个桌子上输入,捕捉的是你输入的信息,包括打字的速度和频率以及力度等等。昨天几个老师说如果你知道我的密码,我可以双重的认证,你密码对了输入方式不对我也可以不接受。
    我们判断和你交流的人最简单的就是通过面部的表情,更复杂的是面部的微表情,再复杂就是通过你说的话,还有你的心跳以及更复杂的情况,再有就是你的体姿。是我们做的系统,信赖于你运动的情况,反推做这个事情,因为每一个人的情感表达的方式都不一样,所以我们做了这样一个东西。我们另外一个思路做情感计算来对行为识别推测你的情绪,我们现在通过你观看一些行为把这个信号认定之后做判断。做完了这个之后,因为我的文章出去了之后,业内的人士说你怎么确定不同情感表述的比例,后续我又做了一个新的系统,这个系统叫做VCSD,是第一个采用射频和视频双模态的情绪数据库,我们有10位数据采集个体,有了这几个数据库我们做了更加进一步的研究工作。比如3D研究库我们做了编码系统和3D的人脸表情识别,我们用两个模态的东西,第一个是视觉,其中一个是表情,还有一个是微表情。我们说WiFi的射频提供了你的运动信息和身体的体姿信息,视频这块我们抓了静态的特征,进一步我们输入之后大家知道结合了之后,把我们的信号可以做一个分类之后做识别。这里我就想问一个问题,就是人的自然表征的情况下,你的表情到底怎么分?这个是我们问的最多的一个问题,这个也是我们实时的系统,后面还通过呼吸和心跳实时采集。
    下一个目标我还是想去找比较经典的应用场景,把我们目前的工作推进下去。比如对老人的健康看护和情绪的健康看护,因为大家都知道情感的表达和交互都非常的重要,我们通用的设备是有问题的,你要做一个识别的系统一定是个性化的情感计算,就是你一定要针对某人来进行累计数据。它可以通过一定的方式可以对你进行刺激和交互,甚至通过外界的干预进行调节,而且它都有同样的能力存在,这个也涉及人和设备博弈的问题,也是我自己想做的一些方向。