芥末堆芥末堆

激辩“AI+教育”的无序狂奔:暴露在“人脸识别”下的孩子们

作者:麻辣未闻 发布时间:

激辩“AI+教育”的无序狂奔:暴露在“人脸识别”下的孩子们

作者:麻辣未闻 发布时间:

摘要:一边是行业竞赛,一边是社会质疑。

victor-garcia-718191-unsplash.jpg

图片来源;unsplash

*本文转自微信公众号“麻辣未闻”(ID:newsk618),作者刘文静。

也许令周鸿祎想不到的是,一年多前自己“忍痛割爱”的360水滴直播,如今被各大教育机构换了“马甲”重新出现在课堂上。

“后辈”们比当年的水滴直播更进一步,不仅透过屏幕关注着孩子的一举一动,还用人脸识别来分析学生的上课状态,应用场景也从班级扩展到一对一。这被教育机构称作是“让老师了解学生对课程的理解程度,为调整授课方案提供依据。”

在许多教育峰会上,“AI+教育”、人脸识别、表情分析等均是行业人士探讨的热词。一边是行业的激烈竞赛,另一边却是来自学生、家长和专家的质疑和反对。

除了隐私侵犯老问题,教育伦理、孩子的人格塑造等新问题也暴露出来。科技赋能教育,边界究竟在哪?以让渡孩子隐私为代价的教育,到底值不值?

微信图片_20190509142751.jpg

图为人脸识别。资料图/图据视觉中国

技术的底线

技术的应用似乎是一个圈。

早在2017年4月,360水滴直播就曾因涉嫌泄露学生隐私被推上了风口浪尖。多家媒体曝出该平台直播全国多所学校、幼儿园的教师和宿舍画面,只需接上电源,打开摄像头,孩子的一举一动尽在眼前。

这或许可以达到“方便家长观看孩子”的效果,但是,孩子们隐私权如何保障?面对铺天盖地的舆论质问,360董事长周鸿祎多次出面回应,甚至召开恳谈会,但质疑声仍未消除。到了2017年底,在隐私权和流量的博弈面前,360选择关闭了水滴直播。

关闭前,也有业内人士给周鸿祎提供建议称,可以使用人工智能技术,比如公众场合直播场景时将人脸打上马赛克。周鸿祎也曾给工程师下达技术攻关的任务。

打码或许可以一定程度上规避隐私泄露风险,但是还未过两年,却出现了反其道而行的课堂精准人脸识别、表情分析技术。

无独有偶,近来,广电总局重拳规范未成年人节目,苹果下架一批家长控制类APP等都提到了未成年人隐私保护的问题。

在技术的急速发展过程中,未成年人的隐私等权利正在面临重重威胁。

如今,众多教育机构竞相追逐人脸识别AI技术。在未来网报道之后,某教育自媒体发文称一家在线一对一教育平台的智能化迭代的经验,其中指出:该平台“通过语音交互和机器视觉等技术手段监控课堂,判断授课质量,对不合格的教师进行回炉培训。”

但是,课堂监控分析是否会给教师和学生带来压力、制造“戏精”;是否已经侵犯了学生隐私;如何防止数据泄露……这些问题都亟待教育机构回答。

微信图片_20190509150900.jpg

某在线少儿英语培训机构通过面部识别技术量化分析孩子的课堂学习表现。图据网络

“这是必须引起教育系统与全社会高度重视的,学校是育人的地方,培养学生健康成长,所有教育创新必须以尊重学生人格为基本出发点。”21世纪教育研究院副院长熊丙奇在接受未来网记者收集时表示。

在他看来,这种方式是反教育、反人格的。教育本身包含情感、心理和知识交互的过程,过度强调技术手段是对学生和老师的控制,必然会导致教育缺乏应有的温度。而学生长期处于监控环境之下,很容易养成表演性人格。教育首先是教做人,反人格的教育万万不可取。

中国法学会研究部副主任彭伶也告诉未来网记者,“我不赞成收集、分析孩子的表情信息。如果孩子们事先知道,这会让他们处于一个高度紧张的状态,不利于孩子的健康成长。设身处地地想想,你在课堂上的一个挠头、皱眉,或是一个无意识的举动都会被别人观看,甚至放大分析,这是一件多么恐怖的事情。”

彭伶指出,从这个意义上来说,它不符合我国《未成年人保护法》的原则,尽管《未成年人保护法》没有对信息收集做出明确具体的规定,但是它的首要原则就是保护未成年人的身心健康。在《未成年人保护法》中明确规定,学校应当尊重未成年人的人格尊严,不得对未成年学生和儿童实施体罚、变相体罚或者其他侮辱人格尊严的行为。在她看来,除心理辅导等其他必要情况且取得未成年人及其监护人明示同意以外,收集、分析孩子们的上课表情属于“其他有辱人格尊严的行为”。并且,根据联合国儿童权利公约,“儿童最大利益原则”是儿童保护的首要原则。

“因此,上述课堂人脸识别、表情分析的方式是极其不妥当的,有碍于未成年人健康成长。如果以此原则作为标准来衡量这些教育机构的行为,显然它们违背了。”

为了教育让渡孩子的隐私权?

“很明显,即使是为了教育,人脸识别、表情分析并不一定能达到教育的目的和效果。既无必要,又有泄露隐私的风险。”一位中学老师向未来网记者表达了自己的担忧:一旦孩子的隐私泄露,会不会被进行商业交易、被拐卖儿童的人获取?即使不会泄露,如果等孩子长大了,当他发现他的人脸和表情特征已经被各个教育机构甚至更多的科技企业掌握了,他会怎么想?

如今,人脸识别逐渐成为了商户、手机APP等普遍采用的技术。据人民网报道:“刷脸”支付在2018年全面提速商用,正不断融入日常生活之中。业内人士预测,2019年随着AI技术的不断落地,以“刷脸”支付为代表的生物支付将成为主流,并有望在实体店里迎来大规模商用,“靠脸吃饭”的时代或许为时不远。

但是,如果生理和心智都尚未成熟的未成年人的人脸信息被有心之人利用,在“刷脸”如此普及的新时代,后果可能不堪设想。

对此,彭伶也告诉未来网记者,监控技术如果面向大众而非特定群体,用于查案和保卫社会公共安全则无可厚非。“但如果把这种技术用于课堂,用于特定个体如学生,就相当于隐私被监控,更可怕的是一举一动还会被人分析,甚至会形成分析报告。在这种情况下,按照我们一般的逻辑推断,这些数据是会留存的,甚至会作为内部的一个资料来交流使用,那么这些未成年人的信息就很可能会泄露出去。”

她还指出,仅分析本身就牵扯到了使用,在这种情况下,毫无疑问已经侵犯了未成年人的隐私,涉嫌违法。

北京市炜衡律师事务所律师周浩在接受未来网记者收集时也对此表示肯定:《网络安全法》《未成年人保护法》《侵权责任法》等法律中明确规定,不得侵犯公民的隐私权。

他介绍,《中华人民共和国网络安全法》第四十一条明确规定:网络运营者收集、使用个人信息,应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意。

所以,教育机构收集学生人脸表情等信息,正当性和必要性都大大存疑,很可能就违反了“合法、正当、必要的原则”。

此外,第四十一条还规定:网络运营者不得收集与其提供的服务无关的个人信息,不得违反法律、行政法规的规定和双方的约定收集、使用个人信息,并应当依照法律、行政法规的规定和与用户的约定,处理其保存的个人信息。

“但是,教育机构在收集学生人脸信息时是否经过了孩子和家长的同意,是否有明确提醒和询问,家长和孩子对其收集使用的风险性和后果知情多少,这些都很难保证。”周浩说。

但同时他也指出,《个人信息保护法》尚未出台,其他相应的条例、法规中关于未成年人的隐私、信息保护也并不明确。“什么信息能收集,什么不能收集,收集后应该怎么使用,目前法律上还未划清界限,较为模糊。”

技术无罪但法律须划清红线

事实上,如果从源头上追寻,最基本的问题在于这些教育机构有没有权利来收集未成年人的个人信息?彭伶表示,我国《民法总则》第一百一十一条明确规定:“自然人的个人信息受法律保护。任何组织和个人需要获取他人个人信息的,应当依法取得并确保信息安全,不得非法收集、使用、加工、传输他人个人信息,不得非法买卖、提供或者公开他人个人信息。”以此为标准来衡量,这些教育机构在取得孩子们的信息的合法性以及确保信息安全方面显然存在问题。

彭伶强调,事情已经发生,必须控制未成年人信息的保管和使用,要对于利用采集来的个人信息,尤其是未成年人信息来牟利的行为要予以严厉打击和惩处。

“教育机构如果对外大肆宣传,将其作为吸引消费者、投资者的噱头,这算不算是利用未成年人信息牟利,需要法院来判定。但是我个人认为它采取宣传的这种方式是极其不妥当的,应该旗帜鲜明地反对!”彭伶说,如果教育机构确实以这样的噱头对外宣传,用于商业牟利,建议相关部门及时介入调查。查清楚这些信息数据究竟是怎样收集来的,又是怎样保管的,采取了什么样的安全防护措施,措施的可靠性有多高,有没有专人负责等。必须要为孩子的隐私安全保护筑起一道高墙。

对此,有业内人士告诉未来网记者,许多从业者可能也没有注意到这个技术的背后的问题,所以就没有了界限。教育机构面临着伦理难题,可能也不是要故意侵犯谁的隐私,但是在技术发展的过程,确实存在巨大的风险,比如用人脸识别功能继而进行表情分析,或许能达到提高教学效率的效果,但却忽视了达成这个结果需要让渡孩子的隐私权,忽视了信息安全的风险。

“引进运用技术本身这个出发点是好事,但是教育企业看重的是营销力,不是从塑造学生人格角度出发,确实需要补上伦理这节课。”他告诉未来网记者,或许相关部门需要出台一些规定,给技术发展划清一条红线,让从业者有法可依,而不是游走在灰色地带。

在他看来,技术天然不具备道德性,它需要人来做规范,所以为什么克隆人一直是被限制的,如果按技术成熟度来说,可能很多技术是可以实现的,但为什么不能做?因为突破不了社会伦理道德和法律的底线。

“仅靠技术是不行的,技术需要根植在一个场景当中、在整个社会关系网中。这个网的组建,既需要我们约定俗成的一个共识,更需要有关部门的引导和规范。面部识别这个事是不是能有一个严格的规定,尤其是用在未成年人教育领域,哪些场景是可以用的,哪些产品是可以研发制造的。在技术的应用场景上给出规范,用一个这框架性的制度,把技术给框起来。 ”

未来网记者注意到,知乎网友在探讨此类问题时,昵称为“YU JIANG”网友的回答收获了许多点赞:一个较新鲜的尝试,需要各方面一起努力,规范各种行为,避免出现侵犯隐私的可能。行业主管部门要有相关的标准规范和法律手段;行业协会要制定相应的指导规范;企业自身要从技术上规避出现侵权的可能性,做好引导;而最关键的,使用者要有法律意识,明确侵犯别人的隐私权必将付出代价。

“有人叫喊的什么技术无罪,对也不对。技术中立没问题,但是推广技术的人不中立。”

本文转载自微信公众号“麻辣未闻”。文章为作者独立观点,不代表芥末堆立场,转载请联系原作者。

1、本文是 芥末堆网转载文章,原文:麻辣未闻
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章,只呈现有价值的内容给读者;
3、如果你也从事教育,并希望被芥末堆报道,请您 填写信息告诉我们。
来源:麻辣未闻
芥末堆商务合作:王老师 18710003484
  • 激辩“AI+教育”的无序狂奔:暴露在“人脸识别”下的孩子们分享二维码