借助机器学习,对垃圾信息说“不”
七夕将至,你是否收到过电商店铺推送的打折促销短信?平时是否经常收到理财、贷款、购房等信息?如果你是苹果用户,那你是否有过半夜收到iMessage推送赌场、假货、股票以及色情信息的经历?
商家给安卓用户推送广告信息需要通过移动、联通等运营商,运营商会拦截掉一些非法信息,而针对苹果用户,商家甚至不法分子则可利用iMessage渠道通过互联网直接向用户推送垃圾信息,目前苹果公司尚未采取有效的筛选、拦截等手段。
近日,苹果官方终于发声,表示正在探索更先进的机器学习模型识别,过滤垃圾信息。机器学习模型如何过滤垃圾信息?又面临哪些技术难点呢?科技日报记者采访了相关专家。
作为人工智能的核心技术,机器学习是计算机模拟人类思考方式的一种学习行为,它让计算机变得“聪明伶俐”。“基于机器学习的垃圾信息过滤技术实际上是一个二元分类过程,机器学习模型需回答‘是’或‘不是’,以便将垃圾文本从大量信息中分离出来。”北京语言大学大数据与语言教育研究所所长荀恩东教授在接受科技日报记者采访时说,“首先应准备人工标注的数据,进而构建机器学习参数化模型,最后对其训练、测试,直至模型应用,解决实际问题。”
“目前市场上识别垃圾邮件、短信的机器学习模型绝大部分采用的是针对文本显式特征的分析和提取。”荀恩东解释,所谓“显式”特征,是指垃圾信息的关键词、表达形式、特殊符号、异体字、敏感词语表达方式等“外在”特征。将这些多元、离散的特征元素汇总,便可构成显式特征列表,进而构建模型对垃圾信息进行甄别。
“这种分类方式效率较高、成本较低、所依赖数据较少,但也存在适应性差,识别精度不高等不足之处。”荀恩东指出,如果垃圾信息发送方掌握了用户拦截系统的显式特征列表,便可对垃圾信息的敏感词汇作出相应调整,变换表达形式,从而有效规避拦截系统。因此分类器需要实时动态更新显式特征列表,即便如此,该列表元素数量也十分有限,导致分类器过滤效果不佳,精确度不高。
基于显式特征的分类方式“先天不足”,苹果公司有可能将目光投向隐式特征分类,即深度学习模型。荀恩东表示,深度学习模型可对海量数据的信息进行深度挖掘,从信息的语义和内容上对垃圾信息进行甄别。也就是说,同样一条推销短信,深度学习模型基于庞大的数据库,可分析出它的多种表达方式,从而做出更加准确的判断,仅靠改变文字形式无法逃脱深度学习模型的“火眼金睛”。深度学习模型省去了前期建立大量显示特征列表的工作,只需标注垃圾、非垃圾信息即可,不仅效率提高,识别精度也得到很大提升。
基于深度学习的垃圾信息过滤技术目前也面临诸多技术难点。复旦大学计算机科学技术学院张军平教授表示,虽然有大数据支撑,深度学习模型在很多方面还是无法像人一样有效分析和理解信息中的内容。例如,个别汉字的顺序颠倒不一定能影响阅读,然而深度学习模型并没有人脑这样“聪明”。另外,组合爆炸问题也是难点之一。垃圾信息涉及领域广泛,形式变化多端,大数据深度学习模型可能对已有的垃圾信息有效分类,但面对新出现的垃圾信息可能就会“蒙圈”。
“这需要借助类似长短时记忆网络或更新的一些技术,对深度学习模型进行定期更新。” 张军平认为,还可以考虑自然语言处理中的一些句与句的关系,进一步完善深度学习算法,从而改善其预测、分类能力。
相关阅读
-
08-13
-
08-13
-
08-13
-
08-13
-
08-13
-
08-13
-
08-13
-
08-13
推荐阅读
-
中超海外版图再扩张 ESPN加入转播阵营
新华社北京8月12日电ESPN日前宣布,将在美国和巴西直播中超联赛,至2020赛季结束。在中超联赛媒体合作伙伴和信号制作方体奥动力与中超电视更多
2018-08-13 13:34:15
-
河北省建成并网280万千瓦光伏扶贫项目
“村里建起了扶贫光伏发电站,今后,俺家每年都能有3000元左右收入。”近日,拿到第一笔光伏扶贫项目收益后,魏县西野马村村民刘祥高兴地说更多
2018-08-13 13:34:15
-
威斯布鲁克:让孩子们享受篮球最重要
新华社北京8月12日电(记者郑直)美职篮(NBA)2016-2017赛季常规赛最有价值球员威斯布鲁克12日现身北京继续其今夏的中国行。这位俄克拉荷更多
2018-08-13 13:34:14
-
谭卓最新写真曝光 眼神坚定有力
近日,谭卓拍摄的某杂志写真曝光。照片中,一袭长裙搭配慵懒长发,在粉色庭院中自由穿梭,肆意浅笑;或一身浅色休闲西服,眼神坚定有力展露更多
2018-08-13 13:34:12
-
中俄亚马尔第二条生产线液化气首次装船
位于北极圈内的中俄亚马尔液化天然气(LNG)项目近日在俄罗斯亚马尔-涅涅茨自治区萨别塔港完成第二条生产线液化天然气的首次装船,装船量更多
2018-08-13 13:34:12
-
云南通海5.0级地震已致5人受伤部分民房受损
新华社昆明8月13日电 记者从云南省玉溪市通海县有关部门获悉,13日1时44分发生在通海县四街镇的5 0级地震已致当地5人受伤,部分民房受损。更多
2018-08-13 13:34:09
-
“帕克”奔日 探寻太阳风起何处
NASA帕克太阳探测器携带的部分仪器除了给予地球光和热外,太阳也以另一种方式影响着我们的地球。一种被称作“太阳风”的高速等离子体流时刻更多
2018-08-13 13:34:09
-
绿化黑色能源 中国技术为煤炭正名
煤炭作为一种传统能源,对人们生产和生活中的重要意义显而易见,但是在相当长时期,煤炭的开采和利用方式粗放,以至于一提起煤炭,很多人可更多
2018-08-13 13:34:07
-
今日必看
-
文化