(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 111639359 A(43)申请公布日 2020.09.08
(21)申请号 202010323133.8(22)申请日 2020.04.22
(71)申请人 中国科学院计算技术研究所
地址 100080 北京市海淀区中关村科学院
南路6号(72)发明人 曹娟 杨光 谢添 刘浩远
郭俊波 (74)专利代理机构 北京律诚同业知识产权代理
有限公司 11006
代理人 国(51)Int.Cl.
G06F 21/62(2013.01)G06F 16/9536(2019.01)G06N 3/04(2006.01)G06N 3/06(2006.01)
权利要求书2页 说明书3页 附图1页
G06N 3/08(2006.01)
CN 111639359 A(54)发明名称
一种用于社交网络图片隐私风险检测与预警的方法及系统(57)摘要
一种用于社交网络图片隐私风险检测与预警的方法，包括：步骤一：利用目标检测框架提取图片中关键元素并获得关键元素的信息；步骤二：收集图片隐私与否的数据集，对数据集中的每张图片进行步骤一的操作，然后在整个数据集上进行统计，得出在各类关键元素与隐私、公开图片的关联度，并依此来构建知识图谱；步骤三：利用神经网络提取图片整体、图片关键元素的特征，并利用步骤二中的知识图谱来构建图神经网络，用于融合图片整体、图片关键元素的特征，并得到图片的最终表达；以及步骤四：基于步骤三中图片的最终表达，利用神经网络预测图片的隐私风险。
CN 111639359 A
权 利 要 求 书
1/2页
1.一种用于社交网络图片隐私风险检测与预警的方法，其特征在于，包括：步骤一：利用目标检测框架提取图片中关键元素并获得关键元素的信息；步骤二：收集图片隐私与否的数据集，对数据集中的每张图片进行步骤一的操作，然后在整个数据集上进行统计，得出在各类关键元素与隐私、公开图片的关联度，并依此来构建知识图谱；
步骤三：利用神经网络提取图片整体、图片关键元素的特征，并利用步骤二中的知识图谱来构建图神经网络，用于融合图片整体、图片关键元素的特征，并得到图片的最终表达；以及
步骤四：基于步骤三中图片的最终表达，利用神经网络预测图片的隐私风险。2.如权利要求1所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述步骤一中的目标检测框架可以采用Faster-RCNN或者MASK-RCNN。
3.如权利要求1所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述步骤二中的数据集可以采用在保护图片隐私的社交平台上收集的图片数据集或者采用现有被标注隐私与否的图片数据集。
4.如权利要求3所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述在保护图片隐私的社交平台上收集的图片数据集以平台用户是否认为图片会泄露隐私的多数标注为判断依据，将图片分为隐私图片与公开图片两类。
5.如权利要求1所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述步骤二中的各类关键元素与隐私、公开图片的关联度用各种关键元素分别在隐私、公开图片中出现的频次来表征。
6.如权利要求1所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述步骤二中的知识图谱包含两类节点：
类别节点，分别代表隐私与公开两个类别；以及关键元素节点，数量等于关键元素的种类；其中，在两类节点之间建立连边，边的权重为关键元素与隐私/公开类别的关联度。7.如权利要求6所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述步骤三具体包括：
对一张图片，利用神经网络提取图片整体的特征，作为第一类的两个节点特征的初始化，对图片中包含的某类关键元素，裁切对应区域的特征，作为对应第二类节点的初始化；
所有节点初始化后，采用图神经网络融合类别节点包含的全局信息，与关键元素节点包含的局部信息；
对融合后的特征，为不同关键元素节点的特征赋予不同的权重，与融合后的全局特征拼接成图片的最终表达。
8.一种用于社交网络图片隐私风险检测与预警的系统，其特征在于，包括：图片元素提取模块：利用目标检测框架提取图片中关键元素并获得关键元素的信息；知识图谱构建模块：收集图片隐私与否的数据集，对数据集中的每张图片进行图片元素提取模块中的操作，然后在整个数据集上进行统计，得出在各类关键元素与隐私、公开图片的关联度，并依此来构建知识图谱；
图片信息融合模块：利用神经网络提取图片整体、图片关键元素的特征，并利用知识图
2
CN 111639359 A
权 利 要 求 书
2/2页
谱构建模块中的知识图谱来构建图神经网络，用于融合图片整体、图片关键元素的特征，并得到图片的最终表达；以及
隐私检测预警模块：基于图片信息融合模块中图片的最终表达，利用神经网络预测图片的隐私风险并进行预警。
9.如权利要求8所述的用于社交网络图片隐私风险检测与预警的系统，其特征在于，所述图片元素提取模块中的目标检测框架可以采用Faster-RCNN或者MASK-RCNN。
10.如权利要求8所述的用于社交网络图片隐私风险检测与预警的系统，其特征在于，所述图片信息融合模块中的数据集可以采用在保护图片隐私的社交平台上收集的图片数据集或者采用现有被标注隐私与否的图片数据集。
11.如权利要求10所述的用于社交网络图片隐私风险检测与预警的系统，其特征在于，所述在保护图片隐私的社交平台上收集的图片数据集以平台用户是否认为图片会泄露隐私的多数标注为判断依据，将图片分为隐私图片与公开图片两类。
12.如权利要求8所述的用于社交网络图片隐私风险检测与预警的系统，其特征在于，所述知识图谱构建模块中的各类关键元素与隐私、公开图片的关联度用各种关键元素分别在隐私、公开图片中出现的频次来表征。
13.如权利要求8所述的用于社交网络图片隐私风险检测与预警的系统，其特征在于，所述知识图谱构建模块中的知识图谱包含两类节点：
类别节点，分别代表隐私与公开两个类别；以及关键元素节点，数量等于关键元素的种类；其中，在两类节点之间建立连边，边的权重为关键元素与隐私/公开类别的关联度。14.如权利要求13所述的用于社交网络图片隐私风险检测与预警的方法，其特征在于，所述图片信息融合模块中的具体操作包括：
对一张图片，利用神经网络提取图片整体的特征，作为第一类的两个节点特征的初始化，对图片中包含的某类关键元素，裁切对应区域的特征，作为对应第二类节点的初始化；
所有节点初始化后，采用图神经网络融合类别节点包含的全局信息，与关键元素节点包含的局部信息；
对融合后的特征，为不同关键元素节点的特征赋予不同的权重，与融合后的全局特征拼接成图片的最终表达。
3
CN 111639359 A
说 明 书
1/3页
一种用于社交网络图片隐私风险检测与预警的方法及系统
技术领域
[0001]本发明涉及社交网络的隐私保护，特别涉及一种用于社交网络图片分享中的隐私风险检测与预警的方法及系统。
背景技术
[0002]随着移动互联网的普及，社交网络成为人们日常生活的一部分。智能手机、摄像头等设备，提供了方便获取图片的途径，因此大量图片被分享到社交网络中，用于分享人们的日常生活。2014年后，图片已经超过纯文本，成为社交网络中数量最多的一种分享形式，每天在Instagram和上分别有超过1亿和3亿的图片被上传。[0003]被分享的图片中含有大量的信息，很可能会泄露用户的隐私。不同于需要被思考并输入的文本内容，用户只需按下快门即可获得图片。因此，尽管社交网络提供商允许用户设置内容的可见范围以保护用户隐私，许多用户并没有意识到图片中的隐私风险。一项研究中，研究者向用户描述图片的内容，调查了用户对于图片的隐私设置的期望，结果表明用户的期望与这些图片实际的隐私设置状态之间存在差异。因此，需要一种有效的方法，能够推断用户分享图片中的隐私风险，识别出可能泄露隐私的图片并加以预警。[0004]已有的一些使用机器学习的方法，主要分为两类。第一类利用整张图片进行分类，给出隐私设置的建议。由于机器学习的难以解释的问题，这种方法给出的建议难以被用户理解，用户难以发觉到底是图片中的哪些区域更可能泄露隐私；另一类基于物体检测的方法，易于理解，但受限于预定义的物体类别，无法应对列表外物体导致的隐私泄露。发明内容
[0005]针对以上存在的问题，本发明提出一种用于社交网络图片隐私风险检测与预警的方法及系统，目的是对社交网络用户上传的图片进行隐私风险预测，并对高隐私风险图片进行预警，提醒用户谨慎上传。
[0006]本发明提供了一种用于社交网络图片隐私风险检测与预警的方法，其包括：步骤一：利用目标检测框架提取图片中关键元素并获得关键元素的信息；步骤二：收集图片隐私与否的数据集，对数据集中的每张图片进行步骤一的操作，然后在整个数据集上进行统计，得出在各类关键元素与隐私、公开图片的关联度，并依此来构建知识图谱；步骤三：利用神经网络提取图片整体、图片关键元素的特征，并利用步骤二中的知识图谱来构建图神经网络，用于融合图片整体、图片关键元素的特征，并得到图片的最终表达；以及步骤四：基于步骤三中图片的最终表达，利用神经网络预测图片的隐私风险。
[0007]本发明还提供了一种用于社交网络图片隐私风险检测与预警的系统，其包括：图片元素提取模块：利用目标检测框架提取图片中关键元素并获得关键元素的信息；知识图谱构建模块：收集图片隐私与否的数据集，对数据集中的每张图片进行图片元素提取模块中的操作，然后在整个数据集上进行统计，得出在各类关键元素与隐私、公开图片的关联度，并依此来构建知识图谱；图片信息融合模块：利用神经网络提取图片整体、图片关键元
4
CN 111639359 A
说 明 书
2/3页
素的特征，并利用知识图谱构建模块中的知识图谱来构建图神经网络，用于融合图片整体、图片关键元素的特征，并得到图片的最终表达；以及隐私检测预警模块：基于图片信息融合模块中图片的最终表达，利用神经网络预测图片的隐私风险并进行预警。[0008]本发明综合考虑图片中的关键元素及图片整体，利用构建的知识图谱进行融合信息，从而得到图片的隐私风险，并对高隐私风险的图片加以预警，提醒用户谨慎上传。[0009]以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。附图说明
[0010]图1为本发明的用于社交网络图片隐私风险检测与预警的方法的流程示意图。具体实施方式
[0011]下面结合附图对本发明的结构原理和工作原理作具体的描述：[0012]第一步、基于目标检测的关键元素提取。[0013]为得到图片中关键元素的位置、类别信息，借助成熟的目标检测框架，如Faster-RCNN、MASK-RCNN等进行提取，当然还有其他的目标检测框架，本发明不以此为限。因此获得的关键元素即为目标检测框架所能检测到的所有类别。[0014]第二步、基于关键元素的知识图谱构建。
[0015]在要保护图片隐私的社交网络平台上收集社交网络图片的数据集，用于获得用户是否认为图片会泄露隐私的标签，多人标注并取多数人的意见作为图片的最终标注，并依此为据，将数据集的图片分为隐私图片、公开图片两个类别。若社交网络平台上的图片数据集难以获得，也可利用之前研究公开的其他标注过的图片隐私数据集作为替代方案。[0016]获得数据集后，对每张图片进行第一步中的操作，提取每张图片上的关键元素并获取关键元素的信息。关键元素及其信息提取完成后，在整个图片数据集上进行统计，目的是得到各种关键元素分别在隐私图片、公开图片两类中所出现的频次，然后分别用各自类别下图片的数量归一化，并以此作为每种关键元素与隐私、公开两个类别的关联强弱。[0017]构建知识图谱，图中包含两类节点：第一类的两个节点，分别代表隐私与公开两个类别，故为类别节点；第二类的节点，数量等于关键元素的种类，故为关键元素节点。在类别节点与关键元素两类节点之间建立连边，边的权重则为关键元素与隐私、公开两个类别的关联强弱。
[0018]第三步、基于图神经网络的全局信息与关键元素信息融合。[0019]对一张图片，利用神经网络提取图片整体的特征，作为第一类的两个节点特征的初始化，即隐私与公开。若图片中包含某类关键元素，则裁切该类关键元素对应区域的特征，作为对应第二类节点，即关键元素节点的初始化。其余未初始化的节点特征置零。[0020]所有节点初始化后，使用图神经网络将类别节点包含的全局信息与关键元素节点包含的局部信息进行融合。最后，对融合后的特征，为不同关键元素节点的特征赋予不同的权重，与融合后的全局特征拼接成图片的最终表达。[0021]第四步、基于融合信息的图片隐私风险推断。[0022]基于第三步得到的图片的最终表达，利用神经网络预测图片的隐私风险并进行预警。
5
CN 111639359 A[0023]
说 明 书
3/3页
上述模型基于收集的数据集训练，得到可以被应用于实际的模型。在用户上传图
片后，利用该模型进行预测，当模型预测的隐私风险较高时，标示检测出的关键元素，提醒用户谨慎分享，留意可能泄露隐私的关键元素，从而减少社交网络图片分享的隐私风险。[0024]当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
6
CN 111639359 A
说 明 书 附 图
1/1页
图1
7
