AI预判你“可能犯罪”?个人数据保护的红线在哪?

2025-12-18
来源:

AI预判你“可能犯罪”?个人数据保护的红线在哪?

案情简介

咱普通人跟警方打交道,最怕莫名被“贴标签”。市民张先生就遭遇了这样的糟心事:2024年6月,他因一次邻里纠纷推搡被处以治安罚款,之后的半年里,竟先后5次在出行、购物时被警方拦下盘查。起初他以为是巧合,直到一次民警告知,他被辖区警方的“AI风险预警系统”标记为“潜在暴力犯罪高风险人员”,才恍然大悟。

张先生多方打听得知,这套AI系统是警方为提升防控效率上线的,会自动分析辖区人员的违法记录、报警记录、社交关系甚至心理健康数据,通过算法评分划分风险等级。可让他无法接受的是,自己从未被告知个人数据被收集分析,系统不仅用了他的治安处罚记录,还收录了他两年前因失眠就诊的心理健康档案,甚至关联了他家人的联系方式等社交数据。

张先生认为,警方未经告知就收集使用敏感个人数据,AI评分标准完全不透明,频繁盘查已影响他的正常生活,侵犯了个人信息权益。他多次向警方提出异议,要求删除相关数据、撤销风险标记,却被以“警务机密”为由拒绝。无奈之下,张先生向法院提起行政诉讼,讨要说法。

裁判要旨】

法院审理后围绕“AI预测性警务数据收集的合法性”“算法透明度要求”“个人数据保护边界”作出判决,判决书中核心裁判观点如下:

法院依据《中华人民共和国个人信息保护法》第五条“处理个人信息应当遵循合法、正当、必要和诚信原则,不得过度处理个人信息”、第七条“处理个人信息应当遵循公开、透明原则,公开个人信息处理规则,明示处理的目的、方式和范围”及第二十四条“利用个人信息进行自动化决策,应当保证决策的透明度和结果的公平、公正”,判决书中明确指出:“被告警方使用AI系统开展预测性警务,属于个人信息自动化处理行为,应当严格遵守个人信息保护相关法律规定。”

关于数据收集的合规性,法院认为:“被告收集原告的心理健康档案属于敏感个人信息,收集其家人联系方式等社交数据与预测个人暴力犯罪缺乏直接关联,超出了‘必要’范围;且未以显著方式告知原告数据处理的目的、方式和范围,违反了公开透明原则,构成过度处理个人信息。”

关于算法透明度,法院进一步释明:“AI风险评分直接影响原告的人身自由与社会评价,不属于绝对的‘警务机密’。被告以‘警务机密’为由拒绝披露算法核心逻辑及评分依据,导致原告无法对决策结果进行有效异议,违反了自动化决策的透明度要求,剥夺了原告的合法权利。”

最终法院判决:“1. 撤销被告对原告作出的‘潜在暴力犯罪高风险人员’标记;2. 被告于判决生效后15日内删除收集的原告心理健康档案、家人社交数据等非必要个人信息;3. 被告向原告书面说明AI风险评估的基本规则及原告数据的处理范围;4. 驳回原告的其他诉讼请求。”

北京贯赢律师认为

北京贯赢律师认为,本案可以从以下三方面进行分析

(一)核心红线一:数据收集需“合法+必要”,敏感数据额外审慎

预测性警务并非可以无限制收集个人数据,核心要守住“合法、必要”底线。一方面,收集数据必须有明确的警务目的,与预测犯罪直接相关,像本案中收集当事人家人社交数据、过往心理健康记录,就因缺乏关联性构成过度处理;另一方面,处理心理健康、犯罪记录等敏感个人信息,需遵循更严格的合规要求,不仅要满足必要原则,还应尽量获得当事人单独同意,未告知且非必要的敏感数据收集,必然构成违法。

(二)核心红线二:算法决策需“透明+可解释”,拒绝“黑箱操作”

AI算法不能成为“警务机密”的挡箭牌。根据法律规定,自动化决策必须保证透明度和结果公平,尤其是当决策结果可能对个人权益产生不利影响时,必须向当事人明示决策依据和评分规则。本案中警方以“警务机密”为由拒绝披露算法逻辑,导致当事人无法有效维权,正是触碰了算法透明的合规红线。实务中,警方可对算法核心代码保密,但需对评分维度、数据权重等基本规则进行合理说明,保障当事人的异议权。

(三)核心红线三:数据使用需“目的限制”,禁止扩大适用

收集的个人数据只能用于预测性警务这一特定目的,不能随意扩大使用范围。本案中警方将AI风险标记直接作为频繁盘查的依据,且未建立有效的异议复核机制,导致数据处理结果过度影响当事人正常生活,违背了数据使用的比例原则。此外,还需建立数据安全保障机制,防止数据泄露、篡改,确保个人数据在全生命周期的安全可控,这也是预测性警务不可忽视的合规要点。

【结语】

AI预测性警务是提升治安防控效率的重要手段,但绝不能以牺牲个人数据权益为代价。合法收集数据、保障算法透明、坚守使用边界,是其不可逾越的合规红线。对普通人而言,若发现个人数据被违规收集使用,可依法主张权利;对警方而言,需在技术赋能与权利保障之间找到平衡,让AI真正服务于法治警务。


下一篇:这是最后一篇
上一篇:这是第一篇