知乎

AI时代，那些藏在安全背后的数学理论_我的网站

一 |     该图片使用了AI生成技术          本文来自微信公众号： HavenlonLabs ，作者：Havenlon Labs          当AI还只是生成文字、图片和代码时，一次出错不过是回答不准、图片跑偏、代码返工。但当AI开始能发邮件、改数据库、批订单、调资金、控制设备，它就从"回答问题的模型"变成了"把判断变成现实的执行系统"。          　　8月的华山，山色葱茏，湖水潋滟。     　　沿着小清河北路东行，济南医院迁建项目已初具规模，道路铺设和景观绿化基本完成，一座现代化三级综合医院正拔地而起，预计9月前后投入使用。     　　2026进程过半，在历城区委、区人民政府的坚强领导下，华山街道全体干部以时不我待的干劲抢抓机遇，以只争朝夕的拼劲攻坚克难，以奋勇争先的闯劲砥砺前行，在基层党建、经济发展、城市治理、民生福祉等领域全面发力，推动街道工作高质量发展。

二 | 　　举旗定向铸魂 夯实基层战斗堡垒      　　每周三上午，卧牛管理区的党员活动室里都会传出讨论声。这个月的“广场微课堂”，讨论的是小区电动车充电桩建设问题。老党员刘大爷刚发完言，年轻党员小赵就接过话头：“咱不能光说问题，得拿方案。         这中间的差别不是量的，而是质的。我联系了供电公司，人家说可以来现场看线路。前者的错误可以被撤销、重来、修补；后者的错误会沉淀成一笔转账、一条删除的记录、一个已经合上的电闸。”      　　这样的场景，今年已经在华山街道的各个村(社区)不断上演。一旦落地，很多结果没有"再生成一次"的选项。         我们却仍习惯用同一套指标给这两类系统打分——正确率99%、99.9%、99.99%，每多一个9，仿佛就离"可信"更近一步。     　　社区党课，如何让党员“坐得住、听得进”?华山街道“华彩学堂”从文件上搬到了社区，课堂上的老师是从一线摸爬滚打出来的社区党组织书记、派出所民警、资深调解员。但安全领域最容易被忽略的一句话是：          正确率描述系统通常表现如何，却没告诉你它最坏能错到哪里。课程表上写着：“楼栋里的邻里纠纷怎么劝”“应急状态下如何组织群众”——全是“干货”。         下面七个数学视角，藏着AI执行安全真正的分水岭。它们不复杂，用的都是中学数学，却常常在最关键的决策上被绕过去。

三 |          1.正确率把所有错误压成了同一个数字          一个系统执行一万次，9999次对、1次错，正确率99.99%。

四 | 报表上堪称优秀。

五 |      　　在华山街道，党建犹如一盏明灯，引领着高质量发展的脚步稳健前行。但那一次错是什么？错分一封邮件，几乎无害；误删生产数据、批一笔无法追回的转账、启动高风险设备操作，评价则完全不同。         问题在于，正确率只数次数。统计表里，分错邮件是"1"，转错巨款也是"1"。可现实中的错误从不等价。         衡量安全，更接近现实的是"风险等于概率乘以损失"这条基本公式：          风险=发生概率×可能损失          一个错误很少发生，不代表它不重要。

六 |      　　今年以来，华山街道对照“六有”标准升级“华彩学堂”街道党校主阵地建设，形成全域覆盖、互联互通的教育阵地体系。建强专兼结合师资库，储备优质师资30余名，打造的特色学习教育平台——“双讲课堂”，常态化举办基层治理、舆情处置、应急能力等课程10余场，切实把学习成效转化为基层治理提质增效的强大动力。

七 |      　　紧扣街道“项目赋能年”工作主线，落地开门教育、民生实事两套方案，街道聚力积水治理、绿化提升、供水改造等五项民生工程;开展“红色教育基地参观学习”“党员志愿服务”等特色活动150余场。假设某类事故概率只有万分之一，每次却损失一亿元，把它代入公式，风险依然是一万元，不能被当作"几乎为零"随手抹掉。     　　与此同时，依托华山国际广场、青桥科创大厦等重点楼宇，创新打造特色楼宇党建阵地，将党建工作与企业经营管理、文化建设等紧密结合，凝聚辖区新兴领域党组织、社会组织及党员志愿者等力量，激活楼宇发展新动能。

八 |      　　今年上半年，在上级统一部署和精心指导下,华山街道圆满完成各村(社区)“两委”换届。围绕理论武装、党性修养、实务赋能“三堂课”的新一届村(社区)“两委”成员专题培训班也随之紧锣密鼓地展开，5场培训紧扣工作难点，邀请专家讲师、优秀社区骨干授课，内容覆盖治理、经济等关键领域，干货满满，着力打造高素质专业化骨干队伍。         更麻烦的是，这类损失往往不能用平均值消化。企业也许能承受每年稳定损失一万元，却未必扛得住某天突然损失一亿。

九 | 　　聚力提质增效 激活经济发展引擎      　　翻开华山街道上半年的经济报表，有几个数字很显眼：8家资质以内建筑业企业完成产值80.66亿元，同比增长16.7%;固定资产投资49.81亿元，同比增长60.2%;建安投资12.48亿元，增长28.5%……      　　但街道经济部门工作人员们更在意的，是另一组数：走访企业500多次，收集问题20个，解决了18个……      　　工地上的数字，是跑出来的。前者是可以摊进预算的成本，后者可能直接决定企业还在不在。     　　今年上半年，华山街道不断完善《华山街道副处级以上领导干部包挂企业项目实施方案》，组建企业服务团队，建立“一对一”精准对接机制。累计走访对接服务企业500余次，收集企业问题20个，已协调解决18个，问题解决率达90%。累计完成14栋商务楼宇、1个产业园区共5886家企业的排查工作。

十 |      　　盛夏时节的华山街道，实干奋进的建设热浪扑面而来。数学上的期望值假设你能反复经历很多次、让好运和坏运相互抵消；但对一家公司来说，最坏的那一次如果足够坏，就没有"下一次"来平摊了。重点项目现场，机械不断轰鸣，工人步履匆匆。这一片片工地的背后，正孕育着现代华山的全新动力。     　　“我们不止在赶进度，还是在全力拼抢每一个节点，让产业集群快速壮大。

十一 | 安全评估要看的，从来不只是期望值，还有那条最坏情况的尾巴有多长。         智能系统追求提高做对的比例，安全系统关心限制做错的代价。         2.一万次没出事，不等于风险为零          另一种常见说法是："系统跑了一万次，从没出严重问题。”华山街道相关负责人表示。"很有说服力，但它只证明过去一万次没出事，证明不了概率为零。

十二 |          用"一次都不出事的概率"这个公式可以算笔账：          一次都不出事的概率=(1−p)^n          其中p是单次事故概率，n是测试次数。

十三 |      　　在济南华山片区光华大道以西、济华路以北的已封顶建筑群中，“齐州老街”的字样相当亮眼，该项目以华山历史文化为内核，打造集民俗体验、文化展示、休闲消费于一体的低密度商业街区，项目建成后，将串联商业、文化、休闲功能，形成“逛、赏、玩、住”一体化的沉浸式体验动线，赋能片区“文旅商”产业生态新愿景。

十四 | 若p是十万分之一、n是一万，代入后约等于90%。也就是说，即便系统真藏着十万分之一的风险，跑一万次仍有约九成可能什么都看不见。

十五 |      　　项目稳步推进的背后，是历城区、华山街道相关部门科室紧盯一线，压实项目服务保障，把要素供应、协调服务做得更细更实。     　　今年以来，华山街道梳理辖区21个项目，总投资205.8亿元。它未必通过了考验，只是还没遇到那道考题。         这也是很多重大事故发生前，系统长期"稳定运行"的原因：风险不是在事故当天才诞生的，它可能一直存在，只是过去的样本还没触发它。每一个项目背后，都有一张“一对一”的服务清单。         没观察到风险是一种观测结果，风险不存在是一个强得多的结论。         3.越罕见的事故，代价往往越大          频繁的小问题容易被看见：页面每天卡十次，用户会投诉，报表会记录，问题越频繁越容易进入工作计划。用电增容、临时道路、渣土外运……济南医院迁建、全民综合体育健身设施等重点项目推进过程中的每一项任务都有人认领，有人盯着办，有人回访，早竣工、早投产、早达效成为奋进目标。真正危险的风险常常相反——几年一遇，甚至一家公司整个周期都没发生过，可一旦发生，一次抵得上所有日常小错之和。         同样用"概率乘以损失"对比两类问题：          问题A：概率1%×损失100元=平均风险1元问题B：概率0.001%×损失1000万元=平均风险100元          A更常见，B几乎看不见，但B的平均风险是A的一百倍。而且B一旦发生，带来的不是"平均100元"，是实打实的1000万。         错误也从不均匀分布。

十六 | 假设系统每年十万次任务，99%是普通操作（错误率0.01%），1%是紧急操作（错误率5%）：普通操作约出10次错，紧急操作只有一千次却出约50次错。　　匠心精管善治 绘就华山宜居画卷      　　“我不坐电梯，凭什么出钱?”今年年初，翡翠清河社区加装电梯议事协调会上，居民张阿姨拍着桌子，声音盖过了所有人的争论。采光、噪音、房价——低层住户的担忧一股脑砸向社区工作人员，首次协调会不欢而散。     　　转机来自一位乘凉老人。

十七 | 整体正确率仍高达99.94%，可占业务量1%的紧急操作，制造了超过80%的错误。

十八 | 他看到工作人员手中的入户名单，认出老同事张阿姨，便主动请缨当“引路人”。

十九 | 老同事一聊，气氛缓和，政策讲解也变得顺畅。     　　受此启发，社区创新思路，成立“电梯加装议事会”，发动小区内退休老职工、党员骨干担任“传声筒”。入户不再是生硬宣讲，而是带着家常温度听诉求、解难题。         这就像一条平均一米深的河，大部分地方半米，中间却有个五米深的坑。平均值没撒谎，它只是把最危险的部分藏了起来。最终，张阿姨红着眼说：“老大哥都这么说了，都是老邻居，互相体谅吧。修堤坝的工程师从不按河流的平均水位设计，决定堤坝高度的，永远是几十年甚至百年一遇的极端水位。AI执行系统也一样：普通任务里的小错决定用户体验，极端场景里的一次错却可能决定企业还能不能继续存在。

| ”从“吵翻天”到“坐下来谈”，在华山街道，各社区创新思路精管善治，为基层治理注入新活力。     　　民之所倚，政之所向。     　　华山街道始终坚持以人民为中心的发展思想，把为民造福作为一切工作的出发点和落脚点，牢固树立和践行正确政绩观，持续增进民生福祉，让人民群众生活质量更高、成色更足。     　　今年以来，华山街道全域开展沉浸式新时代文明实践活动130余场，覆盖居民6000余人次;暑假期间开设7处公益托管课堂;先行先试高标准推进全区唯一“专业社工+志愿服务”片区组团融合试点，孵化“家在华山·爱在城郡”“锦家有喜”等一批特色品牌……华山脚下，故事还在继续。         所以安全评估不能只问"平均错误率是多少"，还要追问：高金额操作、紧急模式、陌生地址、跨境转账、权限恢复、数据缺失、多规则冲突时，错误率各是多少。     　　傍晚时分，华山湖边的步道上，散步的人多了起来。远处工地的塔吊还在转动，近处小广场上，一场“三句半”移风易俗宣传正演得热闹。城市最真实的脉搏，在每一个基层干部的奔走中，在每一条被接听的热线里，在每一处从图纸变成实景的工地上。     　　征途漫漫，惟奋斗者进;重任在肩，惟实干者强。

| 总体表现优秀，证明不了每一个局部场景都安全。         事故不会公平落在每一次操作上，它总聚集在系统最难处理、后果最严重的角落。接下来，华山街道将锚定目标不松劲，以更加昂扬的斗志、更加务实的作风、更加过硬的举措，全力推动各项工作争先进位、提质增效，为建设省会社会主义现代化强区贡献更大力量。         4.三个人同意，可能只是同一个错误重复了三次          为降低个人误判，企业惯用多人审批。逻辑没错，但前提是判断足够独立。         用"多数表决下至少两人同时出错的概率"来看：三个独立审批者各有10%错误率、多数通过，至少两人同错的概率约2.8%，远低于单人的10%。这正是多人决策能提高可靠性的数学基础。         可现实中的审批往往不独立：三个人看同一份摘要、依赖同一个AI风险评分、引用同一个数据库。若系统自动生成的摘要写着"常规数据库优化，预计无业务影响"，三位负责人看的都是这句话，都没查实际命令，于是都点了同意。流程上是三人共审，信息结构上只是同一份错误摘要被确认了三次。

| 人数增加了，独立信息却没有增加。         增加审批层同理。第二道防线是否有价值，取决于它能否在第一道失败后发现新问题。用"剩余风险等于漏检率乘以未识别比例"估算：          第一道漏检5%，第二道独立且识别80%→剩余风险=5%×(1−80%)=1%第二道只看同一份摘要、仅识别5%→剩余风险=5%×(1−5%)=4.75%          同样两层流程，前者把风险降到1%，后者几乎原地踏步。

| 组织付出了更多时间、生成了更多日志，真实安全能力却没变。

| 审批的价值不在页面上多了一个名字，而在于它是否带来新的事实、新的验证方式和新的拒绝能力。         真正降低风险的，不是多一个人点击，而是多一个独立的信息来源。         5.AI的"90%确定"，不是现实中的90%安全          当AI说"我有90%把握"，人们容易听成"这件事90%安全"。但置信度只是模型对自身判断的评分，不是现实开出的担保书。一个校准良好的模型，给90%置信度的判断里约九成正确；可现实中的模型可能给90%时实际只对70%，甚至在从没见过的场景里依旧自信。模型最危险的状态，不是承认不知道，而是不知道自己不知道。         即便置信度完全准确，它也只覆盖模型看到的那部分。真实执行还依赖输入是否真实、数据是否完整、审批是否被误导、策略是否过期、设备是否正常。用"串联系统整体可靠度等于各环节可靠度相乘"这条公式来看，假设一条链五个环节各99%可靠：          整体可靠度=99%×99%×99%×99%×99%≈95.1%          每一环单看都优秀，组合后只剩约95.1%。不是哪一环突然变差，而是串联结构会把每一环的不确定性乘在一起、层层累积。环节越多，这种衰减越明显——十个99%的环节串起来，整体可靠度就跌到约90%。这也解释了一个反直觉的现象：把系统拆得越细、加的检查越多，如果这些环节是串联的、必须全部正确，整条链反而更脆弱。         模型可以有90%的把握，但"模型有多少把握"和"这项操作能否被安全执行"，始终是两个不同的问题。         置信度是模型对自己的评价，不是现实对模型的承诺。

|          6.为什么最后一道边界反而应该更"笨"          如果正确率覆盖不了严重后果、历史数据证明不了零风险、多人审批可能共享同一错误、模型置信度也代表不了全链路安全，那现实执行最终该靠什么？          答案有点反直觉：最后一道边界不需要比AI更聪明，它应该更简单、更保守。         AI要理解复杂世界——读文件、判意图、处理例外、在不完整信息里给出最可能的答案。

| 最后一道边界不需要理解世界，它只需记住少数绝不能被突破的条件。用一个"所有条件相乘"的判定公式表达：          执行=A×T×W×Q×S其中：金额未超限A、目标在允许范围T、时间在许可窗口W、授权人数达标Q、设备状态正常S（每项满足记1，不满足记0）          任何一项为0，结果就是0，即拒绝执行。它不懂"情况紧急"，不会被一个充分的理由或一段宏大叙事说服，只检查条件是否满足——这正是它的价值。越聪明、越灵活的系统，越擅长为例外找理由；而最后一道边界要做的，恰恰不是理解例外，而是拒绝例外。         AI可以建议向一个新地址转移资产，边界只需检查这个地址是否经过必要的等待与验证；AI可以判断某项操作非常紧急，边界只需检查紧急状态下是否仍满足金额、授权和设备条件。

| AI负责处理开放世界的复杂性，边界负责守住封闭世界的底线。         AI需要理解整个世界，边界只需要记住哪些事情绝不能发生。         7.从"提高正确率"到"限制错误的距离"          过去的软件主要追求效率：更快、更准、更自动，就意味着更高的生产力。AI时代没有改变这一点，却增加了一个新问题——当一个概率系统拥有了现实执行能力，错误就不再停留在屏幕上。

| 一句错话可以重说，一笔完成的转账可能无法撤回；一个错误建议可以修改，一次已经发生的物理动作却没有第二次机会。         所以AI安全不能只问"怎样让模型少犯错"。模型该更准、数据该更可靠、测试该更全面、审批该更有效，但这些主要解决的仍是"降低出错概率"。执行安全还必须回答另一个问题：一旦错误真的发生，它能走多远？能否越过审批、拿到签名、改动关键系统，把一个概率性的判断直接变成不可逆的现实？          这两件事都重要，但不是同一件事。前者是把出错的概率往下压，后者是给已经发生的错误装上刹车和护栏，限制它能造成多大的破坏。一个只优化正确率的系统，是在赌坏事永远不发生；一个真正安全的系统，是在假设坏事迟早会发生的前提下，仍然让后果可控、可撤回、可承受。

|          成熟的系统不会把希望全押在错误永不出现。它承认模型会误判、数据会污染、人会疲劳、审批会被诱导、规则会过期、设备会异常，然后在所有不确定性之后，仍保留一道简单、清晰、独立、能够说"不"的边界。

| 这道边界不追求聪明，只追求可靠；它不参与判断该不该做，只负责守住绝对不能做的那条线。         统计学研究不确定性如何出现，安全工程研究的，是不确定性抵达现实之前如何被拦住。最终，我们需要记住的也许只有一句话：          概率可以参与判断，但不能独自拥有执行权。         本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。

| 如对本稿件有异议或投诉，请联系 [email protected]。

|

Current article:http://2arb1x.panningbuquanchencaibingzhang.cyou/list_3wh/ao5z.html

Published on:08:59:01