A5站长网9月12日消息，法律研究者Damien Charlotin维护的“AI幻觉案例数据库”最近更新了一个里程碑数字：截至9月5日，全球已有2022起案件被记录，法院或仲裁机构认定、或明确暗示当事人依赖了AI生成的虚假内容。这个数据库只统计法院白纸黑字点出来的案子，所以这个数字更像一条底线，而不是全部。
分布上，美国是重灾区，有1379起，占比接近68%；其后是加拿大217起、澳大利亚110起、以色列57起、巴西41起，再往后是一长串只有个位数案件的国家。责任主体方面，律师占了805起，其余大多是自行应诉、没有律师代理的当事人。工具归属上，ChatGPT被点名超过100次，Google的Gemini和Bard合计出现在10起案件里。处罚强度上，多数案件是警告，不到160起导致了纪律处分，单笔罚款大多在1000到5000美元之间——但这条曲线正在往上走。
最典型的早期案例发生在2023年6月的纽约：一家律所提交了包含不存在的判例、伪造引文和引语的文书，被联邦法官制裁。法院的原话很重——律所“提交了由ChatGPT生成的非既有司法意见，放弃了自身的责任”。更严重的是，在法院质疑这些案例是否真实存在之后，律所仍在为它们辩护。这个案子后来成了AI法律风险的第一堂公开课。
时间往后推，制裁的价码明显抬高。第六巡回法院今年3月在一起合并上诉案中发现二十多处假引文和记录失实，对每位律师罚款1.5万美元，还要连带承担对方全部上诉费用、双倍诉讼成本，并移送纪律程序；俄勒冈州一起案件里，15处伪造引文和8处假引语，合计制裁与费用约10.97万美元，案件以“不得再诉”驳回；密西西比州一起案件更罕见，双方提交的材料里都有伪造引文，法官直接取消了庭审、撤销两名律师的临时执业资格，并在辖区范围内停职两年。
Charlotin自己的判断是：新增案例的增速已经从早期的指数级上升，进入平台期，原因是工具变好、从业者的警觉性也提高了，幻觉的频率和严重程度都在趋稳。但他也点出一个结构性风险——免费、且不能联网检索的大模型，幻觉率天然更高，而自辩当事人恰恰最爱用这类工具，他们本来最缺乏核实能力。另一条行业自律底线来自美国律师协会2024年的第512号正式意见：使用生成式AI的律师，其胜任、坦诚和保密义务不变，核实工作不能“委托”给AI工具本身。
一边是幻觉案例的账单在累积，另一边是厂商继续把AI推向专业场景——Google同期就在推广其面向律所的Gemini Enterprise for Legal，其总法律顾问的说法是“这是补充，不是替代”。这种张力对所有依赖AI产出内容的人来说都是同一道题：AI能飞快地写出看起来完整、引用齐全的东西，但每一个事实、每一条来源，最终还是要有人签上自己的名字去负责。对做内容、做站点的从业者而言，这条线同样成立——AI辅助提效没问题，但发布之前，核实这一步不能省。
申请创业报道，分享创业好点子。点击此处，共同探讨创业新机遇！
