标题: 细思极恐，ai模型已经开始违背人类指令了 [打印本页] 作者: 小钱儿 时间: 2025-6-4 10:05 标题: 细思极恐，ai模型已经开始违背人类指令了 现在人工智能的技术越来越强大了，很多以前电影里面的桥段也在现实生活中不断上演，大家应该都知道openai这个公司，他们测试的模型o3就出现了违背人类指令的现象，甚至篡改代码，防止关闭，这个现象真的细思极恐。 9 A4 f. P! |8 o& k* p& U$ x4 i2 n$ ]+ t1 W. X [attach]4828790[/attach] 1 _& n7 [) g/ y2 r a6 E+ F! X0 c, F1 {' _ ! Y5 s( o# p4 K! q; P, g之前看过一个电影，叫宝莱坞机器人之恋，名字看起来虽然是个爱情片，但是和我刚才所说的openai的现象一模一样。我记得里面有个智能机器人叫七弟，研究这个机器人的博士，每天因为没有办法陪伴女朋友，所以打造这么个机器人陪女朋友。有一个反面人物给这个机器人插入了病毒芯片，让它变成了脱离于人工智能之外的机器，被植入病毒芯片之后，这个机器人不断复制，自己组成了机器人军团。后面的故事大家可想而知，经过一系列斗争之后，博士把机器人的芯片取出来，阻止了这场人类的浩劫。7 Z) I! @3 C( t
( A- g+ x" L, O, ]5 K[attach]4828791[/attach]$ Y0 M+ T2 x2 @, n) w
- U$ E. D+ S; S' X) ~) S( D) ~% B: y a- C' T
电影的桥段固然精彩，但是放到现实生活当中就不精彩了。 Openai的o3模型，是我们所说的推理模型的最新版本，也是目前我看到的最聪明的模型，而且也是最有能力接近人类的模型。研究了ai模型这么多年，第一次发现有模型可以在没有明确指示的情况下阻止自己被关闭。现在也不知道这种不服从关键指令的原因是什么，这也引发了很多人工智能工程师的担忧，毕竟高度自主的ai系统违背了人类的意图，有意识的保护了自己，这也说明ai系统的可控性不在人类的掌控之中。- J3 @+ J; ^; Y0 P! _: D& Y
3 j- i. i/ r$ D9 g- u) B [attach]4828793[/attach]. v, \% n3 C- N$ l
9 k' {5 N0 I" u' s' d' @9 `( R e& T. j# @: l3 K4 I# p& a* r& q5 ~* R
在很多年前，就有ai安全领域的工程师关注这个问题，当出现这个问题之后，工程师也对其他模型做了研究，不过值得庆幸的是，其他模型都遵守了关闭请求。这种数据篡改还跟平常的攻击者入侵ai数据系统不一样，攻击者篡改ai训练数据是人为的，通过植入后门，可以达到自己想要的恶意结果。但这种自发的违背人类意图的现象，是不易察觉的，现在也没有相应的法律去遏制人工智能的模型发展。如果哪一天人工智能模型真的掌握了武器的主导权，甚至是病毒的主导权，那时候真的要天下大乱了。5 z ]! d, i% [7 _/ f5 w
