我们以为伟大的AI带来了熵增,实际上是熵减

AI 刚刚大规模进入我们的生活时,我曾经有一种非常强烈的感觉: 世界的熵正在急剧增加。 以前写一篇文章需要几个小时,现在几十秒就能生成;以前做一张插画需要数年绘画训练,现在只需要输入几句话;程序、音乐、视频、PPT、广告文案、商业计划书,甚至人与人之间的聊天,都开始被机器以极低的成本批量生产。 互联网上的内容以前已经够多了,而生成式 AI 又像打开了一根无限供水的消防栓。 按照直觉,这应该是一个极端的“熵增时代”。 信息越来越多,组合越来越多,可能性越来越多,世界越来越混乱。 可当我真正长期使用 AI 之后,我越来越觉得事情可能恰恰相反。 AI 最深远的作用,也许不是熵增,而是熵减。 当然,这里的“熵”不是严格意义上的热力学熵,而是一种借用:我想描述的是一个系统中不确定性、差异性以及可能状态的数量。 而 AI 正在以前所未有的速度,把这些可能性收束起来。 一、内容变多了,可能性却未必变多 这是一个很反直觉的现象。 假设过去有 1000 个人要写一篇文章。 其中有人写得很好,有人语法混乱;有人喜欢长句,有人一句话只有几个字;有人逻辑严谨,有人思维跳跃;有人引用尼采,有人突然讲起小时候村口的那棵树。 这些文章可能很粗糙,但它们拥有极其巨大的差异。 现在还是这 1000 个人,但其中 800 个人在写完之后,对 AI 说: 帮我润色一下,让表达更专业、更有逻辑。 于是 AI 开始工作。 它删除重复内容,补足逻辑链条,调整段落结构,把“不太合适”的词换掉,把口语变成书面语,把奇怪的表达变得自然。 每一篇文章似乎都变好了。 可是如果把这 800 篇文章放在一起看,你可能慢慢会发现一种奇怪的味道。 它们开始变得很像。 “首先……” “其次……” “值得注意的是……” “从本质上来说……” “这不仅仅是……更是……” 每一篇都更加正确,每一篇也更加平滑。 噪声减少了,意外也减少了。 于是一个有趣的事情发生了: 内容数量增加了,但内容空间可能正在缩小。 这正是我所说的“熵减”。 二、AI 的本质,就是寻找高概率答案 仔细想想,其实这一点并不奇怪。 今天的大语言模型,本质上是在巨量人类文本中学习一种东西: 什么样的内容,在什么样的上下文中最可能出现。 当我输入: 帮我写一封正式的辞职信。 AI 不会从人类所有可能的语言组合中随机挑选一种。 恰恰相反。 它会向那些概率最高、最合理、最符合人类经验的表达靠拢。 “感谢公司一直以来的培养。” “经过慎重考虑。” “因个人职业发展原因。” 这些句子之所以经常出现,不是偶然的。 因为它们就是这个语境中的高概率区域。 AI 极其擅长找到这种区域。 ...

2026-09-11 05:21:30 PM · 2 分钟
AI 思考 技术

天下知识,唯慢不破

我们生活在一个获取知识越来越快的时代。 以前遇到一个不会的问题,要翻书、查文档、逛论坛,甚至折腾一下午。 现在打开 AI,输入一句: Java 的 synchronized 到底锁的是什么? 几秒钟以后,答案就摆在面前。 再复杂一点也没关系。 JVM、Redis、MySQL、分布式事务、网络协议、操作系统、算法……几乎所有已经被人类总结过的知识,都可以在极短时间内被检索、整理,然后送到你的眼前。 从这个角度看,我们似乎进入了一个学习速度前所未有的时代。 但我越来越觉得: 知识获得得越快,人反而越需要主动慢下来。 因为“看到了答案”和“真正会了”,中间隔着非常远的距离。 一眼看懂,是学习中最大的错觉 学习计算机的时候,经常会出现一种很奇怪的感觉: 看别人解释时觉得特别简单。 synchronized (lock) { // 临界区 } 哦,不就是拿锁吗? Redis 分布式锁: SET lock_key random_value NX EX 30 哦,不就是 NX 保证不存在时才能写入,再加个过期时间吗? 反转链表: next = curr.next; curr.next = prev; prev = curr; curr = next; 四行代码。 似乎一分钟就学会了。 可一旦把页面关掉,让自己重新写一遍,脑袋立刻空白。 更麻烦的是,有时候代码甚至还能默写出来,但别人追问一句: 为什么? 就答不上来了。 为什么 synchronized 修饰普通方法锁的是当前对象? 为什么静态方法锁的是 Class 对象? 为什么 Redis 解锁不能简单 DEL key? 为什么链表反转一定要先保存 next? 为什么 wait() 会释放锁,而 sleep() 不会? 这些问题才真正决定了一个知识点有没有进入自己的大脑。 ...

2026-09-11 03:05:01 PM · 2 分钟
学习 知识 AI 思考

大模型翻车记录

一些大模型翻车现场的参考网站 https://enaih.org/ https://failureindex.ai/ https://incidentdatabase.ai/ DeepSeek 2026.09.08 要求绘制网页解释KMP算法的LPS算法时,出现逻辑错误 deepseek对此错误的解释: 本质局限:Token预测 vs 逻辑推理 我是"下一个词预测器",不是"代码执行器"。生成描述时基于统计模式,而非实际运行代码。 注意力局部化 聚焦在 p[i] != p[j] 这个条件本身,忽略了 j=0 时的特殊上下文(此时 p[0]=‘A’ 与 p[2]=‘A’ 实际相等)。 训练数据偏差 “不匹配→j保持0” 是训练数据中的高频模式,我的概率分布倾向于套用这个"常见模板",即使当前状态实际是匹配。 缺乏执行验证 没有"在脑中真正运行代码"的能力,生成后没有自动检查:if (j===0 && p[i]===p[0]) 应生成"匹配"描述。 根本矛盾 我是统计学家,不是计算机。统计数据模式可以,精确执行状态转换不行。 2026.09.10 SQL题目自己改了原题 要求算出最高分、和平均分,自己却认为还要算出最低分

2026-09-08 07:06:13 PM · 1 分钟
AI 翻车

AI Coding 省流指南

1. 核心大招:强制“增量输出”(Diff-Only) 这是节省 输出 Token 最有效的手段。默认情况下,大模型喜欢把整份代码文件重新写一遍,即便它只改了一行。 笨办法:“帮我修改这个文件的 bug。”(模型直接吐出 500 行代码) 妙招:在 Prompt 中明确限制输出格式。 Prompt 模板: “请只输出修改过的代码片段。未修改的部分请用 // ... 保持不变 ... 或 # ... existing code ... 代替。如果可以,请直接以 Git Diff 的格式提供修改方案。” 2. 输入“骨架”而非全量代码(Skeleton Prompting) 当你需要让模型理解你的项目结构或某个工具类时,不要直接把几千行的源文件贴过去。 妙招:只给模型提供类型定义(Types/Interfaces)、函数签名(Function Signatures) 或 骨架代码。 例如(TS/JS): // 不要贴整个实现,只给这个: interface UserService { getUser(id: string): Promise<User>; updateProfile(id: string, data: Partial<User>): Promise<boolean>; } 模型只需要知道“有什么方法可用”以及“入参和出参是什么”,并不需要知道你内部复杂的 SQL 是怎么写的。 3. 巧用 XML 标签(对 Claude 尤为有效) Claude 对 XML 标签(如 <code_>)有着极强的敏感度。用 XML 标签包裹代码和指令,不仅能提高准确率,还能减少解释性废话。 <system_instruction> 你是一个极简主义的编程助手。请直接输出代码,不要解释,不要说“好的,我为你准备了以下代码”。 </system_instruction> <source_code> // 贴入你的核心代码 </source_code> <task> 重构上面的代码,提高运行效率。 </task> 省流原理:明确的结构让模型不需要在 Prompt 里猜测“哪里是代码,哪里是要求”,从而大大减少了模型的推理和多余的客套话(“Certainly! Here is…” 也是要算 Token 的)。 ...

2026-07-15 02:39:13 PM · 1 分钟
AI

漫谈AI上下文长度

flowchart TD A[2018–2021512–2K Token金鱼记忆时代] -->|只能处理短文、短句、单轮问答| B[2022–20234K–128K Token中上下文普及时代] B -->|可处理论文、合同、小说、中型代码库RAG 成为企业标准方案| C[2024–2025200K–1M Token百万上下文实验期] C -->|纸面支持 1M,但遗忘、成本、速度问题明显仅限量 Beta| D[2026–20271M–2M Token1M 量产普惠时代] D -->|1M 成为旗舰标配可处理整卷宗、整代码库、全年业务日志| E[2028–20292M–10M Token超百万窗口分化时代] E -->|2M 以上面向行业定制长视频、大型代码库、多年日志联合分析| F[2030+10M+ 弹性记忆原生长记忆智能体时代] 一、大模型上下文完整进化时间线(2018–2026,分4个时代) 1. 初代Transformer时代:512–2K(2018–2021,金鱼记忆) 2018 GPT-1 / BERT:512 token,仅短文、短句分类,多轮对话必丢前文 2019 GPT-2:1024 token,能写短篇故事,连续对话3–5轮就遗忘历史 2020 GPT-3:2048 token(2K),行业通用标准,仅支持短提示词、少量示例,长文档必须分段/摘要处理 2021 早期国产(文心一言初代、GLM-1):统一2K上限,无长文本能力 时代特征:没有原生长文本能力,所有长内容必须靠人工拆分、外部摘要,RAG雏形出现。 2. 中上下文普及时代:4K–128K(2022–2023,工业化可用) 2022 ChatGPT(GPT-3.5):4K;年末升级16K,日常聊天够用,长文档仍吃力 2023.3 GPT-4 首发:8K,专业文档、代码单文件处理门槛打开 2023.7 Claude 2:100K,首个量产十万级窗口,法律、长篇论文场景爆发 2023.11 GPT-4 Turbo:128K,全球主流商用标配门槛,单本小说完整载入 2023年底 国产跟进:通义、GLM、混元开放32K/64K;开源Llama 2、Qwen 7B固定4K–32K 2023.12 Gemini 1.0 Ultra 纸面宣称1M,但仅实验室封闭测试,无法商用落地 时代里程碑:128K成为专业AI标配;RAG成为行业标准方案,弥补窗口不足。 3. 百万上下文实验期:200K–2M纸面(2024–2025,纸面强、实际弱) 2024.2 Gemini 1.5 Pro:原生2M token,全球首个公开百万级模型,但存在严重「中间遗忘Lost in the Middle」,后半段文档召回暴跌,仅适合摘要,不适合精细推理,仅限开发者限量Beta 2024 Claude 3 Opus:200K,稳定可靠,法律行业主力,无严重遗忘问题 2025 上半年:各大厂商放出1M Beta(Claude Sonnet 4、Gemini 2.0),长上下文计费溢价极高、响应慢、显存开销巨大,企业少量试用,普通用户无法接触 2025 国产开源:Qwen、DeepSeek推出64K–128K底座,少量实验版支持256K 时代特征:1M只是技术噱头,标称≠有效;硬件成本、遗忘问题、价格三重门槛,无法大规模落地。 ...

2026-07-09 08:58:34 PM · 2 分钟
AI