《数字之美》吴军 著 · 概率与统计思维

与不确定性共舞,认识探索概率

读吴军《数字之美》的随想

生啃Transformer算法论文《Attention is All You Need》(ChatGPT底层运用的算法)时,我有些懵——怎么就把一种语言文字变成数字向量,经过矩阵计算得到数字,又转成另一种语言文字的?这个算法一开始是为更好的机器翻译而设计的。我拉上我姐一起看,然后她给我分享了《数字之美》这本书。

看完第二章“自然语言处理:从规则到统计”时,突然就豁然开朗了!!!统计学里的概率太妙了——只要统计得足够多,就能知道“知”后面出现“道”的概率有多大。延展开来,一句话“能让人看懂”的概率有多大,也是能够算出来的。也就是说Transformer也好,以及之前的RNN、CNN算法也好,都是建立统计概率模型,找到概率最大的那个词序列。

所谓“智能”,很多时候就是找到这个“最大可能性”。
并且办法总比困难多,总会找到一个更好的统计模型,得到更符合规律的概率统计。

从统计概率到人生算法

书中非常多的数学公式,其中出现频率最高的就是概率计算。这不禁让我联想:我能否把“统计概率思维”运用到自己的人生决策上。比如,决定是否和一个人认真交往。没有谁的爱情能100%走到最后,但可以根据相处中的点滴信号——三观是否契合、沟通是否顺畅、遇到矛盾时对方的态度——不断更新“幸福概率”。如果综合下来有70%的把握觉得合适,那就可以定下来了。人生有三万天,而我面对的现实世界充满不确定性——这些都可以看作“大数据”,与“概率”息息相关。

  • 第一,把单次结果与自我价值解绑。 有时候我会过于追求确定性的东西而停滞不前。或许是因为一直想着过“正确/好”的人生,人生的每一步都要做“最优解”:考一个好的大学,选一个好的专业,找一份好的工作,觅一位好的伴侣……如果某步没走“好”,就会更加担心下一步也走不好。但是单一事件的结果充满随机性。一次没考好,不代表我能力差;一次面试失败,不代表我不优秀。不确定性或许就意味着无限可能。
  • 第二,不把人生押注在单次选择上,而是用多次尝试来逼近更好的期望。 统计概率需要在大数定律下才有效。这意味着,真正塑造人生的不是某一次成败,而是长期形成的决策习惯和学习能力。大胆尝试,勇敢体验,不论是好的还是坏的。不要因为一次失败就全盘否定自己。因为从概率视角看,失败本身就是有效的试错样本。
  • 第三,放弃全局最优解的执念,接受局部最优。 因为信息永远是不全的,一切都在变化,包括我自己,如果追求全局最优解,只会让自己陷入焦虑并且停滞不前。与其这样,不如接受一个足够好的“局部最优”,边做边调整。就像语言模型预测下一个词,它并不需要看到整个宇宙,只需要基于当前上下文做出当下最合理的判断。

当然,概率不是万能的,很多事情无法用概率高低去衡量好坏:1+1=2是确定的;一段友谊的价值,也不能用概率分布去描述。但这本书给了我一种新的思维方式,在不确定的世界里,最好的活法不是追求确定性,而是学会计算期望、接受随机、持续更新。与不确定性共舞,不是消灭它,而是找到与它共存的节奏。

生活就是你无法控制所有参数,却依然可以搭建一个稳健的概率模型,然后开心地掷出属于自己的骰子。
Robust 更鲁棒呀!

观点仅代表个人思考