假设你走进了一所大学,遇到了一位学生。 你和他聊了一会儿,发现他比较害羞,和你交谈时不大习惯和你对视,还有一点拘谨。 现在让你猜,这位学生更可能是一个数学系博士生,还是一个商学院学生呢? 大部分人会猜测他更可能是数学系博士生。 原因很简单,一般来说,和商学院学生比起来,数学系博士生更可能会害羞和拘谨。 这看起来是合理的,但我们习惯性地忘掉了另一个重要的信息:一个大学里,一般有多少数学系博士生,有多少商学院学生呢? 事实上,大学商学院学生的数量往往是数学系博士生的10倍以上。所以即便在数学系博士中80的人更可能害羞和拘谨,在商学院学生中只有10,那么这位学生是商学院学生的概率仍然大于是数学系博士生。 这里涉及到一个概率论里的定理:贝叶斯定理。相信大部分人都听说过。 后验概率先验概率调整因子 这个公式其实不难理解:我们对一件事发生的概率判断,会随着我们掌握新的信息,而做出调整。 先验概率是你进入一所大学遇到一位学生,他恰好是数学系博士生的概率,也就是数学系博士生在全校学生中的比例。 但你不久后发现,这位学生有些害羞和拘谨,这时你根据新的信息加入调整因子,重新对这位学生是数学系博士生的概率做推断,得到后验概率。 再举另一个例子。 假设你去医院检查,被诊断出患有一种罕见的绝症,医院声称现有技术对于该疾病检测准确率为99。你是否应该认为你有99的概率真的得到绝症呢? 事实并非如此,如果这个罕见绝症在正常人群的发病率只有千分之一的话,那么通过计算你会发现你实际上真正患有这种疾病的概率只有9。 在上面这两个例子中,我们都能看到一种偏见:我们有时候容易高估最新信息的影响,而忽视先验概率。准确的认识到这一点能够避免很多判断失误。 另一种偏见 那么反过来,我们是否会有时候高估先验概率的影响呢? 我有一位好朋友,是一位专注价值投资的基金经理。他在大约三年前,翻过中国一家叫安琪酵母的上市公司的年报。 这家公司当时的年报很差,过去的两年里利润一直在下滑。此外,这家公司还是一个地方的国企,绝大部分股份并不在管理层手中。所以他当时的结论是:一家管理混乱,业绩差的国有企业,没有太多投资价值。 然而,之后的3年里,这家公司的利润翻了近3倍,股价翻了4倍多。 先验数据是我们根据历史统计数据得到的一些基本观点,但有时候也会成为我们的刻板印象,我们必须要学会根据最新的证据,动态地调整。 贝叶斯模型与超预测 上面这两种偏见确实常见,但不是我写这篇文章的原因。贝叶斯推断在我们生活中更多的应用反而不是计算概率的数字,而是它背后的思想。我叫这个思维模型为贝叶斯模型。 下面我想聊一下贝叶斯模型在不同领域的应用。 2011年,著名的心理学和社会学家,宾夕法尼亚大学教授菲利普泰洛克与美国与美国情报机构合作,发起了精准预测项目。 在随后的4年里,累计超过两万名普通人参与了这一项目,他们对许多复杂的全球性问题进行了为期半年到一年期的预测,比如 俄罗斯发生的抗议会不会扩散? 2016年9月30日之前人民币对美元的收盘价是多少? 朝鲜半岛会不会爆发战争? 结果是,这个精准预测团队在近80的问题上,预测准确度都高于可以接触到机密数据的专业情报分析师和学术界的竞争对手。 这个项目里表现突出的超级预测家,在2012年美国总统大选中不仅预测对了奥巴马战胜罗姆尼,还预测对了所有50个州两人的胜负结果。一个都不错。 这些超级预测家都有什么共性呢?菲利普泰洛克在《超预测》一书中着重讲了这一点。下面这张图,是一位顶尖超级预测者的观念更新方式。 我们看到顶尖超级预测者们开始于一个基础概率(先验概率),然后根据新的信息,不断地动态小幅度调整、迭代自己的预测结果。 菲利普泰洛克在《超预测》一书中解释到: 超级预测家是一个数学基础好的群体。。。。他们很少(使用贝叶斯定理)直接地计算数字,对超级预测家而言,比贝叶斯定理重要得多的是贝叶斯的这一核心见解:根据证据的重要性持续更新预测,以此逐渐接近真相。 福尔摩斯、科学家、咨询师和创业者 你可能没有听说过贝叶斯定理,但这个核心见解背后的道理我们经常遇到。 其中有一个叫科学研究方法(ScientificMethod),是讲述科学家如何探索未知的。 著名物理学家费曼在课上这样和学生讲述: 现在我来讲一下我们如何发现新的科学规律。 一般来说,过程是这样的。首先,我们猜一个(观众在笑),不,不要笑,这是真的。 然后我们计算猜的这个规律带来什么样的结果,看一下如果我们猜的这个规律是对的,这意味着什么。然后我们将计算的结果和真实世界现实实验的观测值做对比,看看这个规律是不是对的。 如果计算结果和真实结果不一致,那么规律就是错的。这句简单的话就是科学的关键。你猜测的规律有多优美,做出猜测的你有多聪明,你是谁都没什么分别。如果这个规律和实验结果不一对我,它就是错的。 这就是发现新科学规律的全部方法。 我相信每个在大学里做过研究的朋友都熟悉这套方法。 如果你还是一个侦探小说爱好者,你可能和我一样,发现福尔摩斯的探案方法与科学研究方法的相似之处。 数学和科学作家MartinGardner这样评论福尔摩斯: 就像科学家试图探索自然的神秘一样,福尔摩斯首先收集和他的问题相关的所有证据。有时候,他还做实验获得新证据。他之后将所有证据放在他那庞大的犯罪知识库中,找到最可能的一种假设。 他之后从假设做进一步推断,然后这个假设就可能与新的证据做比对,进一步测试,如果需要他会修改假设,直到最终他找到一种完全确定的解释。 如果你恰好还对企业咨询行业有一些了解,就会发现根据证据的重要性持续更新预测,以此逐渐接近真相同样是他们的核心方法论。 当一个企业找到他们,问他们自己的某一项业务利润下滑该怎么办时,他们先提出一个对业务下滑的假设,然后一步步向企业要数据,访谈收集证据,证实或证伪假设,慢慢接近真相。 他们叫假设驱动(hypothesisdriven)。 如果更碰巧的,你读过《精益创业》这本书,你也能找到非常多的共性。作者埃里克莱斯将精益创业提炼为BuildMeasureLearn循环。 创业团队需要从一个想法开始,埃里克建议首先投入最少的资源建造一个刚刚能够体现创新点或核心价值的产品(最小可行产品,MVP),并立刻将其投入市场测试。 企业然后通过收集真实有效数据获得反馈,识别现有问题并改进。如此在层层循环中持续地建造、测试和优化产品,为产品注入真正的价值。 我的反思 贝叶斯模型是我最喜欢的思维模型之一,如果一定要总结的话,我会说贝叶斯模型是对于真相探寻的普适方法。 不管是科学家探索自然规律,侦探找到凶手,咨询师找到企业经营的问题,还是创业者找到产品和市场需求的交汇点。 而当我们越来越学会使用这个工具,它也会让我们的思维产生一些根本上的变化。比如越来越意识到现有的观念是灰度的,不是非黑即白,随着我们发现新证据,新信息,我们对于某一个观念的自信程度也会受到影响。 最近读阮一峰老师的书,他提到:知识成长的过程,就是从肯定中产生否定思想。勇于做自己没有做过的事,是最有用的能力。 深以为然。 终身学习的过程,也是一个贝叶斯过程,我们不断地否定自己的思想,一步步接近真相。 另一个对于贝叶斯模型的反思,是关于我们应该如何应对新信息。就像福尔摩斯也会被很多无用证据误导判断,在持续成长中,区分什么是有用的信号,什么是噪音也非常重要。 统计学家NateSilver的下面一段话,让我深有共鸣。 Thereisn’tanymoretruthintheworldthantherewasbeforetheInternetortheprintingpress。MostoftheDataisjustnoise,asmostoftheuniverseisfilledwithemptyspace。 现在的世界和互联网印刷出现前的世界相比,并没有产生更多的真理。大部分的数据只是噪音,就如宇宙的大部分都空无一物。 最后一个对于贝叶斯模型的反思,在于什么时候它是失效的。 想像一只每天有人喂食的火鸡。每一次喂食都让火鸡越来越坚信人类是友善的,自己越来越安全。 火鸡愉快的生活了几年,直到一年感恩节的前一天,一件意料之外的事情发生在了它的身上:它成为了感恩节的美食。