https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/Recent content in 贝叶斯 on Colommar BlogHugozh-CNWed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/01-%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/01-%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86/条件概率 概率 （probability）是从随机试验中的事件到实数域的映射函数，用于表示事件发生的可能性，事件 发生的概率通常记为 。 如果 和 是样本空间 上的两个事件，且 ，那么在给定 时 的 条件概率 （conditional probability）为： 表示在事件 发生的条件下，事件 发生的概率。 同理可得： 结合上面两个公式https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/02-%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/02-%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8/贝叶斯分类器 在前面的例子中，我们可以把所有的样本以表格的形式列出来： 箱子 球的类别 A 好 A 坏 A 好 A 好 A 好 B 好 B 坏 B 坏 每一个样本都由两部分组成：特征和类别。可以看出这里只有一个特征（箱子编号），而且是二分类问题（好或坏）。 所以贝叶斯定理天生具有分类功能，我们不妨推广到多特征多分类的情况，譬如把 当作类标https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/03-%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%AE%9E%E4%BE%8B/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/03-%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%AE%9E%E4%BE%8B/实例一、预测性别 在日常生活中，我们往往可以根据一个人的名字判断这个人是男是女，比如李大志，这个名字一听就是男性，因为大和志在男性的名字中用的比较多。通过贝叶斯定理，我们可以求得： 其中， 可以不用计算， 和 一般来说差别不大，所以问题可以近似为：比较 和 的大小。 实例二、预测西瓜好坏 在周志华的西瓜书上，有这样一个数据集： 编号 色泽https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/04-%E5%8D%8A%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/04-%E5%8D%8A%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8/我们回顾一下朴素贝叶斯分类器，它的表达式如下： 可以看出在使用贝叶斯公式计算后验概率 时，类条件概率 很难计算，它是所有属性上的联合概率，难以从有限的训练样本直接估计出来。所以，朴素贝叶斯分类器采用了一个很简单的假设：属性条件独立性假设，也就是说所有的属性相互独立，这样类条件概率可以写成每个属性的条件概率的乘积。 不过在现实任务中，这个独https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/05-%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BD%91/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/05-%E8%B4%9D%E5%8F%B6%E6%96%AF%E7%BD%91/在半朴素贝叶斯分类器中，我们对每一个属性的依赖做了约束，使其只依赖于另一个（ODE）或另几个属性（kDE），这使得属性之间的依赖关系呈树状或网状，不过这里的约束比较刻意，每个属性依赖的属性个数是相等的，在现实生活中，属性之间的依赖是没有规律的，更像是一个普通的网状结构。比如下图描述了心血管疾病和成因之间的关系，这被称为 贝叶斯网 （Bayhttps://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/x-%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/x-%E6%A6%82%E7%8E%87%E5%9B%BE%E6%A8%A1%E5%9E%8B/概率图模型分类 概率图模型（Probabilistic Graphical Model，PGM） 贝叶斯网络（Bayesian Network，有向图模型） 隐马尔可夫模型（Hidden Markov Model，HMM，生成式模型） 马尔可夫网络（Markov Network，无向图模型） 马尔可夫随即场（Markov Random Fhttps://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/x-%E9%9A%90%E5%8F%98%E9%87%8F%E5%92%8C-em-%E7%AE%97%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E8%B4%9D%E5%8F%B6%E6%96%AF/x-%E9%9A%90%E5%8F%98%E9%87%8F%E5%92%8C-em-%E7%AE%97%E6%B3%95/在现实应用中，我们经常会遇到一些不完整的训练样本，某些属性可能会由于某种原因无法观测，比如在西瓜数据中，如果某个西瓜根蒂已脱落，无法看出它是蜷缩的，还是硬挺的，这种无法观测的属性变量叫做 隐变量 （latent variable）。 常用的隐变量估计方法是 EM算法 （Expectation Maximization，期望最大化算法），它