贝叶斯推断公式的推导

[AlexiaChen]

需要从条件概率出发。

1. 条件概率的定义

   条件概率表示在事件 ( B ) 已经发生的条件下，事件 ( A ) 发生的概率，记作 ( P(A|B) )。其定义公式为：
   $$
   P(A|B) = \frac{P(A \cap B)}{P(B)}
   $$
   说明：这是条件概率的基本定义，表示在 ( B ) 发生的前提下，( A ) 发生的概率。

2. 互换事件的位置

   同样地，我们也可以表示 $P(B|A)$：
   $$
   P(B|A) = \frac{P(A \cap B)}{P(A)}
   $$
   说明：这里我们将事件 ( A ) 和 ( B ) 互换，表示在 ( A ) 发生的条件下，( B ) 发生的概率。

3. 建立两个条件概率的等式

   由于 $P(A \cap B)$ 在两个公式中是相同的，我们可以将两个公式联立：
   $$
   P(A|B) \times P(B) = P(B|A) \times P(A)
   $$
   说明：通过将两个条件概率的定义式相乘，可以得到一个等式，连接 $P(A|B)$ 和 $P(B|A)$。

4. 解出贝叶斯公式

   将上述等式两边同时除以 $P(B)$，得到贝叶斯公式：
   $$
   P(A|B) = \frac{P(B|A) \times P(A)}{P(B)}
   $$
   说明：贝叶斯公式表达了在已知 $ B $ 发生的情况下，重新评估 $ A $ 发生的概率。

5. 总结贝叶斯公式

   贝叶斯公式：
   $$
   P(A|B) = \frac{P(B|A) \times P(A)}{P(B)}
   $$
   说明：这个公式在统计学和机器学习中广泛应用，用于更新事件发生的概率，基于新的证据或信息。

要根据贝叶斯公式更新 $P(A|B)$，需要更新以下几个部分：

1. 先验概率 $P(A)$：

   • 这是在没有考虑新证据 $ B $ 时事件 $ A $ 发生的概率。随着新数据或信息的引入，先验概率可能需要调整以反映新的知识。

2. 似然概率 $P(B|A)$：

   • 这是在事件 $ A $ 发生的条件下，事件 $ B $ 发生的概率。新证据可能会改变我们对 $ B $ 如何依赖于 $ A $ 的理解，从而需要更新 $ P(B|A) $。

3. 边际概率 $ P(B) $：

   • 这是事件 $ B $ 发生的总概率，通常通过所有可能的 $ A $ 来边际化得到：
     $$
     P(B) = \sum_{i} P(B|A_i) \times P(A_i)
     $$
   • 当先验概率或似然概率更新时，边际概率也需要重新计算以确保贝叶斯公式的正确性。

总结：

• 更新过程：当有新的证据 $ B $ 时，通过调整先验概率 $ P(A) $ 和似然概率 $ P(B|A) $，然后重新计算边际概率 $ P(B) $，最终得到更新后的后验概率 $ P(A|B) $。
• 机器学习中的应用：在机器学习中，尤其是贝叶斯方法中，这种更新机制用于不断调整模型参数，以适应新的数据，提高预测的准确性。