联合、边缘和条件概率

作为一个数学分支，它关注不确定性的量化。事件发生的概率定义为，如果事件有可能发生，那么它发生的概率。数学上，概率定义为

概率的重要性

概率在决策、预测和风险评估中起着重要作用。

• 风险分析：它有助于企业进行风险分析，从而确定任何决策可能相关的风险。
• 预测建模：基于事物发生方式的数据使用预测建模。
• 科学研究：有助于统计推断和实验验证。
• 日常决策：预测天气，或判断投资的潜在风险。

概率分布概述

概率分布是将概率与随机变量的不同结果相关联的方式。它有助于从数据模式中进行推断和预测。

概率分布的类型

离散概率分布

它们用于存储有限的或可数的值。示例

• 伯努利分布：用于二元结果，如成功或失败。
• 二项分布：用于模拟独立重复试验中成功的次数。
• 泊松分布：预测每年发生的地震次数等罕见事件。

连续概率分布

它用于变量的范围具有无限值的情况。

示例

• 正态分布（高斯分布）：在自然科学和社会科学中很常见。
• 指数分布：作为随机事件之间的时间模型（排队等待时间）。
• 均匀分布：范围内所有结果的概率相等。

联合概率

如果关心两个或多个事件同时发生的概率，则称为联合概率。它确定了在某个概率空间中多个事件同时发生的概率。

例如，如果您处于商业环境中，那么商业环境可能会将联合概率描述为客户同时购买 A 产品和 B 产品的可能性。

对于两个事件 A 和 B，联合概率在数学上表示为

P (A ∩ B) 表示两个事件同时发生的概率。

• 它用于统计建模、机器学习和现实预测。
• 它们解释了事件的相关性和依赖性。
• 首先，它是概率论中的一个关键概念，对于贝叶斯定理和决策模型是必需的。

联合概率的数学表示

对于独立事件

当 A 不影响 B 或反之亦然时，事件 A 和 B 的联合概率是

例如，在掷一个公平的骰子得到 4 的结果和抛一个公平的硬币得到正面的结果是独立的。如果

然后，

对于依赖事件

如果事件 **A** 影响事件 **B** 的概率，则联合概率为

这里的 P (B | A) 通常是给定 A 已经发生的条件下 B 发生的条件概率。

这里，举个例子，从 52 张牌中先抽到 A（A）然后抽到 K（B）（不放回）的概率是

联合概率的性质

• 非负性：概率不能为负。

• 介于 0 和 1 之间：概率值介于 0（不可能事件）到 1（必然事件）之间。

• 交换性：事件的顺序在联合概率中无关紧要。

• 与边缘概率的关系：联合概率不能超过最不可能发生的单个事件的概率。

离散变量与连续变量的联合概率

离散变量

在离散随机变量 X 和 Y 的一般情况下，联合概率通常使用联合概率质量函数 (PMF) 来描述

例如，在掷两个骰子的情况下，得到（3,5）结果的概率为

连续变量

在连续随机变量的情况下，联合概率由联合概率密度函数 (PDF) 描述

使用积分来计算 X 和 Y 落在给定范围内的概率

现实场景中的联合概率示例

• 医疗诊断：例如，患者同时患有发烧（A）和咳嗽（B）的概率可能是，借助此可以诊断流感和其他疾病。

• 金融市场预测：股票 A 上涨和股票 B 同时下跌的概率被量化为股票交易中的金融市场预测。交易者使用此来评估市场相关性。

• 客户行为分析：零售店对联合概率感兴趣，以估算购买 X 产品和购买 Y 产品的概率。这有助于推荐系统，例如亚马逊的“经常一起购买”功能。
• 天气预报：气象学家对雨（A）和雷暴（B）同时发生的可能性进行估计

边缘概率

单个事件的概率是边缘概率，与概率分布中的其他事件无关。它是它们的概率之和或积分。

“边缘”一词指的是概率通常如何在表中书写，即边缘值会出现在表的相应边缘（即边缘）上。

示例

在这里，我假设我们有关于学生学校表现的数据。

• 事件 A：学生数学成绩优秀。
• 事件 B：学生在科学科目上得分很高，即事件 B。

学生同时在两个科目上表现出色是概率 P (A, B)，即联合概率。但如果我们只想知道一个学生在不考虑科学表现的情况下在数学上表现出色的概率，我们就必须使用边缘概率，其定义为

P (A) = P(A, B1) + P(A, B2) +...+P(A, Bn)

其中 B1, B2, ..., Bn 是所有可能的科学表现水平。

从联合概率推导边缘概率

另一方面，联合概率是从边缘概率推导出来的，通过对第二个变量求和（如果变量是离散类型）或积分（如果变量是连续类型）。

对于离散随机变量

如果 X 和 Y 是两个离散随机变量，通过对 Y 的所有可能值求和，则得到 X 的边缘概率

类似地，对于 Y 的边缘概率

对于连续随机变量

如果 X 和 Y 是具有联合概率密度函数 f(x, y) 的连续随机变量，那么假设。如果存在，则通过对另一个变量的所有其他可能值进行积分来获得边缘概率。

示例（离散情况）：例如，假设在两个事件 X 和 Y 的情况下，联合概率分布为

X=1 的边缘概率为

边缘概率的性质

• 非负性：概率总是在 0 和 1 之间，换句话说，是非负的。

• 求和性质：这保证了所有可能结果的总概率为 1。

对于离散概率分布

对于连续分布

• 全概率定律：它用于贝叶斯推理规则和决策制定。

如果 Y 是相关变量，则遵循边缘概率

求和（离散）和积分（连续）的作用

如果涉及的变量是离散的，则计算边缘概率，如果涉及的变量是连续的，则没有边缘概率。

• 离散情况：对另一个变量的所有可能值求和。
• 连续情况：对另一个变量的所有可能值进行积分。

示例（连续情况）

假设 X 具有 Y 的联合概率密度函数

然后发现 X 的边缘密度函数是通过对 y 进行积分获得的

这种形式通常用于机器学习、物理学或计量经济学。

边缘概率的实际应用

• 机器学习和人工智能朴素贝叶斯分类器使用机器学习和人工智能来估计不同特征独立发生的概率。
• 医疗诊断：边缘概率用于医学测试，其中疾病的发生与否与测试结果无关。例如，一个人患有某种疾病的概率，排除其他症状。
• 金融市场预测：用于预测股票走势的概率，而与全球经济状况无关。
• 天气预报：降雨概率，无论风速或湿度如何。
• 供应链和物流：它有助于估计延误的时间，而无需考虑交通和天气等其他影响因素。

条件概率

一个事件发生的概率，如果它会发生的话，前提是另一个事件先发生。它为我们提供了一种在有新信息出现时更新概率知识的方法。

一个常见的例子是，在不知道一个人是否感染疾病的情况下，一个人确实患有该疾病的概率取决于检测的准确性和该疾病在整个人群中的患病率。这个概率不等于患有该疾病的无条件概率。

数学上，事件 A 发生的概率，前提是事件 B 已经发生，表示为

数学公式和推导

这被定义为事件 A 发生在事件 B 的条件概率

其中

• 事件 A 发生在事件 B 的条件概率用 P (A∣B) 表示。
• 两个事件同时发生的联合概率称为 P(A∩B)。
• 如果 P(B) > 0，则 P(B) 是事件 B 的概率。

公式推导

从概率的基本定义

我们可以重新排列方程来得到 P(A∣B)

条件概率由两个事件都发生的概率除以事件 B 的概率得出。

条件概率和联合概率之间的关系

P(A∩B) 是联合概率，即事件 A 和 B 同时发生的概率。通过该公式，它直接与条件概率相关。

同样，我们可以写 P (B∩A) 为

因此，可以看出联合概率可以分解为给定条件的条件概率与该条件发生的概率的乘积。

示例

假设我们有一个 52 张牌的牌组。如果我们随机抽取一张牌

• P(A) = 4/52，因此抽到 A 的概率。
• P(R) = 26/52。
• 如果我们已经知道它是红色的，那么它是 A 的概率，以红色为条件（称为条件概率）是

条件概率的性质

• 范围性质：这是一个范围性质，意味着 A 发生在 B 的概率必须在（0, 1）范围内。

• 乘法规则：这用于从条件概率计算联合概率。

• 补集规则：这断言，如果 P (A∣B) = 1 – P (A|B)，那么在 B 的条件下 A 不发生的概率是 A 在 B 的条件下发生的概率 P(B) 的补集。

• 独立事件：事件 A 的概率不受事件 B 的知识影响。那么，当事件 A 和 B 独立时

贝叶斯定理及其与条件概率的联系

贝叶斯定理是概率论的主要结果之一，它使我们能够反转条件概率。它由下式给出

其中

• 这是 A 发生在 B 的概率，P (A∣B)。
• B 发生在 A 的概率是 P (B∣A)。
• P(A) 和 P(B) 都是各自事件 A 和 B 的概率。

贝叶斯定理的重要性

• 它有助于基于新证据更新信念。
• 例如，在医疗诊断、垃圾邮件过滤、机器学习和金融风险评估等领域得到了广泛应用。

医疗检测中贝叶斯定理的例子

如果疾病检测结果正确率为 95%

• 在这种情况下，如果一个人患有该疾病 (D)，则 P(T∣D) = 0.95。
• 在这种情况下，如果一个人没有患该疾病 (Dc)，则检测结果发现该人患有该疾病 (Dc) 的概率为 P(T∣Dc) = 0.05。
• 然而，P(D)=0.01 是该疾病在人群中的患病率。

因此，我们希望将一个检测结果为阳性的人的患病概率转变为患有该疾病的人的概率。

计算后，我们发现即使检测结果为阳性，患有该疾病的概率也低于预期，因为总体患病率也很低。

条件概率的现实应用

• 机器学习与人工智能：朴素贝叶斯分类器用于机器学习与人工智能，用于垃圾邮件检测和了解文本的情感。贝叶斯网络描述了变量之间的依赖关系。
• 医疗诊断：医生使用条件概率来根据患者的症状判断给定检测结果的患病可能性。
• 金融与风险管理：条件概率用于信用风险模型，根据金融与风险管理来确定贷款违约。股票市场预测基于事件的条件概率。
• 天气预报：天气预报使用条件概率。
• 博弈论与决策制定：参与者使用博弈论与决策制定来评估结果的概率，进而评估他们的决策。

联合概率、边缘概率和条件概率之间的关系

这些概率度量之间的相互联系

它们与联合概率、边缘概率和条件概率紧密相关。

• 就像联合概率一样，它不仅仅是一个概率度量；它衡量两个或多个事件同时发生的可能性。
• 边缘概率是通过对其他变量的可能值进行积分（或求和）从联合概率获得的。
• 条件概率（也称为条件概率）是在另一个事件已经发生的前提下，一个事件发生的概率。

数学上，这些度量之间的关系可以理解如下

其中

• P (A, B) 的符号表示事件 A 和 B 的联合概率。
• 边缘概率定义为 P(A) 和 P(B)
• P(A∣B) 和 P(B∣A) 都是条件概率。

因此，边缘概率和条件概率是从联合概率派生出来的。

从联合概率计算边缘概率

对联合概率分布进行求和或积分得到边缘概率。

边缘概率计算为

这是对所有 B 的值求和以获得 A 的总概率。

对于连续变量，我们对联合概率密度函数进行积分

从联合概率计算条件概率

因此，通过将联合概率除以边缘概率来获得条件概率

该方程指定了在事件 B 已经发生的条件下事件 A 发生的概率。

使用文氏图和概率树的直观理解

文氏图表示

联合概率、边缘概率和条件概率在文氏图中的关系以可视化的方式呈现。

• 在整个圆内，事件的边缘概率由整个圆表示。
• 两个圆的重叠区域表示联合概率。
• 它是重叠部分占一个事件总概率的比例。

例如，考虑两个事件

• A：一个人喜欢咖啡。
• B：一个人喜欢茶。

假设喜欢咖啡和茶的人各占 30%，那么喜欢咖啡的人占 60%，喜欢茶的人占 50%。

• 联合概率：P (A, B) = 0.3（都喜欢咖啡和茶）。
• 边缘概率：P(A)=0.6, P(B)=0.5。
• 条件概率：P (A∣B) = P (A, B)/P (B) = 0.3/0.5 =0.6（如果一个人喜欢茶，他们有 60% 的机会喜欢咖啡）。

条件概率的概率树

顺序概率可以用概率树来总结。

让我们考虑一种疾病的医学检测。

• 事件 A：患有该疾病的人（占人口的 5%）。
• 事件 B：检测结果为阳性。
• 敏感度：该检测具有 90% 的敏感度：如果一个人患有该疾病，则 90% 的检测结果为阳性。
• 假阳性率：10% 的健康人检测结果为阳性。

事实上，我们可以使用概率树进行计算

• 联合概率：P (A, B) = P (A) P (B∣A) = 0.05×0.9 = 0.045。
• 边缘概率：对所有检测阳性的情况求和

• 条件概率：使用贝叶斯定理

因此，如果一个人检测呈阳性，他们患有该疾病的概率为 32%。

示例和说明以获得更好的理解

示例 1：天气预报

• 假设今天下雨（下雨）的概率为 0.3；设 A 为“下雨”事件（不是“不下雨”）。
• 假设 B 是多云的事件，概率为 0.5。
• 假设今天下雨且昨天多云的概率为 0.2。

那么

• 联合概率：P (A, B) = 0.2。
• 边缘概率：P(A)=0.3, P(B)=0.5。
• 条件概率：P (A∣B) = P (A, B)/P (B) = 0.2/0.5 = 0.4。

示例 2：商店的客户行为

另一方面，在一家商店收集了顾客购买咖啡和零食的数据。

• 40% 的人购买咖啡。
• 30% 的人购买零食。
• 20% 的人同时购买咖啡和零食。

我们计算

• 联合概率：P(C,S)=0.2。
• 边缘概率：P(C) = 0.4, P(S) = 0.3。
• 条件概率：P(C∣S) = P(C,S)/P(S) = 0.2/0.3 = 0.67 P(C | S) = 67% 的情况下，如果顾客购买零食，他们也会购买咖啡。

概率中的独立性和依赖性

无法确定将要发生什么情况的现实世界现象，最好使用概率论来理解。在区分独立事件和相关事件时，概率是最重要的部分之一。它提供了一种区分，有助于做出准确的预测和分析数据。

独立事件

如果一个事件的发生不影响另一个事件发生的概率，那么我们称这两个事件 A 和 B 的发生是独立的。简而言之，一个事件的发生不会改变另一个事件发生的概率。

例如

• 抛掷两个公平的硬币：一旦抛掷，第一个硬币的抛掷不会影响第二个硬币的抛掷。

相关事件

如果两个事件 A 和 B 中的一个不发生，那么另一个发生的概率也会受到影响。因此，有关发生事件的额外信息将影响第二个事件发生的几率。

例如

• 下雨天气和交通事故：与非雨天相比，雨天发生交通事故的可能性更高。

独立的数学条件

当且仅当以下条件满足时，才称 A 和 B 是独立的

其中

• 在同一时间间隔内 A 和 B 发生的概率称为 P (A∩B)。
• P(A) 是事件 A 发生的概率。
• 事件 B 的概率是 P(B)。

如果上述条件不成立，则事件 A 和 B 是相关的。

例如

• 举个例子，我们掷一个六面骰子并抛掷一个公平的硬币。
• 掷出 **3** 的概率：P(A) = 1/6
• 得到正面的概率：P(B) =1 /2
• 联合概率（掷出 **3** 并得到正面）

• 事实上，由于等式成立，这些事件是独立的。

独立事件和相关事件的示例

独立事件示例

• 掷骰子和硬币，或者再次掷骰子或再次抛掷硬币。
• 随机选择一个人，然后检查他们是否喜欢巧克力和观看足球（不假设他们对巧克力和足球的偏好无关）。
• 今天的气温和一个人是否中彩票（完全没有相关性）。

相关事件示例

• 不放回地从一副牌中抽牌（每次抽牌后概率都会改变）。
• 学生通过考试的概率，因为他们为此学习过。
• 基于天气条件的延误概率。