信息是信息论中的一个基本概念，它量化与事件或结果相关的惊喜或意外的数量。它表示编码或传达事件发生所需的最小位数。
信息背后的关键思想是，罕见或不可能的事件比常见或预期的事件传达更多信息。例如，如果你扔一枚公平的硬币，它正面朝上落地，则该事件的信息内容比硬币落在其边缘的信息内容（极其罕见的事件）要低。
概率“P(X)”的事件“X”的信息内容计算公式为：
- “log2”是以 2 为底的对数。
- “P(X)”是事件“X”发生的概率。
负号确保信息内容为正数。公式中使用以 2 为底的对数，这使得结果能够以位为单位进行测量。这意味着事件的信息内容是在二进制系统中表示该事件发生所需的位数。
关键点信息内容需要注意的要点：
- 罕见事件具有较高的信息含量，因为它们的概率较低，需要更多的比特来传达它们。
- 常见事件的信息含量较低，因为它们是预期的并且传达的惊喜较少。
- 信息内容是累加的。如果两个事件是独立的，则它们共同发生的信息内容是它们各自的信息内容之和。
- 信息内容提供了一种衡量与特定事件相关的不确定性或意外程度的方法。
熵是信息论、热力学和概率论中的基本概念。在信息论的背景下，熵衡量与随机变量或概率分布相关的不确定性或意外的平均量。它提供了一种量化描述或表示一组结果所需的信息量的方法。
在信息论中，熵通常用“H”表示，并使用随机变量的各种结果的概率来计算。对于概率分布为“P(X)”的离散随机变量“X”，熵“H(X)”由以下公式给出：
- “Σ”表示“X”所有可能值的总和。
- “P(x)”是事件“x”发生的概率。
- “log2”是以 2 为底的对数。
理解熵的要点：
- 测量不确定性：熵量化与概率分布相关的不确定性或随机性水平。高熵意味着高不确定性，而低熵意味着低不确定性。
- 同等可能的结果：当所有可能的结果都同等可能时，熵最大化。这意味着当所有选项的可能性都相同时，不确定性最大。
- 编码效率：熵与编码随机变量结果所需的最小平均位数有关。高效的编码方案将更少的比特分配给更可能的结果，将更多的比特分配给不太可能的结果。
- 信息内容：熵与每个结果的平均信息内容量有关。它可以被认为是惊喜的衡量标准：低熵分布具有较少令人惊讶的结果，而高熵分布具有更令人惊讶的结果。
- 测量单位：熵通常以位（使用以 2 为底的对数时）或 nat（使用自然对数时）来测量。一点熵代表在两个同样可能的选择之间做出二元选择所需的信息量。
- 在机器学习中的应用：在机器学习中，熵经常被用来衡量一组数据点的杂质或无序程度。它通常用于决策树算法来确定分割数据的最佳属性。
交叉熵是一个用于比较两个概率分布并量化它们之间差异的概念。它是信息论中的基本概念，广泛应用于机器学习，特别是涉及分类和概率建模的任务。
使用交叉熵作为损失函数是机器学习中的常见做法，特别是在涉及分类的任务中。这是一种衡量预测概率分布与真实分布（one-hot 编码标签）之间差异的方法。
在比较两个概率分布“P(X)”和“Q(X)”的情况下，其中“P(X)”代表真实分布（例如，实际标签），“Q(X)”代表预测或估计分布（例如模型的概率），交叉熵“H(P, Q)”使用以下公式计算：
- “Σ”表示“X”所有可能值的总和。
- “P(x)”是事件“x”根据真实分布发生的概率。
- “Q(x)”是根据预测分布事件“x”发生的概率。
- “log2”是以 2 为底的对数。
理解交叉熵的要点：
- 测量差异：交叉熵测量预测分布（“Q(X)”）与真实分布（“P(X)”）的近似程度。它量化了两种分布在信息内容方面的差异。
- 最小化目标：在机器学习中，特别是在分类等任务中，目标通常是最小化交叉熵。这有效地旨在使预测分布尽可能接近真实分布。
- 与熵的关系：交叉熵与真实分布的熵（“P(X)”）相关，但它解释了预测分布（“Q(X)”）引入的差异。当预测分布与真实分布完全匹配时，交叉熵就等于真实分布的熵。
- 损失函数：在机器学习中，交叉熵通常用作损失函数来在训练过程中优化模型。交叉熵损失会惩罚预测分布与真实分布之间较大的差异，从而鼓励模型做出更准确的预测。
- 数值稳定性：在实践中，当处理接近于零的概率（这可能导致未定义的对数）时，通常使用较小的正常数（epsilon）来确保交叉熵计算中的数值稳定性。
- 应用：交叉熵用于各种机器学习算法，包括逻辑回归、神经网络和决策树。它在分类等任务中特别有用，其目标是预测类别的概率分布。
