上下文多臂老虎机简介

引言

通过引入情境老虎机，一类名为情境老虎机的决策算法将经典的多臂老虎机（MAB）问题进行了扩展。在标准的 MAB 设置中，一个智能体选择多个动作（臂）中的一个，所选动作决定了奖励。但在实际场景中，选择通常取决于更多情境信息，如用户行为、人口统计信息或环境因素。情境老虎机通过考虑这些情境因素来做出选择，从而解决了这个问题，非常适合个性化决策。

情境老虎机的基本原理是在利用（基于先前奖励选择最受欢迎的动作）和探索（尝试新动作以了解更多信息）之间取得平衡。算法应不断更新其对奖励分布的理解，并在出现新情况时做出决策。

在需要根据用户特定信息改变决策的应用中，如在线广告、个性化内容推荐和医疗保健决策制定，通常会使用这些算法。与完整的强化学习相比，情境老虎机将决策处理过程简化为一步，无需考虑长期规划，因此在计算上效率很高，并且适用于许多实际任务。

情境老虎机的重要方面

• 情境 (Aspects)
  在做出选择之前可用的信息称为情境。这可以包括用户人口统计信息、浏览习惯、一天中的时间以及任何其他相关环境信息。智能体根据这些情境信息估计哪种行动方案最有可能带来最大的奖励。如果没有情境信息，这个问题就变成了一个经典的多臂老虎机问题。
• 臂 动作
  智能体可用的选项由动作表示，在老虎机行话中也称为臂。例如，在在线广告系统中，用户可能会看到不同的广告创意作为动作。为了最大化随时间的预期收益，智能体应根据当前情况选择一个动作。
• 奖励 (反馈)
  智能体在选择一个动作后收到的反馈称为奖励。奖励函数衡量了该动作的成功程度，例如用户点击广告、购买产品或与推荐内容互动。智能体根据此反馈更新其对特定情况下哪些行为最有效的理解。

情境老虎机的运作方式

• 注意情境
  在每个决策点，智能体都会接收到一个情境——一组描述当前情况的特征。例如，在广告系统中，用户的人口统计信息、浏览记录和一天中的时间都可以被视为情境。这种情境信息能让模型更好地预测哪种行动方案会带来最大的奖励。
• 选择动作
  智能体必须根据观察到的情境，从预先确定的选项列表中选择一个动作（或臂）。通常，选择过程会在以下两者之间取得平衡：
  • 探索：尝试不太常见的动作以了解更多信息。
  • 利用：利用先前的经验来确定哪种行动方案最有可能带来最大的奖励。
  像 Thompson Sampling、Upper Confident Bound (UCB) 和 Epsilon-Greedy 这样的流行算法都在优化这种平衡。
• 获得奖励
  一旦执行了动作，环境就会以奖励的形式提供反馈。例如，如果系统选择向用户展示一个广告，奖励可能取决于用户是否点击了该广告（点击为 1，未点击为 0）。这个奖励有助于智能体评估所选行动方案在该特定情况下的表现。
• 模型更新
  智能体更新情境、动作和奖励之间的关系。根据新数据，它会调整其决策策略并改进预测，以在未来提高性能。这确保了模型最终能够为每种情况做出更好、更量身定制的选择。

情境老虎机的应用

• 在线广告
  通过根据用户的历史浏览习惯、人口统计信息和行为选择最合适的广告，情境老虎机有助于优化广告投放。通过持续从用户行为（点击、展示）中学习，广告商可以优化参与度和收入，同时减少广告展示的浪费。
• 个性化推荐
  情境老虎机通过利用用户先前的偏好和当前活动，在 Netflix、YouTube 和在线购物网站等平台上提供电影、视频或产品推荐。与传统的推荐系统相比，它们优先考虑高奖励的产品，并动态适应用户行为。
• 新闻和内容定制
  社交媒体和新闻公司利用情境老虎机来策划用户定制内容。这些平台通过根据位置、阅读历史和热门话题等特征提供最相关的内容或帖子，从而提高用户留存率和参与度。
• 医疗保健和临床研究
  情境老虎机通过考虑遗传信息和病史等变量，帮助患者选择最佳的治疗方案。此外，它们还应用于自适应临床试验，通过根据观察到的反应动态地将患者分配到不同的治疗方案来提高试验效率。

情境老虎机的挑战和局限性

• 处理高维情境
  情境老虎机依赖于环境特征的表示。然而，当情境是高维的（例如，用户行为日志、图像或文本数据）时，理解最佳行动方案就会变得复杂。为了提高效率，通常需要降维和特征选择技术。
• 冷启动问题
  情境老虎机在冷启动情况下会遇到困难，即对于新用户、新产品或新行为，由于它们需要数据来学习，因此历史数据很少或没有。这在需要快速适应的个性化广告和推荐系统中尤其具有挑战性。
• 探索与利用的权衡
  在利用（选择最受欢迎的动作）和探索（尝试新动作）之间取得平衡仍然非常困难。如果算法探索过多，它就会将精力浪费在次优动作上。如果它过早地进行利用，它可能会错过更优的动作，从而导致次优的长期表现。
• 非平稳环境
  情境老虎机假设奖励分布随时间保持不变。然而，在实际应用中，如在线广告和用户行为预测，偏好经常发生变化。算法必须使用漂移检测和适应性学习策略进行更新。