2022 年 3 月，美国空军航空大学理工学院工程与管理研究生院空军少尉加斯·J·S·特利齐（Garth J.S. Terlizzi III）的一篇硕士论文《探索基于回合制兵棋中的学习分类系统行为》（Exploring Learning Classififier System Behaviors in Multi-action,Turn-based Wargames）被批准公开发布。
关于作者
空军少尉加斯·J·S·特利齐的导师为空军航空大学理工学院电气与计算机工程系戴维·金（David W. King）空军中校、博士，加斯·J·S·特利齐（Garth J.S. Terlizzi III）凭借此篇论文获得了计算机科学硕士学位。
关于本文
以下内容摘自论文部分
论文摘要最先进的人工智能游戏研究主要关注非符号学习方法。这些方法对他们的决策过程几乎没有什么可解释的见解。学习分类系统（LCS）提供了一种替代方案。LCS使用基于规则的学习，在遗传算法（GA）的指导下，生成人类可读的规则集。本文探讨了LCS在多智能体兵棋中的应用。多智能体学习分类器系统（MALCS）变体在兵棋战略MIST中实现：零级分类系统（ZCS）、扩展分类系统（XCS）和自适应匹兹堡分类系统（APCS）。这些算法针对基线代理以及在线进化规划（OEP）算法进行了测试。在代理之间的循环比较中，所有LCS代理都优于基线和OEP。APCS是最有效的游戏代理，同时产生最可解释的输出。ZCS和XCS优于基线，并产生了可解释的规则集。结果突出了符号方法学习复杂兵棋的能力，超越非符号竞争对手，并提供可复制的指令。
本论文探讨了LCS在一类特殊游戏中的应用：兵棋推演。兵棋推演并没有一个标准的定义。2020年版的《联合出版物5-0》将兵棋推演定义为 “在合成环境中的冲突或竞争的表现，其中人们做出决定并对这些决定的后果做出反应”。相比之下，国防建模与仿真协调办公室（DMSCO）使用现已失效的电气和电子工程师协会（IEEE）610.3-1989的兵棋推演定义，将其定义为 “一种模拟游戏，参与者在预先确定的资源和约束条件下寻求实现特定的军事目标；例如，模拟参与者做出战场决策，计算机决定这些决策的结果。” 在本论文中，我们将兵棋推演定义为以现实世界的逻辑为模型的战场模拟，其中参与者做出决定以完成一个或多个目标，并由计算机决定结果和互动。
这篇论文的重点是LCS在回合制、同时移动和多行动游戏Stratagem MIST中的实现。Stratagem MIST是空军研究实验室（AFRL）正在开发的一个计算机游戏，作为战时冲突的多域模拟器。据作者所知，专门用于专业兵棋的LCS Agent目前还没有被探索。此外，在一般的游戏中缺乏涉及匹兹堡式的LCS的研究，这也提供了一个兴趣点和未开发的领域。我们的假设是，LCS，特别是匹兹堡式LCS，除了产生可解释的输出，可以让外部观察者理解其决策过程外，还可以成为Stratagem MIST的有效的符号。
论文架构
1.序言
1.1问题背景
1.2研究动机
1.3研究问题
1.4研究任务
1.5文件概述
2.背景和文献综述
2.1决策理论
2.1.1马尔可夫决策过程
2.1.2决策树
2.1.3博弈论
2.2遗传算法
2.2.1协同进化算法
2.3学习分类系统
2.3.1密歇根式学习分类系统（LCS）
2.3.2匹兹堡式学习分类系统（LCS）
2.3.3 学习分类系统（LCS）的优点
2.3.4 学习分类系统（LCS）的局限性
2.4学习分类系统（LCS）
2.5“Stratagem MIST”介绍
2.5.1目标和指标
2.5.2平面图
2.5.3空军计划
3.方法论
3.1实现挑战
3.2基线代理
3.3 LCS算法开发
3.3.1规则的表示和生成
3.4算法研究
3.4.1零级分类系统（ZCS）
3.4.2扩展分类系统（XCS）
3.4.3自适应匹兹堡分类系统（APCS）
3.4.4异构学习分类系统（LCS）
3.4.5在线进化规划
3.5“Stratagem MIST”运行环境
3.6奖励评估和绩效指标
4.结果与分析
4.1设计决策
4.1.1 APCS行动选择比较
4.1.2标准化异构代理的启动规则集
4.1.3性能比较
4.1.4培训和测试信息
4.2主要推演结果
4.2.1一般情况
4.3规则构成和行为分析
4.3.1 ZCS
4.3.2 XCS
4.3.3 APC
4.4符号分析
4.5实现可解释性
5.结论
5.1关键要点
5.2研究的意义
5.3局限性
5.4未来工作
附录A.结果表
附录B支持表
参考文献
我们在遵照全文的基础上，也对本文进行了翻译整理，获得报告全文，欢迎关注“棋海旸波”公众号。
原版报告全文下载，请关注公众号，回复“学习分类系统行为”下载。
全称：《Exploring Learning Classififier System Behaviors in Multi-action,Turn-based Wargames》
