[论文解读] The Weighted Tsetlin Machine: Compressed Representations with Weighted Clauses

Adrian Phoulady, Ole‐Christoffer Granmo+2 more|arXiv (Cornell University)|Nov 28, 2019

Optimization and Search Problems参考文献 13被引用 5

一句话总结

加权Tsetlin机器（WTM）通过引入实值子句权重来压缩Tsetlin机器中的模式表示，使更少的子句即可实现相当或更优的准确率。通过联合学习子句构成与权重，并以二项分布采样替代伯努利采样，WTM将计算时间和内存使用减少高达50倍，同时在MNIST、IMDb和Connect-4数据集上保持或提升了性能。

ABSTRACT

The Tsetlin Machine (TM) is an interpretable mechanism for pattern recognition that constructs conjunctive clauses from data. The clauses capture frequent patterns with high discriminating power, providing increasing expression power with each additional clause. However, the resulting accuracy gain comes at the cost of linear growth in computation time and memory usage. In this paper, we present the Weighted Tsetlin Machine (WTM), which reduces computation time and memory usage by weighting the clauses. Real-valued weighting allows one clause to replace multiple, and supports fine-tuning the impact of each clause. Our novel scheme simultaneously learns both the composition of the clauses and their weights. Furthermore, we increase training efficiency by replacing $k$ Bernoulli trials of success probability $p$ with a uniform sample of average size $p k$, the size drawn from a binomial distribution. In our empirical evaluation, the WTM achieved the same accuracy as the TM on MNIST, IMDb, and Connect-4, requiring only $1/4$, $1/3$, and $1/50$ of the clauses, respectively. With the same number of clauses, the WTM outperformed the TM, obtaining peak test accuracies of respectively $98.63\%$, $90.37\%$, and $87.91\%$. Finally, our novel sampling scheme reduced sample generation time by a factor of $7$.

研究动机与目标

• 通过引入实值权重实现子句压缩，减少Tsetlin机器（TM）的计算和内存开销。
• 通过以二项分布采样替代重复的伯努利试验，提升训练效率。
• 在显著减少所需子句数量的同时，保持或提升分类准确率。
• 通过连续加权实现对子句影响的细粒度控制，提升模型的表达能力和可解释性。

提出的方法

• 引入加权合取子句，使每个子句输出连续值而非二值结果，从而一个子句可代表多个无权重子句。
• 通过一种结合I型和II型学习自动机反馈的新颖反馈机制，联合学习子句构成与实值权重。
• 以大小为pk的单次二项分布抽样替代k个独立的伯努利试验，随后进行均匀抽样，更高效地生成反馈。
• 通过加权子句输出的多数投票机制进行最终预测，权重在训练过程中学习以最大化准确率。
• 采用改进的学习自动机更新规则，结合基于反馈的权重调整，实现子句影响的动态调节。
• 将该方法应用于使用二值特征构成的命题逻辑子句的二分类任务，权重通过端到端方式学习。

实验结果

研究问题

• RQ1 在Tsetlin机器中使用实值子句权重是否能在不损失准确率的前提下减少所需子句数量？
• RQ2 所提出的二项分布采样方案是否显著降低训练时间，相比标准伯努利采样？
• RQ3 WTM是否能在相同子句数量下实现高于标准TM的测试准确率？
• RQ4 WTM在MNIST、IMDb和Connect-4等多样化数据集上的内存和计算效率表现如何？

主要发现

• 在MNIST上，WTM仅用标准TM所需子句数量的1/4，即达到98.63%的测试准确率。
• 在IMDb上，WTM在每类25,000个子句的条件下达到90.25%的准确率，优于标准TM在相同条件下的89.80%。
• 在Connect-4上，WTM使用200个子句达到87.32%的准确率，与标准TM使用10,000个子句的性能相当——子句数量减少50倍。
• 二项分布采样方案使样本生成时间相比标准伯努利采样减少了7倍。
• 在相同子句数量下，WTM在所有三个数据集上均持续优于标准TM，展现出更高的表达能力和效率。
• 尽管权重更新带来了额外计算开销，WTM在Connect-4上每轮训练的平均时间减少了19%，在IMDb上减少了12%。