[论文解读] Testing for separability is hard

Federico Echenique|arXiv (Cornell University)|Jan 18, 2014

Statistical Methods in Clinical Trials参考文献 6被引用 6

一句话总结

本文证明，在消费者数据中测试可分偏好是NP完全问题，这意味着即使商品数量很少，其计算也是不可行的——具体而言，当仅有9种商品时，该问题依然困难。证明通过将3-SAT问题约化为显示偏好数据，表明在一般情况下，不存在能够高效测试可分性的算法，这解释了为何实证测试在应用微观经济学中很少被使用。

ABSTRACT

This paper shows that it is computationally hard to decide (or test) if a consumption data set is consistent with separable preferences.

研究动机与目标

• 确定在消费者数据中测试可分偏好是否具有计算可行性。
• 证明判断数据集是否与可分偏好一致的问题是NP完全问题。
• 证明即使商品数量固定且较少，该计算困难依然存在——这与先前研究的渐近结果相反。
• 解释为何现有的可分性检验方法对于大规模或现实数据集不切实际。
• 确立可分性测试本质上是困难的，不仅因为数据规模，更因为其内在的组合复杂性。

提出的方法

• 本文将3-SAT问题约化为显示偏好数据集，以证明NP完全性。
• 构建了一个包含9种商品的数据集，其中显示偏好关系编码了3-SAT公式中变量的真值赋值。
• 对于每个变量，在R²中定义两个组合（z₁ᵢ, z₂ᵢ）以表示真值和假值赋值，并将其嵌入多个子句中。
• 通过使用大常数（例如M·2ˡ）构造价格和组合，以确保不同子句之间的显示偏好关系是无环且与真值赋值一致的。
• 该构造利用可分性，确保不同子句中变量组合之间的比较保持不变，依赖于一个效用函数u(z)，其对z组合的排序具有一致性。
• 最后定义一个效用函数v(u(z), o)，以解释完整的显示偏好结构，通过精心安排组合与价格的顺序，确保显示偏好图的无环性。

实验结果

研究问题

• RQ1 在给定的消费数据集中，测试其是否与可分偏好一致在计算上是否可行？
• RQ2 当商品数量固定且较小时，测试可分性的计算困难是否依然存在？
• RQ3 能否通过从3-SAT的约化来证明显示偏好理论中可分性测试的NP完全性？
• RQ4 为何现有的可分性检验方法（如Varian或Cherchye等人提出的方法）在现实世界数据集中计算上不切实际？
• RQ5 为了在可分性下确保显示偏好图的可理性化，其结构属性需要具备哪些必要条件？

主要发现

• 测试可分偏好是NP完全问题，意味着除非P = NP，否则不存在多项式时间算法可解决该问题。
• 即使仅有9种商品，该计算困难依然存在，而这一数量正是Deaton（1974）等经典消费研究中使用的商品数。
• 该证明构建了一个显示偏好数据集，其中可分偏好对数据集的可理性化恰好对应于3-SAT公式存在满足赋值。
• 该构造确保只有当3-SAT公式可满足时，显示偏好关系才是无环的，从而将逻辑可满足性与经济可理性化联系起来。
• 即使所有组合与价格均为有理数，该结果依然成立，使得构造在算法上成立，并避免了无理数带来的问题。
• 本文表明，可分性测试本质上是困难的——不仅由于数据规模，更由于显示偏好结构内在的组合复杂性。