[论文解读] The effect of dataset size and the process of big data mining for investigating solar-thermal desalination by using machine learning

Guilong Peng, Senshan Sun+7 more|arXiv (Cornell University)|Jul 24, 2023

Solar-Powered Water Purification MethodsEnergy被引用 3

一句话总结

本研究开发了一套用于太阳能-热力海水淡化的大数据挖掘优化管道，结合机器学习技术，通过超亲水冷凝罩将数据采集时间减少了83.3%，并生成了超过1,000组高质量数据集。研究结果表明，当数据集规模超过1,000时，随机森林模型优于其他模型，在外推预测中实现了最低4%的平均相对预测误差；同时发现数据集范围显著影响特征重要性，加权值变化幅度高达115%。

ABSTRACT

Machine learning's application in solar-thermal desalination is limited by data shortage and inconsistent analysis. This study develops an optimized dataset collection and analysis process for the representative solar still. By ultra-hydrophilic treatment on the condensation cover, the dataset collection process reduces the collection time by 83.3%. Over 1,000 datasets are collected, which is nearly one order of magnitude larger than up-to-date works. Then, a new interdisciplinary process flow is proposed. Some meaningful results are obtained that were not addressed by previous studies. It is found that Radom Forest might be a better choice for datasets larger than 1,000 due to both high accuracy and fast speed. Besides, the dataset range affects the quantified importance (weighted value) of factors significantly, with up to a 115% increment. Moreover, the results show that machine learning has a high accuracy on the extrapolation prediction of productivity, where the minimum mean relative prediction error is just around 4%. The results of this work not only show the necessity of the dataset characteristics' effect but also provide a standard process for studying solar-thermal desalination by machine learning, which would pave the way for interdisciplinary study.

研究动机与目标

• 解决太阳能-热力海水淡化应用中机器学习存在的数据稀缺与分析不一致问题。
• 减少实验性太阳能蒸馏研究中数据集采集所需的时间。
• 为太阳能-热力海水淡化研究开发一种标准化、跨学科的大数据挖掘流程。
• 探究数据集规模与范围对机器学习模型性能及特征重要性的影响。
• 利用训练好的模型实现对海水淡化产水率的准确外推预测。

提出的方法

• 对冷凝罩实施超亲水处理，以提升冷凝效率并加速数据采集。
• 通过优化的数据采集协议，收集了超过1,000组实验数据集，数量接近以往研究的十倍。
• 实施一种新型跨学科流程，整合实验设计、数据预处理与机器学习模型评估。
• 采用随机森林、XGBoost及其他模型，在不同数据集规模下评估预测精度与计算速度。
• 利用基于置换的特征重要性分析方法，评估数据集范围对加权特征贡献的影响。
• 通过独立测试集验证模型在外推任务中的性能，实现低平均相对预测误差。

实验结果

研究问题

• RQ1 增加数据集规模如何影响太阳能-热力海水淡化预测中机器学习模型的性能与选择？
• RQ2 数据集范围在多大程度上影响机器学习模型中输入因素重要性的量化结果？
• RQ3 机器学习模型能否在外推预测中实现高精度，即预测超出训练数据范围的产水率？
• RQ4 在大规模太阳能-热力海水淡化数据集下，哪种机器学习模型在准确率与速度方面表现最优？
• RQ5 如何优化数据采集流程，以显著缩短时间同时保持数据质量？

主要发现

• 与传统方法相比，超亲水处理使数据采集时间减少了83.3%。
• 共收集了超过1,000组高质量数据集，数量接近现有研究的十倍。
• 当数据集规模超过1,000时，随机森林模型表现最优，兼具高准确率与快速推理速度。
• 数据集范围对特征重要性值的影响最高可达115%，表明其对数据分布具有强烈敏感性。
• 机器学习模型在外推任务中实现了最低4%的平均相对预测误差，展现出强大的泛化能力。
• 本研究建立了一套标准化、可复现的机器学习应用流程，适用于太阳能-热力海水淡化研究。