位置：新闻 > 新闻详情页
Fundamental Research 2021年第1卷第5期封面
分块集成（DC）算法为大数据分析提供发展前景
我们正处于数据呈现井喷式增长的时代，大数据已成为当前前沿研究和应用的热点问题，随着社会经济与科技活动变得日益互联多元，形成海量超高维的数据资源，这些资源与现代信息技术的结合极大地推动了大数据产业链的形成，科学技术的进步。在现代生活的各个领域，大数据的价值日益突显，例如，越来越多的机构收集存储并分析大数据，背后所蕴藏非常丰富的商业价值及科学价值。一般来说，大数据是指无法用一台机器进行数据处理与分析的数据集，因此传统的统计和计量分析方法，无论是计算方法还是统计理论，不再适用。为应对大数据计算上的挑战，有一些质朴而直观的算法先后被提出，如分块集成（Divide and Conquer ）算法（下称 DC算法）与最优子抽样算法。DC算法指的是先将大数据集随机分为多个小数据集，并在多台子机器上分别进行运算，再将得到的运算中间结果在中心机器上整合，以构成最终的输出结果，参见图1。这个算法具有交互有效，运算速度快等优点。但是，算法的成功往往需要设计一个稳健且有效的整合多个中间结果的方法，而且还需要考虑数据传输的效率。
图1 Divide and Conquer 算法. 来源：DATA FLAIR
以上内容节选自期刊Fundamental Research 2021年第5期发表的文章 S. Song, Y. Lin, Y. Zhou, et al., Linear expectile regression under massive data, Fundamental Research 1(5)(2021)574–585
请识别二维码下载PDF原文
主要作者简介
周 勇 华东师范大学经管学部教授，统计交叉科学研究院院长，国家杰出青年科学基金获得者，中国科学院百人计划入选者，国务院政府特殊津贴专家，“新世纪百千万人才工程”国家级人选，国务院学位委员会第七届统计学科评议组成员。现任教育部应用统计专业硕士教学指导委员会委员、中国统计学会副会长、中国优选法统筹法与经济数学研究会副理事长、中国管理科学学会常务理事。主要从事大数据分析与建模、金融计量、风险管理、计量经济学、统计理论和方法等科学研究工作。先后承担并完成国家杰出青年科学基金项目、国家自然科学基金委员会重点项目等项目10余项，曾获得省部级奖励2项。在 The Annals of Statistics、Journal of The American Statistical Association、Biometrika、Journal of Econometrics和Journal of Business & Economic Statistics 等期刊发表学术论文近200篇。
宋珊珊 香港中文大学统计系博士后研究员。主要研究兴趣为大数据分布式计算、大数据子抽样技术、高维数据统计推断、变量选择、半监督学习。目前共发表SCI论文2篇。
期刊主页：
https://www.keaipublishing.com/en/journals/fundamental-research/
文章阅读：
www.sciencedirect.com/journal/Fundamental-Research
投稿系统：
www.editorialmanager.com/fmre
查看更多本期信息，点击文末“阅读原文”，欢迎阅读、下载及引用！
