google 新系统|Google在新一代内容索引系统采用的是分布式数据处理系统Percolator

发布时间：2008-05-27 来源：系统安全点击：

小中大

字号：

手机查看

【www.quanqiunao.cn--系统安全】

Google在新一代内容索引系统中放弃了MapReduce，替代者是尚不为人知的分布式数据处理系统Percolator。

　　The Register报道，Percolator是一种增量处理平台，它能持续更新索引系统，无需从头重新处理一遍整个系统。Google的工程师计划在下个月举行的年度USENIX Symposium 会议上公布Percolator相关论文。为了提高效率，MapReduce和其它批量处理系统创造了大数据批量，因此无法处理单个小规模的数据更新。Percolator系统便是为了解决这一问题，它能对一个大数据集增量处理更新。用Percolator替代MapReduce，每天处理相同数量的文档，能在搜索结果中将文档平均年龄（average age）减少50%。

本文来源：http://www.quanqiunao.cn/anquanzhongxin/3512/