一、mapreduce是根据map函数里调用的emit函数的第一个参数来进行分组的
Map-Reduce是一种计算模型,简单的说就是将大批量的工作(数据)分解(MAP)执行,然后再将结果合并成最终结果(REDUCE)。
使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数, Map 函数调用 emit(key, value), 遍历 collection 中所有的记录, 将key 与 value 传递给 Reduce 函数进行处理。Map 函数必须调用 emit(key, value) 返回键值对。
参数说明:
1. map :映射函数 (生成键值对序列,作为 reduce 函数参数)。
2. reduce 统计函数,reduce函数的任务就是将key- values变成key-value,也就是把values数组变成一个单一的值value。
3. out 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
4. query 一个筛选条件,只有满足条件的文档才会调用map函数。(query。limit,sort可以随意组合)
5. sort 和limit结合的sort排序参数(也是在发往map函数前给文档排序),可以优化分组机制
6. limit 发往map函数的文档数量的上限(要是没有limit,单独使用sort的用处不大)
//测试数据准备 db.user.drop(); for(var i=10; i< 100; i++) { db.user.insert({ name:"user" + i, age : Math.floor(Math.random()*10)+ 20, sex : Math.floor(Math.random()*3)%2 ==0 "C" + i%5 }) } // runCommand运行方式 db.sales.runCommand({ mapreduce: "user", map: function(){ if(this.class == "C1") { emit(this.age, this.age); } }, reduce: function(key,values){ var maxValue = Max(key, values); return maxValue; }, { out: {inline: 1}, query : "", sort: "", limit: "", } }) db.user.mapReduce( // 映射函数,里面会调用emit(key,value),集合会按照你指定的key进行映射分组。 function(){ // 按照emit函数的第一个参数进行分组 // 第二个参数的值会传递给reduce emit(this.age, this); }, // 简化函数,会对map分组后的数据进行分组简化 // 在reduce(key,value)中的key就是emit中的key, vlaues为emit分组后的emit(value)的集合 function(key, values){ var maxValue = Math.max(key, values); return maxValue; }, // 可选参数 { query: {sex: "F"}, out: "result", sort : {}, limit : 0 } )
执行结果:
{ "result" : "result", // 存放的集合名 "timeMillis" : 23, "counts" : { "input" : 29, // 传入文档的个数 "emit" : 29, // 此函数被调用的次数 "reduce" : 6, // 此函数被调用的次数 "output" : 8 // 最后返回文档的个数 }, "ok" : 1 }
查看返回的结果:
db.result.find()
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
暂无评论...
更新日志
2024年11月18日
2024年11月18日
- 群星《2022年度发烧天碟》无损黑胶碟 2CD[WAV+CUE][1.4G]
- 罗文1983-罗文甄妮-射雕英雄传(纯银AMCD)[WAV+CUE]
- 群星《亚洲故事香港纯弦》雨果UPMAGCD2024[低速原抓WAV+CUE]
- 群星《经典咏流传》限量1:1母盘直刻[低速原抓WAV+CUE]
- 庾澄庆1993《老实情歌》福茂唱片[WAV+CUE][1G]
- 许巍《在别处》美卡首版[WAV+CUE][1G]
- 林子祥《单手拍掌》华纳香港版[WAV+CUE][1G]
- 郑秀文.1997-我们的主题曲【华纳】【WAV+CUE】
- 群星.2001-生命因爱动听电影原创音乐AVCD【MEDIA】【WAV+CUE】
- 林志颖.1994-别了晴雨的回忆【飞碟】【WAV+CUE】
- 群星《经典咏流传2》限量1:1母盘直刻[低速原抓WAV+CUE]
- 【蓝卡唱片】卫海霞《乐海霞音珍藏版》WAV分轨
- 杨小琳《金装杨小琳》24K金碟特别版[低速原抓WAV+CUE]
- 群星《国风超有戏 第8期》[320K/MP3][30.32MB]
- 群星《国风超有戏 第8期》[FLAC/分轨][157.37MB]