存档

文章标签 ‘hadoop’

hadoop && Test (二)

2011年12月26日 吴颖敏 没有评论

hadoop做为分布式计算系统广泛的应用于搜索,BI,数据仓库分析等领域。 之前hadoop && Test (一)中,Jason简单介绍了相关的测试。 这里Jason将可能用到的MapReduce端的调优点做下Memory。 除了在MapReduce端进行的响应调优外,RPC,  NameNode锁、JobTracker锁及DataNode都有相关的调优地方。包括以整体的调度器设计将会影响整体的性能。 Map端: Reduce端: hadoop的确是非常给力的
................Read More

hadoop && Test (一)

2011年12月7日 吴颖敏 没有评论

hadoop做为现在非常流行的海量数据处理方式被越来越多的公司所接受,多hadoop的兴趣来源于《web数据挖掘》这本书, 神奇的各种规律,更多的理解了搜索及后台BI系统处理的逻辑,这里将对hadoop在测试中可能会做到的运用及hadoop如何进行测试留下点memory,开始新的征途 hadoop的整体工作可以看做一个非实时的数据源分析。它充分利用集群的威力高速运算和存储。 Hadoop实现了一个分布式文件
................Read More

腊月书荐

2011年11月22日 吴颖敏 1 条评论

又到了一月一次的读书推荐了,马上12月了,时间真的fly得好快,昨天在超市已经看到圣诞树了呢 周末扫荡了一下书城,入手一些数据仓库及后台数据处理系统的书籍,也对现在如火如荼的搜索行业有个全面的了解。 12月就靠下面的书度过了 数据仓库(原书第4版) Web数据挖掘 数据仓库与数据挖掘原理及应用(第二版) Hadoop权威指南 决策支持系统与智能系统 马上就要新年了,期待2011年的第一场雪
................Read More

分类: 随感 标签: , ,