2012 年文章归档
共 9 篇文章
对Hadoop的SWOT分析
在当前大数据研究与应用如火如荼的时代,Hadoop毅然成为业界的翘楚。我想本着客观的态度,从旁观者的角度分析当前Hadoop所面对的机遇与挑战。在我的认识中,SWOT分析还算全面,所以就选择这样的分析思路。当然,我分析Hadoop的初衷是我认同Hadoop所代表的方向,但不具体只是Hadoop这个产品。这个方向就是以Hadoop为代表的大数据的存储与分析平台。因此后面描述Hadoop的方方面面,同样适用于Hadoop的兄弟们。 SWOT分析是一套标准的认知模型,通过分析目标内部与外部所面临的机遇和挑战,可以对目标有全面准备地了解,一般适用于决策分析。如果想更多地了解SWOT,请参阅 SWOT…
2012-06-01 09:46 · mapreduce
Hadoop离Online系统有多远
长久以来,说起Hadoop,大家只会想到它能承担offline系统的分析工作。的确,它在这个方面做的是很优秀了。如果有人说:Hadoop也可以担当online系统的一部分呀!我们可能就会替这个人悲哀了,是吧?为了更好地认识Hadoop的“所为”,我想暂时抛开技术的细枝末节,逐一梳理下Hadoop的各个组件,试着分析下Hadoop离担当online系统之大任还差哪些。 首先,在我来看,online系统需要有这些特质:稳定、高效、易于管理与监控、易于集成,它们在我认识中依次以重要性排序。能和Hadoop类比的(类似的,只为了举例)online系统有NFS,DB等,它们符合这样的要求。所以这些特质…
2012-05-29 18:43 · hadoop
程序告诉你的事情(节省自己的时间)
系统运行在QA或产品环境上才是真正考虑我们程序员的时候。QA和OP看到任何异常时会求助于我们,然后我们经常的动作可能是:询问QA和OP问题出现的症状,登录到服务器上,查看日志和环境,分析问题。长此以往,发现自己的时间一天天浪费在回复QA:build是老的,网络中断,配置不是最新的,系统初始化失败,。。。 从我自己的经验来看,绝大部分报上来的问题是环境和依赖所导致。我们也不能依靠QAs来检查这些异常吧(他们会认为我们的代码是一头“怪物”)。 自力更生!让自己的程序来告诉我们,为什么现在出错了? 程序运行时,对大家来说,都是黑盒子。如果没有web监控方式,那么日志就是系统最好的“脸面”了,察言观…
2012-05-15 18:55 · 问题总结
文件中行级偏移量的一种获取方式
下面所描述的内容是根据实际需要对BufferedReader的小改进,并提供一张简图来说明所做的修改。如有更方便的方式请回帖或联系dennyy99@gmail.com给予明示,谢谢 如果需要对文件内容建索引,就可能需要每行数据的起始偏移量。下图是文件内容索引的简明结构,目标是为了引出我们对行级偏移量的需求 我们平时都是用BufferedReader来读取行内容,如果在它的基础上能提供行级偏移量岂不更好嘛,因此动手对BufferedReader的源码做了简单修改。因为BufferedReader是不断有buffer去原始的input stream获取内容,然后逐一遍历buffer来组织成行。如…
2012-04-11 18:48 · java
给新人的一些题目
/* @Author: dennyy99@gmail.com @Date: 2012-04-02 */ 好吧,我是有点热心了。看到ItEye上满屏的框架名词的确让人有些悲愤!如果我是一个准备学点Java用来开拓人生的新人,在出入ItEye多次后,可能见过最多的名词是SSH。这不能怪这个氛围,因为招聘要求上也是这样写的。所以许许多多的新人开始追求对SSH的一夜速成:去培训机构、搭环境、跑通例子后义无反顾地陷入到SSH的漩涡中。 揠苗助长,应该是一个很合适的总结吧。还没搞清楚为什么有SSH,它的设计主旨是什么前就开始使用它,怎样听都让人感觉不靠谱。更可怕的是,千万不要让初学者认为这就是Java的…
2012-04-05 11:48 · java
对实时分析与离线分析的思考(二)
接上一篇blog 对实时分析与离线分析的思考 昨天看了S4与Storm的设计,再结合之前对Microsoft的Dryad的了解,感觉有些共性是需要明确的。 在MapReduce这种“分裂-合并”模型出世之前,我们都采用“一层计算”的方式。比如统计“*What I Have Done*”这句话中每个词的出现频度。因为这种问题简单,目标数据量小,所以对我们的计算没有挑战。 分治思想早就有了,但在我印象中比较深刻的例子就是网格计算。把大型计算分裂成小型任务,然后交给志愿者的电脑执行后再合并结果。这也是MapReduce所做的事情。可以把MapReduce称为“两层计算”。核心问题就是利用并行化,解…
2012-02-15 14:20 · hadoop
把买硬盘的钱省下来吧...
这几天看到一篇文章说,到2020年,全球的数据使用量预计将达到35ZB,也就是近400亿个1T硬盘的总量。这还不把我们低效的硬盘利用率计算在内。我也Google了下,今年全球硬盘预计总出货量才8亿块。同时Facebook说用户平均每天上传近2.5亿张照片... 呵呵,这个世界太疯狂,硬盘生产得有多大的增长幅度才能满足这么多宅男宅女的需求呢? 只要有数据存储的需求,总有人会尽力地满足。但从个人或公司的角度来看,买硬盘也得花钱呀。该想想有什么办法花更少的钱了... 我见过的大数据有:视频、图片、服务器日志和用户行为日志。从它们的特点来看:1.冗余度。这些数据可能存储在你我的硬盘上,也存储在网站的…
2012-02-15 11:07 · 其它
对实时分析与离线分析的思考
数据的价值是有时效性的,越早分析越能得到更快的问题反馈或响应。Hadoop的设计初衷是存储与分析离线大数据,我认为它的缺点就是不能及时地利用数据中所蕴含的深层价值。 在做深入分析之前,我想从门外汉的角度来说说我自己理解的实时分析是什么样子的。它的目标很明确:尽快地从数据中挖掘出有用的内容来。这牵扯到把计算移动到哪个地方去的问题。数据源本地?数据传输流中?一个集中存储的地方?对数据的分析越靠近数据源就越有效。但一般的数据源都是业务系统,不能允许数据分析占用它的硬件资源。所以我想当前的一些实时分析系统也是取向于后两种场景。 实时分析过后的数据该怎么办,是抛弃掉还是需要继续存储着呢?我认为对数据的…
2012-02-13 16:06 · hadoop
MapReduce:Job性能调优总结
是时候把去年早期MapReduce调优工作的结果放出来了,丢在Google Doc里太长时间,都落了一身的灰 Benchmark: 对1G数据做wordcount 部分内容: 硬件级别 提高磁盘IO的性能 noatime 我为两台slaves server设置了noatime. vi /etc/fstab.map task的平均执行时间减少两秒,这影响硬盘IO的性能,shuffle的时间也相应地减少了1分钟,不影响reduce的执行时间 client端设置 map与reduce task数量 map task的数量由split的数量决定,split的数据越小,每个map task执行的时间就…
2012-01-11 13:41 · mapreduce