ITeye博客

java

共 14 篇文章

文件中行级偏移量的一种获取方式

下面所描述的内容是根据实际需要对BufferedReader的小改进,并提供一张简图来说明所做的修改。如有更方便的方式请回帖或联系dennyy99@gmail.com给予明示,谢谢 如果需要对文件内容建索引,就可能需要每行数据的起始偏移量。下图是文件内容索引的简明结构,目标是为了引出我们对行级偏移量的需求 我们平时都是用BufferedReader来读取行内容,如果在它的基础上能提供行级偏移量岂不更好嘛,因此动手对BufferedReader的源码做了简单修改。因为BufferedReader是不断有buffer去原始的input stream获取内容,然后逐一遍历buffer来组织成行。如…

2012-04-11 18:48 · java

给新人的一些题目

/* @Author: dennyy99@gmail.com @Date: 2012-04-02 */ 好吧,我是有点热心了。看到ItEye上满屏的框架名词的确让人有些悲愤!如果我是一个准备学点Java用来开拓人生的新人,在出入ItEye多次后,可能见过最多的名词是SSH。这不能怪这个氛围,因为招聘要求上也是这样写的。所以许许多多的新人开始追求对SSH的一夜速成:去培训机构、搭环境、跑通例子后义无反顾地陷入到SSH的漩涡中。 揠苗助长,应该是一个很合适的总结吧。还没搞清楚为什么有SSH,它的设计主旨是什么前就开始使用它,怎样听都让人感觉不靠谱。更可怕的是,千万不要让初学者认为这就是Java的…

2012-04-05 11:48 · java

[Java拾遗]初次尝试BCEL:修改类实现的例子

项目中有个需求:在不修改源代码的情况下,替换某个类的引用为我们自己的实现。用一个类似的简单例子来说明: public class CarHolder { private Car car; public CarHolder() { init(); } private void init() { car = new Benz(); } public void displayCarName() { System.out.println(car.getCarName()); } } 正常情况下执行这个类,当调用displayCarName这个方法时会得到"Hi, my name is Benz",但…

2011-09-15 17:17 · java

[Java拾遗]Java对象大小探究

平时我们不会关心生成的对象到底在JVM中占据多少内存,当发生像OutOfMemory或JVM内存异常增加或减少时才会花精力研究到底发生了什么事情。如果当我们发现有些对象确实很大,但超过我们预期时,我们就该关心下我们所期望创建的每个对象大致会在JVM中占用多少内存呢。这节我会试着以一个更循序诱导的方法来描述,希望可以说的更明白,下面开始: 当遇到OutOfMemory时我们该怎么办? 一般这个时候,作为我们程序员,心都会焦了,急于想知道到底是哪些对象引起内存不足。我们要做的就是dump heap,然后抓出来分析。这里有一张前些时间我也遇到的OOM问题截图: 从图上可以抓到“凶手”,剩下的事情就…

2011-09-07 14:22 · java

闲谈程序中如何打印log

程序中记录日志一般有两个目的:Troubleshooting和显示程序运行状态。好的日志记录方式可以提供我们足够多定位问题的依据。 这周看过很多代码,对里面的日志记录方式有些想法,今天是周末,也想总结下我对这个问题的看法。日志记录大家都会认为简单,但如何通过日志可以高效定位问题可不是简单的事情。这里我会写下面三个方面的内容,主要是举例为主,提醒我以后得注意这些方面 怎样记日志可以方便Troubleshooting 程序运行状态可以记哪些 应该避免怎样的日志方式 方便Troubleshooting的日志: 对外部的调用封装 : 程序中对外部系统与模块的依赖调用前后都记下日志,方便接口调试。出问…

2011-08-13 12:11 · java

[Java拾遗]迭代list过程中删除元素

今天在翻看HDFS中FSImage初始化部分时,其中有段代码是这样的: for (URI dirName : fsNameDirs) { boolean isAlsoEdits = false; for (URI editsDirName : fsEditsDirs) { if (editsDirName.compareTo(dirName) == 0) { isAlsoEdits = true; fsEditsDirs.remove(editsDirName); break; } } } 根据以往经验,这段代码可能会有ConcurrentModificationException发生。在向…

2011-07-20 23:21 · java

某些并发环境下Double-check模型的改进

简单场景: 多线程环境,每个线程携带惟一的key去组装数据,相同的key会有相同的数据结果。为了提高响应速度,在线程访问的入口处设置缓存。线程根据key先从缓存中取数据,如果缓存中没有,线程就去做具体的逻辑处理。 模型如下图:假定每个线程的key如A, B等,同时有多个携带同一key的线程进来。 最基本的处理方式如此: private static Map<String, Object> cache = new ConcurrentHashMap<String, Object>(); //Entry public Object run(String key) { Object result …

2010-11-01 14:26 · java

详解 Too many open files

运行在Linux系统上的Java程序可能会出现"Too many open files"的异常情况,且常见于高并发访问文件系统,多线程网络连接等场景。 程序经常访问的文件、socket在Linux中都是文件file,系统需要记录每个当前访问file的name、location、access authority等相关信息,这样的一个实体被称为file entry。“open files table”(图中橙色标识)存储这些file entry,以数组的形式线性管理。文件描述符(file descriptor)作为进程到open files table的指针,也就是open files tabl…

2010-09-14 18:01 · java

Avro总结(RPC/序列化)

Avro(读音类似于)是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前最新版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。 当前市场上有很多类似的序列化系统,如Google的Protocol Buffers, Facebook的Thrift。这些系统反响良好,完全可以满足普通应用的需求。针对重复开发的疑惑,Doug Cutting撰文…

2010-07-08 18:13 · java

Ketama一致性Hash算法(含Java代码)

一致性哈希算法(Consistent Hashing Algorithm)是一种分布式算法,常用于负载均衡。Memcached client也选择这种算法,解决将key-value均匀分配到众多Memcached server上的问题。它可以取代传统的取模操作,解决了取模操作无法应对增删Memcached Server的问题(增删server会导致同一个key,在get操作时分配不到数据真正存储的server,命中率会急剧下降),详细的介绍在这篇帖子中 http://www.iteye.com/topic/611976 (后文指代这篇文章的地方均称为引文)。 [下面以Memcached的分布…

2010-06-04 15:09 · java

Memcached CAS 协议

什么是CAS协议 Memcached于1.2.4版本新增CAS(Check and Set)协议类同于Java并发的CAS(Compare and Swap)原子操作,处理同一item被多个线程更改过程的并发问题。 在Memcached中,每个key关联有一个64-bit长度的long型惟一数值,表示该key对应value的版本号。这个数值由Memcached server产生,从1开始,且同一Memcached server不会重复。在两种情况下这个版本数值会加1:1、新增一个key-value对;2、对某已有key对应的value值更新成功。删除item版本值不会减小。 例如 Memca…

2010-05-31 16:33 · java

java动态代理学习笔记

没事的时候翻看lang.reflect包下的代码,发现有两部分内容:涉及反射和动态代理。 很多地方都可以看到动态代理的影子,只是一直没仔细看下。 在学习之前,先提出几个问题,带着问题来看代码: 1.什么是动态代理? 2.为什么使用动态代理? 3.使用它有哪些好处? 4.哪些地方需要动态代理? --------------------分隔线----------------------------- 和动态代理有关的有两个类 1.interface InvocationHandler Object invoke(Object proxy, Method method, Object args) …

2009-06-17 16:30 · java

如何实现key, value有序的HashMap?

想要写个key, value有序的HashMap,出现性能问题,大家帮忙给个主意吧。 先说下我的设计思路: LinkedHashMap里面有一个模拟的“双向循环链表”,用来保存entry的插入顺序,我也可以采用这种方法来在插入的时候保存key和value的有序。 这里暂定名为OrderedHashMap,主要代码是从LinkedHashMap抄过来的,它也维护着两个模拟“双向循环链表”:keyHeader和valueHeader,保持key或value由小到大的顺序。当有个元素put进来后,除把它存在散列桶中外,还要在keyHeader按key的大小插入,也要在valueHeader上按va…

2009-05-22 18:33 · java

java主要集合类的数据结构学习

在程序中,集合类每天都在使用,以致于某些代码充斥着List和Map,一直没有机会整理下它们背后的实现原理。这几天不太忙,正好可以看会代码,补充下概念。 和集合类的大致分类类似,下面我也分List,Map和Set来描述。 一. List 1).ArrayList  ArrayList维护着一个对象数组。如果调用new ArrayList()后,它会默认初始一个size=10的数组。  每次add操作都要检查数组容量,如果不够,重新设置一个初始容量1.5倍大小的新数组,然后再把每个元素copy过去。  在数组中间插入或删除,都要移动后面的所有元素。(使用System.arraycopy()…

2009-04-03 13:57 · java