Zade's Weblog

程序人生

HDFS的效率

2条评论 Posted by 于 2011年04月12日

HDFS整个使用java写的,通过一些其他的手段也可以跨语言访问,比如c(内部使用JNI实现的)

我曾经一度担心HDFS的效率,后来释然了,因为这里面的主要瓶颈肯定是在流数据的读写上,而不是语言造成的差异上.

这个可以通过以后的对hadoop的熟悉而逐渐的验证

Hadoop

2 responses to “HDFS的效率”

  1. Yungang 2011年04月13日 2:08 上午

    没玩过Hadoop，但其效率应该不是很好。如果要快速搭系统还可以，如果要追求效率那还是考虑其他结构，有一些基于MPI的MapReduce库了。实验室有人嫌Hadoop效率太低，自己写了一个并行框架，确实提高不少。
    另外，你现在还在所里吗？

    回复
    • zadecn 2011年04月13日 9:12 上午

      我现在在百度公司,做一些社会化网络的产品.

      因为我关注到facebook从2010年开始使用hbase搭建他们的网站,而hbase又是基于hdfs的,所以关注了一些hdfs的内容.

      BTW,你在princeton?

      回复

留下评论