最近一段时间，关于Hadoop有很多坏消息。在2018年10月，最大的两个Hadoop发行版厂商Cloudera和Hortonworks宣布合并，抱团取暖，最近由于财报不太好，高层也离职了。还有第三大Hadoop发行版厂商MapR差点破产，幸亏最后被HPE收购。
其实，大家不要恐慌，这个只是Hadoop发展中的正常调整，主要是原来Hadoop太🔥了，跌落神坛而已。

其实，Hadoop的收入一直保持增长。Gartner说，领先的Hadoop供应商（亚马逊，Cloudera，Hortonworks和MapRTechnologies）的2017年收入增长了54％，达到12亿美元，占DBMS市场总量的3.2％。越来越多的客户每年在Hadoop软件上花费超过10万美元 - 甚至超过100万美元。这证实了Gartner的观察，即成功部署已经完成，并表明历史上低的整体增长率开始发生变化。
其实，从Gartner的统计数据看，Cloudera、Hortonworks和MapR去年的收入都在增长，只是增长不太高。大家可以看到，增长最高的基本都是公有云玩家，还有华为（也有公有云，但规模较小），MongoDB。


Hadoop的存储正在转型：Amazon S3，Azure ADLS和其他产品越来越成为新数据湖的目标。亚马逊于2016年底宣布Athena进行本地S3查询，并且看到采用率迅速增长，突出了原生云平台软件为所有其他供应商所代表的竞争挑战的一个方面。这种对原生云对象存储的采用继续增加势头，取代了HDFS在许多云驻留部署中的使用。内部产品，EMC的ECS，Minio和Red Hat的Ceph存储，与S3兼容，并且引起了人们的兴趣。此外，Hortonworks已将其ApacheHadoop Ozone对象存储发布为alpha，这表明在公共对象存储上的混合部署可能是本地玩家用于竞争的未来战场。
专业供应商的地理扩张使他们遇到了一些令人惊讶的新进入者，特别是在中国，Transwarp Technology（上海），华为等公司已经在他们去年报告的数百名客户的基础上进行了建设。Gartner名单里面的中国公司还有东方金信。
尽管供应商和部署环境各种各样，以及地理扩展，但基于Hadoop的项目超出试验阶段仍然具有挑战性。虽然供应商数据显示六位数和七位数的交易增长，但如果Hadoop仍然是不愿意在设计，部署，产品成熟度和技能挑战上挣扎的组织的相关选择，那么还有很多工作要做。
其实，Hadoop狭义来说，是Apache的一个开源项目，包含大家熟知的HDFS、MapReduce和YARN等。HDFS可以理解为一个分布式文件系统的简化版，它放宽了一些POSIX要求，也加了一些限制，如不能在任意点更新，以实现对文件的流式访问。

不过，由于HDFS采用集中式的元数据节点，因此其扩展性和可靠性一直被外界所诟病。再加上存储不能独立扩展（其实HDFS也可以独立部署data node，我们叫Remote HDFS，这样扩展性略好一些），不是数据湖的理想底座。


这样的存储解决了HDFS的扩展性和不能独立扩展的问题，但是性能一般来说比HDFS要差些。

也有一些公司推出专用的对象存储Hadoop HDFS客户端取代S3A，这样可以取得更高性能，并且支持追加写。

国外公司，以Dell EMC ECS的HDFS Client最为大家熟知。还有其他IBM、NetApp、Pure Strong、MinIO、Redhat厂商，他们怎么做，性能如何，我将在闪存峰会上和大家一一分享。

既然是闪存峰会，我必然也会分享一下Intel最新的全闪存S3A的测试结果，看看作为Hadoop后端存储，全闪是否还有优势，大家不要错过哦。

而且，最近的Gartner研究数据表明，Hadoop的部署和需求仍然很大并且正在增长。在最近的一项调查中，有235名受访者表示，34％的受访者目前正在使用Hadoop进行数据和分析工作，另有55％的受访者计划在未来24个月内进行调查，总计达到89％。这是Gartner2016年研究以来的需求大幅增加。

因此，如果对象存储对Hadoop的对接分析性能和本地HDFS相当的话，将为成为企业数据湖的理想底座。
要获得更多西瓜哥的独家解读，请来参加本周四22日在杭州举办的全球闪存峰会，我会在ABC分论坛最后一场压轴演讲等待大家。








长按二维码向我转账


受苹果公司新规定影响，微信 iOS 版的赞赏功能被关闭，可通过二维码转账支持公众号。

















已同步到看一看



取消
发送


我知道了








朋友会在“发现-看一看”看到你“在看”的内容
确定













已同步到看一看写下你的想法



最多200字，当前共字
发送







已发送







朋友将在看一看看到
确定



写下你的想法...









取消
发布到看一看
确定




最多200字，当前共字








发送中













微信扫一扫
使用小程序







取消
允许






即将打开一个新页面

取消
允许








确定