零零客微文大全00ke.net

  • 冯诺依曼架构的 IO 鸿沟,谁能来填补?
  • 来源:CSDN

图片

图片

作者 | 宋慧

头图 | CSDN 下载自东方 IC

随着AI技术、数据分析等领域兴起,数据变得越来越重要了,数据处理往往需要用到大量的内存,数据量爆发式增长让各种内存密集型应用层出不穷,如Redis数据库、SAP HANA企业核心系统。在CSDN 2019、2020年度的开发者调查数据中,有四成的开发者在数据收集和消息处理中采用Redis,并且比例在逐年上升。

不过现阶段的困境是,底层基础设施的发展却未能完全匹配数据爆炸的需求。

随着5G和网络性能的提升,计算存储网络三部分中的存储短板问题变得更加突出,内存的容量密度及速度与处理器的核数增长之间的差距越来越大,内存成为了短板。为了让机器得以处理更多的数据,部分企业只能扩大内存,而内存与CPU的配比有限,这又会造成CPU算力的浪费,昂贵的内存也会让企业面临更高的成本压力。

长久以来,虽然分级存储机制已经最大化平衡了各类存储介质的性能与成本要求,但业界对于新存储介质的探索一直未停歇。而在去年,阿里云推出了持久内存实例(简称re6p),更像是向冯诺依曼计算机体系中的终极梦幻存储方案迈进了一步。CSDN近日采访了阿里云ECS弹性计算产品团队负责人王志坤与阿里云持久内存型实例产品经理唐湘华,揭秘阿里云对持久内存实例的设计理念与对存储未来方向的理解。


图片

冯诺依曼架构的难题:“内存墙”


过去近一个世纪,冯诺依曼架构构成了计算机科学的基础。在冯诺伊曼架构中,中央处理器(CPU)通过指令从内存中读取数据,并完成计算,再将数据返回内存保存。冯诺依曼理论模型的一个很重要的假设,就是计算与存储的速度相当。但是一旦出现不匹配,慢的一方会成为瓶颈。

如今,虽然数据量在猛增,但底层技术未能均衡发展。内存的容量密度及速度与处理器的核数增长之间的差距越来越大,内存发展速度跟不上计算核数的增长,内存成为的短板,这就是“内存墙”。

为此,不少企业用提升内存的方式对应对该问题。阿里云弹性计算为了满足客户需求也推出了大内存实例,比如阿里云最近推出了6TB 大内存的实例。然而,如前所述,这又会造成CPU算力的浪费,昂贵的内存也会让企业面临更高的成本压力。这并非长久之计,也难以规模化,需要从底层技术角度解决“内存墙”这个行业难题。

王志坤回忆,自己跟存储颇有渊源,自己在读博士的时候刚好就研究这一领域。“IO在整个计算机也好,服务器也好,一直是比较慢速的设备……冯诺依曼架构为什么有一层缓存系统?就是为了解决我们计算、内存和存储之间的性能鸿沟。”其实早在十几年前,学术界就在致力于研究存储领域的介质,来填补这个鸿沟。学术界和工业界都在寻找一种新型的存储介质,能够同时具备内存级别的性能,和硬盘对数据存储的持久性。

可惜,不少尝试都局限在实验室阶段,缺乏大规模商业化的可能性。

 

图片

打破“内存墙”困境

 

直到这几年,阿里云发现了成熟的、可商用的产品——英特尔傲腾持久内存。该产品重新定义了传统的两级存储架构,性能和形态已经接近内存,而且同时也具备了存储的持久特性。傲腾持久内存与内存的IO性能几乎在相同数量级,但成本大大降低,几乎是为打破内存困境而生。

不过,要发挥这款产品的真正威力,需要非常高的技术能力,仅有少数技术领先的大型企业可以运用得当。阿里巴巴就是其中一家。阿里云启动了研发,希望能将这种能力产品化,让更多的企业低门槛地享受到技术红利。

最终,阿里云基于英特尔傲腾持久内存,赋予了其可为客户提供直接IaaS级云服务的能力,将内存非易失性这种颠覆性的存储架构特性带到了云上。阿里云持久内存实例产品经理唐湘华介绍,阿里云研发推出的持久内存实例提高了单条内存的容量密度,扩大了单颗CPU对应的内存容量,提高了CPU的利用率。持久内存实例应用会帮助用户打破“内存墙”藩篱,获得更高性能的同时,有效降低整体IT基础设施拥有成本(TCO)。

不过,任何IT新的技术从推出到企业级市场落地,企业用户只会用脚投票,拷问新技术与新产品的性价比。所以持久内存在初始期,必定是用来解决IT存储中的短板、最痛的那个问题。

关于持久内存实例的应用场景,阿里云从Redis缓存型数据库、SAP HANA这类典型的内存密集型应用入手,因为这些应用能够最直接地体现介质升级所带来的性能红利。不过唐湘华表示,阿里云团队正在更深入分析持久内存实例,例如在消息队列MQ的应用场景,可以大幅度地降低消息的长尾延时和业务抖动。除了作为内存的低成本替代品之外,傲腾持久内存也可以作为SSD来使用,在游戏前端、直播前端这些高负载、高并发的IO密集型应用中,持久内存实例想象空间将更加巨大,这也会是阿里云弹性计算的重点发力方向。


图片

持久内存实例,从技术到产品


傲腾持久内存听起来具有如此巨大的优势,但所有新技术在早期较高的技术研发门槛,是让用户望而却步的主要原因。

从全球领域来看,很多传统服务器厂商也在推出持久内存产品,客户购置回来却很难直接使用。除了技术门槛,新介质与已有IT资源的兼容也是需要解决的问题。而云端的优势是用户可以随时随地享受到弹性计算的产品迭代、享受到最新的存储介质。同时,云厂商的多种付费模式,也会降低用户使用门槛。通过云厂商,用户可以非常低的门槛使用持久内存,应用于自身的业务,而这几乎是所有企业级生意的最佳切入模式。

所以当业界还在讨论持久内存与DRAM性能对比、持久内存适用的场景和用例时,阿里云已经正式推出了基于英特尔傲腾持久内存的产品。不过,全球知名的云计算厂商有很多,为什么是阿里云,成为全球率先推出商业化的持久内存实例的云服务商?这是更有趣的问题。

作为推崇技术普惠宗旨的云计算厂商,阿里云既是最贴近用户一方需求的技术资源提供者,也是将高深技术规模化商用、降低技术门槛的变革者。

王志坤认为,阿里云的体量与规模发展到一定阶段,在服务客户过程中看到了客户的诉求,原来的大内存实例十分昂贵,无疑是不符合云计算的普惠原则。不过,在云端将持久内存规模化提供给用户,对技术能力的要求是非常高的。

纵观阿里云的架构,除了有自主研发“神龙”云服务器架构之外,还有“飞天”云操作系统、“盘古”存储平台、“洛神”网络平台、PolarDB云原生数据库等等,构成了统一的云平台,让阿里云具备了从虚拟化层到操作系统内核层全链路的整合与调优能力。这些能力最终使得阿里云弹性技术团队对持久内存的产品化研发变得更加敏捷。

“阿里云所有的弹性计算产品全部是基于神龙架构的。我们所有的虚拟化工作,得到了极大简化,我们整个飞天云操作系统底层的很多工作,都是由我们神龙芯片来完成的。这也大大提升了引入AEP这种新型存储介质对于整个产品迭代演进的速度。”王志坤表示。

阿里云全面融合了英特尔持久性内存的产品特性,在Redis数据库中,阿里云从虚拟化层到操作系统内核层,全链路进行了优化加速。

在应用层的优化中,Redis缓存型数据库,是典型的KV数据结构,在持久内存和普通内存同时存在的系统中,尽量将Redis的索引数据放到DRAM(动态随机存取存储器,即原来的内存)而将用户数据放到持久内存中。动态阈值管理数据分布,既可以保证较小的索引数据尽量放到内存中,又可以保证普通内存和持久内存符合一定的容量比列。同时对于一些生命周期较短并频繁访问的数据,阿里云会通过优化将其放置到普通内存中。利用此方法阿里云持久内存实例的性能可以非常接近于DRAM。

而在内核层面,阿里云持久内存实例搭载了阿里云官网操作系统Aliyun Linux,针对Redis应用,阿里云从内存锁操作、进程fork流、内存合并等Redis应用数据流处理及管控关键技术节点上,进行了针对性的优化设计。让运行在持久性内存实例上的Redis数据库读写性能相对于运行在开源Linux操作系统上的性能提升20%以上。

附:阿里云持久内存实例的性能与收益:

  • 性能大幅提升:在Redis等内存型数据应用中,经过阿里云全链路优化,性能相对于运行在开源Linux操作系统上提升20%以上;

  • 超大内存配比:提供1:20超大内存容量配比,更低的价格,更大的内存容量;

  • 断电数据不丢:机器断电数据不丢失,重载速度最快提升高达12倍以上。


图片

未来:存储介质界限模糊,走向软硬一体


就在刚刚过去的2020年底,英特尔的傲腾持久内存已经发布至第二代了。从磁带、磁盘、闪存再到持久内存,存储介质的性能与成本在持续向前迭代演进。每一代存储介质均是逐步退出舞台中央,去承担更低性能的存储归档数据的职责。

阿里云两位专家认为,未来无论介质抑或是产品层面,内存和传统存储的界限在不断趋于模糊,各类存储介质将是长期并存的状态。同时,随着IOT、5G的兴起,数据的量级将继续增大,人们对于数据的访问、检索、处理的要求将越来越高,IO密集型应用也会促使超高性能的存储设备更加广泛地被使用。

从更广阔的角度看,IT系统从硬件主导,进入了云计算的软件定义时代,但在阿里云专家看来,未来软件与硬件不再是IT的两个对立面,阿里云从神龙架构和芯片开始,已经走向软硬一体的下一个时代。软硬一体化将让阿里云作为一个整体去接纳新的介质、新的技术,提升迭代速度。

5G、人工智能的普及,数据量爆发式增长,让数据的流动与应用变得更加普遍,对海量数据的快速处理将是一切人工智能创新的基础。未来,阿里云在AI、大数据等方向对软硬一体化、芯片化的探索,仍将不停向前。

科技

  • @所有人注意:4年前就取消了!你还在交钱吗?
    @所有人注意:4年前就取消了!你还在交钱吗?
    在很多人记忆里,“长途漫游费”从2017年开始就已经成为了历史。这一年,在工业和信息化部、国务院国有资产监督管理委员会等部门的要求下,三大电信运营商于9月1日全面取消了国内手机长途和漫游费(不含港澳台地...
    哈尔滨日报
  • 煤矿井下5G覆盖数据分析
    煤矿井下5G覆盖数据分析
    2020年5GtoB显著加速,垂直行业逐渐成为5G的重要用户,并深入参与到5G网络能力的验证工作,以考察5G是否满足行业的需求。在测试中,由于业务需求不统一、测试场景单一、未考虑设备厂家能力等因素,造成了行业用...
    网优雇佣军
  • 物联网大规模采用面临的挑战
    物联网大规模采用面临的挑战
    关键讯息,D1时间送达!消费者物联网可以解决潜在客户未知的痛点,这种感知价值的缺乏正在造成巨大的采用障碍。虽然市场上有一些产品,但是很少有产品能够在集成的硬件、软件和连接性之间找到适当的平衡,以创造...
    企业网D1net
  • 美国制裁三年后,华为定调下一步发展:软件和车是重点
    美国制裁三年后,华为定调下一步发展:软件和车是重点
    华为希望寻找软件方面的机会,比如云计算,以提升软件及服务在华为的收入占比。徐直军重申,即便小米都造车了,华为也不会造自有品牌的电动车在仓促应对完美国的三轮制裁之后,华为就2021年的发展方向定调。4月1...
    财新科技
  • 运营商加速调整子公司究竟为哪般?
    运营商加速调整子公司究竟为哪般?
    电信运营商成立或调整专业领域的子公司,早已是稀松平常的事情。但是,近一年以来,各运营商重大行动不断,例如,中国电信将天翼电子商务公司从上市公司剥离至集团公司,拟定成立天翼云科技有限公司;中国移动成...
    通信世界
  • “人脸识别第一案”迎来终审判决 当个人信息安全被侵犯应如何维权
    “人脸识别第一案”迎来终审判决 当个人信息安全被侵犯应如何维权
    “人脸识别第一案”于2019年秋季立案,持续引发社会关注。近日,该案件在杭州市中级人民法院二审宣判,历时一年半,终尘埃落定。从审判结果来看,有欣喜,也有些许遗憾。欣喜的是,人脸识别、指纹识别等生物识别...
    安防展览网
  • 讯石专访|武汉永鼎光电子:从芯片到器件 以技术、可靠性、性价比赢得市场
    讯石专访|武汉永鼎光电子:从芯片到器件 以技术、可靠性、性价比赢得市场
    新闻导读讯石专访武汉永鼎光电子副总经理徐炎先生,了解公司的发展历程及现状。武汉永鼎光电子重点产品为芯片类器件和光电集成模块,为国外的系统商提供无热型AWG等产品,为数据中心光模块公司提供CWDM4/LAN-WDM...
    讯石光通讯
  • “不造车”的华为敲定三大车企合作伙伴
    “不造车”的华为敲定三大车企合作伙伴
      4月12日,华为公司第18届全球分析师大会在深圳开幕,华为轮值董事长徐直军在会上阐述了下一个十年华为的五大战略重心,并详解“华为为何不造车”。  徐直军表示,华为未来将强力投资智能汽车产业部件,做...
    上海证券报
  • SASE与零信任一个都不能少
    SASE与零信任一个都不能少
    零信任和SASE这两种安全模型到底是什么关系?在后新冠时代,面临企业数字化转型中不断增长的网络威胁攻击面,企业应当选择哪种安全模型/安全建设策略?随着IT环境的去中心化发展,企业面临的零信任相关安全问题...
    安全牛
  • 高通机器人RB5平台:智慧大脑,卓越视觉
    高通机器人RB5平台:智慧大脑,卓越视觉
    早上起床,让机器人冲一杯香醇的咖啡,周末闲暇时,与机器人来一场乒乓球对战。这样的场景,是科幻电影吗?在高通机器人RB5平台的支持下,机器人咖啡师和机器人乒乓球陪练,都已经成为现实。搭载高通机器人RB5平...
    Qualcomm中国
  • 2021年美国网络安全:制止疯狂
    2021年美国网络安全:制止疯狂
    E安全4月12日讯 据近日美国媒体报道:2021年网络安全的挑战比以往任何时候都更大。幸运的是,正确的战略防御措施甚至可以帮助价值最高的目标经受严峻的攻击。软件已吞噬了整个世界。结果,世界可以被黑客入侵...
    E安全
  • 它,堪称鼠标手势界的 TC。那么,TC 是什么?
    它,堪称鼠标手势界的 TC。那么,TC 是什么?
    先来解释标题吧,“鼠标手势界的 TC” 是该软件的汉化作者给出的评价,对于了解 TC 的同学来说,算是非常高的评价了。那么,TC 是什么?TC 全称 Total Commander,是一款 28 年前诞生的 Windows 文件管理器,至...
    小众软件
  • 机器学习漫谈:深度学习的辉煌
    机器学习漫谈:深度学习的辉煌
    来源:王宏琳科学网博客如今,当有人提到人工智能引起社会变革潜力时,他们很可能是在谈论机器学习中的人工神经网络。当一篇文章谈人工神经网络突破性进展时,作者很可能指的是深度学习。人工神经网络是一种非线...
    人工智能学家
  • 英伟达CPU问世:ARM架构,对比x86实现十倍性能提升
    英伟达CPU问世:ARM架构,对比x86实现十倍性能提升
    机器之心报道机器之心编辑部收购 Arm 还没有定论,但英伟达的 Arm 架构 CPU 已经出现了。英特尔现在可能正感受到不一样的压力。「只需一张 GeForce 显卡,每个学生都可以拥有一台超级计算机,这正是 Alex Krizhe...
    机器之心
  • 机器人觉醒了,我们呢?
    机器人觉醒了,我们呢?
    “我让语音助手把灯关了,结果它不仅把灯开个不停,还发出冷笑。”3年前,全球各地不少人被亚马逊智能音箱接到指令后发出的冷笑吓得够呛。今天,又有不少人拍下家里两台智能音箱煞有介事互相聊天的视频,加上“...
    半月谈
1 2 3 4 5 >> 

公众号 • CSDN

Flag Counter