楼主: 时光永痕
625 0

[数据挖掘新闻] 输入太字节内存的时代 [推广有奖]

  • 0关注
  • 14粉丝

svip3

学术权威

12%

(VIP/贵宾)三级

40%

威望
0
论坛币
26 个
通用积分
49.7576
学术水平
4 点
热心指数
4 点
信用等级
4 点
经验
34070 点
帖子
2731
精华
0
在线时间
316 小时
注册时间
2020-7-21
最后登录
2024-4-24

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
输入太字节内存的时代
借助具有成本效益的TB级主内存以及第三方对存储“深刻”变化的观察,英特尔?傲腾?DC持久性内存模块改变了我们对内存容量,分层内存,核外算法,存储的思考方式速度,从本质上讲,我们可以在计算“胖节点”上进行持久存储。
随着拥有超过50个OEM的不断发展的生态系统,ISV和云服务提供商正在探索将英特尔?Optane?DC持久性存储器提供的被夸大的存储容量提高三倍的可能性。如下图所示,Intel Optane DC永久性内存模块看起来非常类似于标准DIMM。据英特尔称,它们“在电气和物理上都与标准DDR4插槽兼容,但它们不打算替代DRAM”。
图1:Intel Optane DC永久存储模块
几项备受瞩目的验证工作证明了成功的应用以及性能和成本节省的好处。我们简要介绍了几个云计算和ISV成功案例,然后深入研究了第三方性能评估,以了解为何英特尔Optane DC永久内存如此引人注目。
Google云亮点
Ned Boden(Google Cloud全球技术合作关系高级总监)在博客中写道:“内存中的工作负载仍然是创新数据管理用例的骨干,但随着需求的增长,对更大内存容量的需求也随之增加。” [ii]总结了现在可以使用Intel Optane DC永久内存构建的支持大内存的系统的“创新优势骨干”。
内存中的工作负载仍然是创新数据管理用例的基础,但是随着需求的增长,对更大的存储容量的需求也随之增加-Ned Boden。Google Cloud全球技术合作伙伴关系高级总监
具体来说,Google Cloud是第一个提供具有Intel Optane DC永久内存的虚拟机(VM)的公共云提供商。初始VM包含7 TB(7 TB)的总内存。那些年纪大的人还记得应用程序能力的显着提高,这是在我们从具有兆字节内存的系统过渡到千兆字节的系统时发生的。现在,我们正处于TB级存储容量的风口浪尖。您也可以在此处注册访问Google Cloud系统来探索这些功能。
英特尔和谷歌云还与SAP合作,评估大内存虚拟机对SAP工作负载的优势,这些工作负载还利用了英特尔Optane DC持久存储功能。SAP表示,早期客户已经在这些新VM上看到了最多的数据重新加载时间[iii],这对于扩展新VM实例非常重要。根据Google博客的说法,“与基于DRAM的VM相比,其总拥有成本(TCO)更低,使用此技术[Intel Optane DC永久内存]的GCP客户不再需要在运营效率与成本之间取得平衡。” [iv]
与仅基于DRAM的VM相比,总体拥有成本(TCO)更低,使用此技术[Intel Optane DC永久内存]的GCP客户不再需要在运营效率与成本之间取得平衡–  Google Cloud博客
其他ISV成功总结
各种OSV使用Intel Optane DC永久内存来实现更低的延迟,更高的吞吐量和更高的应用程序性能:
亚信:亚信*技术,中国最大的业务支持系统(BSS)提供商。延迟是一个大问题,因为它直接影响客户体验。借助Intel Optane DC永久性内存,AsiaInfo可以在处理器附近存储更多数据,如下所示,可以在其中快速访问它们以获取响应速度更快的服务。[v]
图2:英特尔?傲腾?DC持久性存储器减少了AsiaInfo * BSS的查询响应时间(即等待时间)。
Redis Labs:在优化数据库之后,Redis观察到了亚毫秒级的延迟,其成本低于传统的DRAM。基本上,使用低成本Intel Optane DC永久内存的系统在此基准测试中提供了等效的性能。[vi]
图3:维护典型的客户服务水平协议(SLA),降低服务器成本。
Aerospike:永久性的Intel Optane DC永久性内存用于在重新启动和关机周期之间保留数据库索引。因此,可以在满足冗余要求的同时更新软件并执行安全补丁程序。对于Aerospike,数据库重装时间减少了多达135倍。[vii]
加利福尼亚大学圣地亚哥分校的330小时机器时间测试
非易失性系统实验室在装有3 TB Intel Optane DC永久内存的双插槽计算机上执行了330个小时的机器时间测试。[八]他们注意。“这项工作包括对英特尔的Optane DC PMM进行的首次深度,学术性性能评估,探讨其作为主存储设备的功能以及向用户空间应用程序公开的持久性可字节寻址的存储器的能力。”
这项工作包括对英特尔的Optane DC PMM进行的首次深度,学术性性能评估,探讨其作为主存储设备的功能以及向用户空间应用程序公开的持久性可字节寻址的存储器的功能– Izaelevitz等。等
英特尔傲腾DC持久存储功能
像传统的DRAM DIMM一样,Intel Optane DC永久内存位于内存总线上,并连接到处理器的板载内存控制器。永久内存在两种模式下运行:内存模式和App Direct。
记忆模式
内存模式使用Intel Optane DC持久性内存来扩展主内存容量而无需持久性。它将Intel Optane DC永久性内存与常规DRAM DIMM结合使用,该DRAM DIMM充当永久性内存模块的直接映射缓存。缓存块大小为4 KB,CPU的内存控制器透明地管理缓存。CPU和操作系统只会看到更大的主内存池。
图4:处于内存模式的Intel Optane DC永久内存
应用直接模式
在App Direct模式下,永久内存显示为单独的内存池。没有DRAM缓存。而是,系统安装文件系统来管理内存池。英特尔Optane DC持久性内存感知应用程序和文件系统可以通过第二代英特尔?至强?可扩展处理器访问持久性内存,第二代英特尔?至强?可扩展处理器强制执行排序约束并确保崩溃一致性作为持久性内存。这样,可以增强Intel Optane DC永久性存储器作为永久性存储的完整性。
图5:App Direct模式下的Intel Optane DC永久内存
加密
英特尔Optane DC持久性内存模块还通过256位AES-XTP加密引擎提供了模块上加密。
当选择“内存模式”时,模块在上电循环之间通过控制器以加密方式擦除数据,从而模仿了DRAM的易失性。
在App Direct模式下,使用存储在模块上的安全元数据区域中的密钥对持久性媒体进行加密,该密钥只??能由Intel Optane DC持久性存储控制器访问。永久性内存在断电事件时被锁定,需要密码才能解锁。Microsoft bitlocker或Intel实用程序是支持此功能的两个现有工具。
性能
NVSL小组指出,Intel Optane DC永久性存储器与DRAM之间最关键的区别是永久性存储器。(英特尔指出,英特尔DC永久存储器具有接近DRAM的延迟和带宽。)加载和存储性能也不对称。他们提供详细的带宽研究,并鼓励读者检查此研究。
内存模式概述
总体而言,NVSL团队观察到,持久内存模式缓存机制对于较大的内存占用工作负载非常有效。
下面显示了使用Memcached和Redis(均配置为非持久键值存储)管理96 GB数据集时观察到的性能。这是NVSL团队可以装入DRAM进行比较的最大大小。
图6:大型键值存储性能Intel Optane DC持久性存储器可以扩展内存中键值存储的容量,例如Memcached和Redis,第二代Intel Xeon可扩展处理器可以使用常规DRAM来隐藏某些Intel Optane DC持久性内存的延迟。未缓存的Intel Optane DC永久内存的性能比缓存的Intel Optane DC永久内存低4.8-12.6%。尽管性能下降,但持久性存储器仅由于其密度而允许使用比DRAM大得多的数据库。注意:较大的工作量无法装入DRAM。
App Direct模式概述
总体而言,NVSL团队观察到,在App Direct模式下,“ Optane DC将深刻影响存储系统的性能”。
Optane DC将深刻影响存储系统的性能-Izaelevitz等。等
下面显示的数据突出显示,英特尔傲腾DC持久性存储器比基于SATA闪存的SSD提高了基本存储性能,并为文件系统和应用程序提供了很大的余量。同样,鼓励读者详细阅读NVSL报告。
图7:持久存储文件系统中的原始性能与SATA SSD(“ Ext4-SATA”)和基于Intel Optane DC的SSD(“ Ext4-Optane”)相比,Intel Optane DC持久性存储器为基本文件访问性能提供了极大的提升。数据还显示出改进的可伸缩性。
图8:Optane DC和SSD上的应用程序性能这些数据显示了更积极地将Optane DC集成到存储系统中的影响。用SSD中的Optane DC替换闪存可以显着提高性能,但是对于大多数应用而言,与硬件(即,将Optane DC放置在DIMM而不是SSD上)和软件(例如,使用经过PMEM优化的文件系统或重写应用程序以使用内存映射的Optane DC)可获得最高的性能。

关注 CDA人工智能学院 ,回复“录播”获取更多人工智能精选直播视频!


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Microsoft Google Direct INTEL cloud

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-26 00:19