Skip to content
首页 » 硬件压缩

硬件压缩

为什么存储中的硬件压缩不常见?

尽管ScaleFlux和Pure都提供基于闪存的解决方案,但这两家公司正在应对存储市场的不同需求。Pure销售全闪存阵列(AFA)- 这是一个完整的系统,配备了他们自家的专有软件和管理工具。ScaleFlux销售的存储设备适用于任何服务器原始设备制造商(OEM)的系统。ScaleFlux的存储设备不需要安装任何专有驱动程序或新软件。ScaleFlux的CSD(计算存储设备)可以插入到与其他供应商的NVMe SSDs相同的插槽中。 这两家公司都提供数据降低功能。Pure在系统级别管理压缩和去重,类似于其他存储阵列供应商。在阵列级别,他们的重点是最大化数据压缩和去重,通常涉及大块数据的压缩。这种粗粒度压缩对于高性能应用程序不太适用,因为它可能引入显著的读取放大和延迟问题。而ScaleFlux将压缩引入到各个存储设备中,以对小数据块进行压缩。这种细粒度压缩允许高性能应用程序以及混合读写工作负载充分利用压缩,使其既可以作为加速器,又可以作为降低存储成本的工具。

ScaleFlux如何在存储设备内部启用原地处理 CSD 3000 使用硬件引擎来执行压缩/解压缩功能。 ScaleFlux 如何利用数据压缩?

在存储设备上进行压缩时,压缩可以充当性能加速器,因为它减少了存储设备上的额外开销,例如垃圾回收。这样做的结果是减少了写入放大,尤其在混合读/写场景下,减少了进出闪存芯片的数据流量,进而提高了响应速度。此外,所有这些任务都从CPU中卸载,以便CPU可以更多地投入执行更高价值任务。

ScaleFlux 如何处理大文件数据集,例如包含非常大文件的无人机成像?

这些存储设备是块设备。将大文件发送到存储设备时,文件会被分成4KB的数据块进行压缩(对用户来说是不可见的),然后写入NAND存储。已经使用视频或图像压缩编解码器进行处理,这些几乎没有进一步可压缩空间。 进行过压缩的无人机图像将不会看到太多的剩余压缩效果。

当数据流经 IO 路径(压缩→加密→写入闪存和从闪存读取→解密→解压缩)时,如何处理每个写入和读取 IO 请求?

这大致是整个过程!存储设备接收写入的输入/输出操作(IO),执行数据压缩和整理,以生成与页面对齐的数据块,接着对数据进行加密,最后将其写入存储介质。在读取数据时,这个过程将会被反转,即先解密、解压缩,然后将数据发送给主机。