冗余数据削减解决方案

海外服务器 (423) 2015-10-31 13:18:39

基于码流特征的数据优化

     深信服广域网优化产品加速引擎中特有的“基于码流特征的数据优化”技术,能够大大降低广域网传输过程中的数据流量,根据实际的测试数据显示最多甚至能够将流量削减95%。下面我们就来看一下,“基于码流特征的数据优化”技术是如何神奇的做到这一切的:

     在广域网中传输的是数据包,就是类似于“010100011”这样的0和1的数字组合排列,“基于码流特征的数据优化”技术能够把数据包拆分成很多“碎片”,并对“碎片”分配唯一指针,将指针分别存储在本地设备和目的地接收设备中,当具有相同指针内容再次需要传输时,只传输指针到目的地,接收设备根据指针便在本地的设备中提取出内容。只要“碎片”足够小,传递内容相同的概率就会足够大。对于同一个用户而言,往往需要频繁传输相同或相似信息,效果非常明显。举一个简单的例子,如对于PPT文件来讲,所有页码中Logo、表头、表尾内容都是相同的,不需要重传,并且对再次更改的PPT,往往只是更改了非常少的内容,再次传送则实际上仅需要传送更改的内容即可。目前很多加速产品采用了文件缓存方式进行加速,即将文件缓存在网关上,用户访问文件的时候实际上是从本地网关取得文件,并没有直接访问远程服务器上的文件,这种方法存在两个比较明显的问题:1是无法保证文件的实时性,如果服务器上面的文件更新了,可能导致用户访问的还是以前的版本。2是如果服务器上面的文件变化较小,比如一个100MB的ZIP文件中增加了一个1MB打包文件,需要将整个文件重新传输一次。

      深信服加速引擎中的“基于码流特征的数据优化”技术完全可以来替代文件缓存技术,通过优化的模式匹配算法,可以使网络中传输的数据足够小,能够达到和文件缓存相当的加速速度,还能在保证实时性同时对变化较小的文件同样能够起到加速作用。

高效的数据流压缩算法

     深信服WOC网关采用了高效的GZIP和LZO高速流压缩算法,可以对所有的数据先压缩后传送,大大提高了终端用户在使用Web资源和C/S应用时的访问速度,减少下载时间和网络流量。

全局IP流量压缩,降低TCP和UDP流量占用

      通过引入广域网加速的全局IP压缩技术,对在两个加速硬件网关间传输的IP数据包提供创新性的SANGFOR High speed 改进型压缩算法,实现IP数据包压缩功能,将不过加速的(应用系统)数据进行压缩,实现全局流量压缩 ,包括TCP流量和UDP流量,进一步减少带宽占用。用户无需升级带宽,即可实现现有带宽利用效率的最大化,缓解了数据大增长和有限的带宽资源的矛盾,不需支付高昂的带宽升级成本。

 

THE END