Arcitecta说:掌握元数据是快速转移数据的关键

发布时间:2022-04-26 00:07

移动和分析大量数据的公司总是在寻找更快的方法来完成它。一家澳大利亚公司表示,它已经创建了一种可以“在全球范围内每分钟传输 TB 数据”的协议。

拥有近 25 年历史的公司 Arcitecta 刚刚宣布了新的 Livewire 协议,该协议是其数据管理平台 Mediaflux 的一部分,被澳大利亚国防部、制药商诺华和 Dana 等机构使用法伯癌症研究所。

根据首席执行官 Jason Lohrey 的说法,Livewire 本身已经对一些最大的数据移动者产生了影响。“我们的一位客户在全球范围内传输数 PB 的数据,”他告诉The Register。

Livewire 传输协议通过 HTTP/S 或 TCP/IP 创建原生协议隧道,该协议凭借其在 SupercomputingAsia 的 2021 年数据移动器挑战赛中的表现赢得了该公司的两个奖项。

几个团队竞争通过互连的跨国 100GbE 网络以最有效的方式转移最大量的数据,并考虑扩展以适应未来网络速度的提高。

随着数据量的不断增长,将大量数据从一个数据中心快速移动到另一个数据中心是一项越来越重要的挑战。虽然许多行业发现边缘计算可以解决需要移动数据的问题,但这种策略并不总是最好的解决方案。

Lohrey 说,并行化是使 Livewire 能够如此快速地移动数据的关键。这种并行化是 Mediaflux 的一个关键组成部分,它以一种可以在虚拟化存储空间之间分割的方式管理数据。

Arcitecta说,数据管道的每个方面都是使用 Livewire 并行执行的。这包括存储,据报道,这导致一次 Mediaflux/Livewire 传输的时钟频率为每小时 65TB——非磁带。

“Mediaflux Livewire 利用元数据的力量,通过有限、高度竞争或潜在网络的并行数据传输来优化数据移动,并消除冗余文件传输,”该公司在一份声明中表示。

因为 Livewire 是协议,所以它不限于 Mediaflux,也可以作为独立产品运行。Livewire 或 Mediaflux 的独立版本的定价尚未立即公布。

Data Mover Challenge 包括其他几位获奖者,他们都致力于解决同一问题。其中有 MUSASHINO 团队,该团队通过发明一种新的互联网协议获得了最具创新性的解决方案,而 Ciena-iCair-UETN 则被宣布为创建使用机器学习优化数据传输框架的框架的总冠军。

客户热线:037125966675