那些金融科技带给物联网的经验之谈

来源: 未央网 译者：渺渺   

目前来说，我们能够从物联网（IoT）行业中学习和获取的经验还为数不多。但同时，物联网却可以而且应该从其他行业学习众多经验，以便降低完成工作任务的难度。收集、处理、压缩、存储和检索数据是物联网的几项基本工作，但早在数年前甚至数十年前，金融科技等行业就已经开始提供这些服务。所以我认为，现在物联网从业人员也应该与其他行业的人员及时交流并借鉴经验了。

物联网遭遇数据洪流

其实，物联网自身的运作如今也面临着重重困难。在与其他物联网专业人员沟通后大家普遍认为，物联网所生成的数据要比最初制定标准时的预期多得多。无论是在智能家居、智能商店或智能城市中，面对来自众多设备的海量数据，基站并不总是能够按照预期处理负载。

要解决这个问题，需要安装更多的基站，提高信号传播的流畅性，不过这同样也会进一步提高基础架构和数据处理成本。同时，这些基站相互连接，来回交换信息，因此数据量比标准制定人员预期的数据多出很多，这会导致带宽中充满剧增的数据包。

这些问题一个个累加起来，不断地提出对硬件、软件、许可成本和数据流控制费用的各类要求。最终，物联网数据处理解决方案依旧无法应对持续增长的数据量。

那么，面对这样的状况，我们该采取哪些措施呢？

金融科技的数据经验之谈

物联网创建的数据工作原理与这几年金融科技数据的工作原理类似。两个行业的数据类型都带有简单的消息：一个时间戳、一个标识符和净负荷信息。因此，对于金融科技从业人员来说，物联网数据包的传输信息尺寸和类型的性质与金融科技正在使用的非常类似。

此外，交易数据的处理方式也与物联网尝试的处理方式一致。从交易所到市场数据提供商，从经纪商到交易商，各方所采取的交易数据存储和管理方式也一致。金融市场数据的交付是交易、投资和分析的基础。金融科技目前每秒要处理约1200万个项目，涉及数百万个信号和多达15种数据类型（报价、订单、交易等），并且该技术具备非常高的实时工作效率。

金融科技使用的数据处理解决方案经过现场验证和严格测试。这些技术表现为一个完整的技术堆栈，是一种用于收集、管理、标准化、存储和分配不同数据类型的数据生态系统，并允许我们以一种高效的方式处理历史数据。下方列出了可应用于物联网的关键数据技术：

数据标准化：每个数据来源都有自己的格式，而这种技术将从不同交易所收到的所有数据转化成统一格式。它允许用户采用统一数据管理的格式，而无需忧心数据来源，就像是将数据转化成元语言。数据标准化的结果就是所有项目都以特定的数据模式交付。

消息传递系统：这种可扩展的数据模式可以确保所有项目类型的分布和分配，即使是在动荡的市场条件下，也能确保低延迟和高吞吐量。例如在2018年2月5日股票市场的小型崩溃中，我们的客户在严酷的市场变动导致的峰值载荷期间也未出现任何停机时间。虽然当天他们交易平台上的订单数量每小时达到了25万左右（下午一点到两点），一天的交易量总计达到了140万，远远超出一家超大型零售商店黑色星期五当天的交易量。

多文字资料库：这是消息传递和数据分配系统的特色，能够确保数据真正实现实时交付。即使数据馈送出现信息小规模爆发，数据处理平台也能清空数据推送，保证关键信息的实时传输。与此同时，其他"非必要"消息也不会清除，所有项目都保存在历史存储中，并在需要时进行检索。例如，欧元/美元汇率每秒可能会变化数千次，而人眼每秒平均最多能看25条更新，因此可以仅关注关键消息，将其他消息直接发送到存储。物联网行业与此类似的情况是温度传输器发送数百次更新，每次仅十分位后的数字有所变化，因此，从市场监控角度来说，每分钟五次更新就已经足够。

压缩数据格式（CDF）存储：这种技术用于在不同文件格式中高效检索大量数据或安排该数据的传输。在物联网行业，该技术可被用于对监控和管理系统进行全面审计或返回测试。

如今，金融科技行业已出现能够处理数十亿项目的专有技术。对于正在构建金融科技解决方案，且在从交易商处或为交易商收集关键数据领域拥有多年经验的公司来说，可以轻松将这种数据处理、传输、压缩、存储和检索能力用于物联网行业。虽然物联网生成的数据量不足以组成一家金融科技公司，但每秒处理数十Gb数据的情况在这里也很常见。因此，我相信通过深入了解金融科技领域的大数据经验，物联网行业将获益匪浅。

来源: 未央网 译者：渺渺

财经360