Arbin 集成了 Apache Kafka,用于 数据流解决方案
Arbin SQL 数据库解决方案使用关系模型设计结构化数据管理和事务处理。它们将数据存储在具有定义模式的表格中,并支持用于查询和管理数据的 SQL。
它适用于需要复杂查询、数据完整性和事务支持的应用程序。
然而,在现代事件驱动架构中,实时分析、数据管道和日志聚合、日志处理以及集成微服务都需要出色的实时事件流、高吞吐量数据管道和分布式数据处理(如 Apache Kafka)。
Arbin 已将 Apache Kafka 集成到我们最新的 MITS 版本中。
优势
存储
将数据存储在主题中,而主题又被进一步划分为分区。Kafka 可将数据保留一段可配置的时间,以便重放事件。
实时数据处理
这种功能可实现对电池性能的即时分析、早期错误检测以及潜在故障条件的预测。例如,Kafka Streams 可用于计算实时性能指标,将其与设定的阈值进行比较,并在发现异常时触发警报或调整测试流程。
可扩展性
Arbin 的 Kafka 集成具有出色的可扩展性,可随着项目的增长而轻松扩展。当新增测试设备或数据量增加时,Kafka 的分布式架构可确保系统能够处理更大的数据集,而不会出现任何性能下降。
延迟
专为低延迟、高吞吐量事件流而设计。适用于实时数据处理,将延迟降至最低。
吞吐量
高效处理高吞吐量数据流,适合大数据使用案例。
一致性
在分布式环境中提供最终一致性。信息是持久的,并在代理之间复制,但消费者可能无法即时看到变化。
架构 概览
Arbin 的 Apacke Kafka Integration 支持多种数据格式:可将 JSON、AVRO 和二进制格式推送到 Kafka 集群,并为消费者应用程序方选择数据格式提供更大的灵活性。
此外,我们还通过创建内部文件内缓存(本地缓存)构建了另一层数据保护,以防 Kafka 集群不可用,缓存文件将记录 Kafka 服务离线时从 MCU 收到的所有数据。
一旦 Kafka 服务恢复,缓存将首先推送到 Kafka,MITS 的新数据记录将在缓存文件清空后跟上。
Apache Kafka 内部
Apache Kafka 云服务
与内部部署相比,基于云的 Apache Kafka 服务(如 Confluent Cloud、Amazon MSK(Apache Kafka 托管流)和 Azure Event Hubs(Kafka 端点))具有众多优势。