AllData数据中台物联网实时平台｜集成 Apache StreamPipes，MQTT工业物联网数据实时预警实践案例

在工业现场传感器与边缘终端持续产生海量数据。这些数据既是企业搭建湖仓一体架构的基础也是 AI智能体开展自主决策的核心依据。但大量企业在落地过程中持续遭遇三大难题✅ 物联网接入复杂多协议适配成本高✅ 流处理灵活性差定制改造难度大✅ 时序数据治理困难资产沉淀难AllData数据中台集成 Apache StreamPipes 构建物联网实时平台MQTT工业物联网数据实时预警案例。基于MQTT工业物联网协议搭建起【数据实时采集-全链路处理-智能研判分析-分级预警通知-闭环处置】的一体化体系。真正实现工业设备状态实时感知、毫秒级分析、提前预警、闭环处置彻底告别传统被动运维模式。Apache StreamPipes 开源项目https://github.com/apache/streampipesApache StreamPipes 官方文档https://streampipes.apache.org/docsApache StreamPipes 支持以下31种工业协议适配器接入:1、消息中间件适配器● Apache Kafka分布式消息流中间件● Apache Pulsar云原生消息队列组件● Apache RocketMQ阿里开源消息中间件● Apache TubeMQ (InLong)大数据消息传输组件● MQTT物联网轻量消息传输协议● NATS高性能轻量消息中间件2、工业IIOT/PLC/SCADA● Allen Bradley ETH罗克韦尔以太网 PLC 采集● BACnet/IP楼宇自控 IP 通信协议● Beckhoff TwinCat ADS倍福工控 ADS 协议● CANopen工业车载 CAN 总线协议● EthernetIP罗克韦尔工业以太网协议● Generic CAN通用 CAN总线数据采集● IEC 60870-5-104电力远动通信协议● KNXNet/IP楼宇智能家居 IP 协议● Logix CIP罗克韦尔 CIP 工业通信● Machine Data Simulator机器数据仿真生成器● Modbus ASCIIASCII 格式 Modbus 协议● Modbus RTU串口 Modbus 总线协议● Modbus TCP以太网 Modbus 工业协议● OI4工业 4.0 开放接口标准● OPC UA跨平台工业统一架构协议● Open-Protocol工业设备开放协议● PLC4X MODBUSPLC4X 库 Modbus 驱动● PLC4X S7PLC4X 库西门子 S7 驱动1、进入物联网实时平台2、打开设置3、切换到邮件4、配置相关内容5、测试● 发送成功● 保存6、配置流水线● 打开任意一个创建好的流水线6.1 添加 Threshold Detector● 阈值监测● 将适配器流指向 Threshold Detector并配置阈值相关信息假设此时输入是{temperature:95.5,timestamp:1586380104915}该处理器将输出会增加一个thresholdDetected变量{temperature:95.5,timestamp:1586380104915,thresholdDetected:true}● 保存6.2 添加 Boolean Filter● 布尔值过滤● 将Threshold Detector 指向 Boolean Filter并配置相关信息● 保存● 这里将过滤thresholdDetected值为true的数据并往后传递否则不传递6.3 添加Email Notification● 邮件通知● 将Boolean Filter指向Email Notification并配置相关信息● 保存7、保存流水线● 应用8、预览● 启动实时预览● 监测到超出阈值的数据后将发出邮件通知● 邮件查看