AllData搭建数据存储平台，集成开源项目DataSophon/CIoudEon/RustFS，建设数据平台/多模态数据存储

►顶部微信名片可直接添加市场总监商务咨询、方案沟通即时响应►点击链接了解更新详情演示体验、社群咨询、商务采购https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo作为业务人员处理时最怕的不是数据体量庞大而是数据底座选型难、集群运维与存储管理割裂传统大数据集群部署复杂云原生环境容器化门槛高多模态文件分散在异构存储计算资源与存储资产无法统一管控直接拖慢数据分析、实时业务与档案数据集落地。业务场景企业同时存在离线报表、实时监测、文档音视频归档三类业务。当选用传统物理机部署大数据集群手动安装Hive/Doris/Kafka耗时久、运维压力大。如果基于K8S搭建大数据环境需要编写大量Helm脚本实现环境隔离与弹性伸缩图片、PDF、音视频又分散在OSS、MinIO 套存储中冷热数据无法自动分层整体底座搭建周期长容易出现集群故障、数据孤岛、存储成本居高不下等一系列问题。现在AllData数据中台通过拆解数据存储平台下数据平台、云原生平台、多模态数据存储3大功能如何快速解决 “老问题” 一、数据平台 (DataSophon)集成开源项目DataSophon构建数据平台数据平台是AllData数据中台的大数据集群运维底座主要负责大数据集群的全生命周期管理不做业务数据的采集计算分析是大数据集群的 “运维管家”把复杂的Hadoop生态集群安装、部署、调参、监控、告警全部界面化操作降低大数据基础设施运维难度。DataSophon项目地址https://github.com/datavane/datasophonDataSophon官方文档https://datasophon.github.io/datasophon-website/1、集群一键自动化部署与全生命周期管理针对“大数据集群搭建繁琐、环境配置易错、组件版本不统一”的痛点平台提供集成了向导式极速建群与图形化动态扩缩容将大数据集群交付周期从数天缩短至小时级。✅️ 自动化部署通过“创建集群→配置主机→分配角色→分发Agent”向导实现底层组件的自动化安装告别繁琐的Shell脚本与易错的环境配置。✅️ 可视化运维支持在界面上直接对服务进行启停、新增实例、动态扩缩容并提供 Zookeeper、Kafka 等核心组件的内存参数推荐配置降低运维门槛。主机管理页面一站式纳管集群所有物理节点直观展示各主机的健康状态等信息主机角色查看罗列当前节点上已分配的各类大数据组件服务角色(如NameNode等)方便核验节点职责与部署合规性添加主机弹窗通过向导式界面引导用户完成新主机接入实时展示Agent分发进度与环境校验结果实现节点自动化纳管与通信部署2、可视化集群健康监控与告警管理针对“集群运行状态黑盒、资源瓶颈难察觉、故障响应滞后”的痛点平台提供了直观的运维总览面板实现集群故障的早发现、早干预。✅️ 全局监控提供运维总览Dashboard通过可视化图表实时展示CPU、内存、磁盘、HDFS等核心资源的健康度与使用趋势快速研判集群承载压力。✅️ 智能告警支持按服务(如HDFS、YARN)自定义告警组和具体指标阈值一旦资源超标或服务异常系统以侧滑提示方式实时通知消除运行状态黑盒。集群总览集群全景大盘直观查看CPU、内存、磁盘及HDFS/YARN等核心组件的资源使用率与运行节点数分析集群整体负载与健康度单服务总览直观查看各个服务运行情况精准分析服务性能统一告警规则配置中心按Hive、HDFS、YARN等不同服务组件分类管理告警组及对应的具体告警指标数量实现集群故障的精细化监控与预警配置二、云原生数据平台 (CIoudEon)CloudEon 是基于 K8S 的云原生大数据集群运维平台依托可视化界面实现大数据集群全生命周期运维无需大量 K8S 命令支持多集群隔离一站式完成部署、调度、监控与日志排查。CIoudEon项目地址https://github.com/dromara/CloudEonCIoudEon项目文档https://cloudeon.dromara.org/#/index1、K8S之上可视化部署多套隔离大数据集群实现业务环境解耦对接已有Kubernetes集群可视化快速创建多套相互隔离的大数据集群区分生产、测试环境满足不同业务的资源隔离诉求。✅️ 通过上传kubeConfig对接现有K8S集群使用独立命名空间实现多套大数据集群逻辑隔离生产、测试环境互不干扰✅️ 界面选择集群框架按需选择HDFS、Flink、Doris、Spark等大数据组件无需编写复杂Helm/Yaml配置文件。云原生集群管理总览对集群统一管理直观查看所有集群以及每个集群服务数、节点集群节点管理清晰显示该集群分配的节点详细2、云原生大数据组件全生命周期可视化运维降低K8S大数据运维门槛图形化完成大数据服务的安装、角色分配、参数调优、启停管理屏蔽K8S底层复杂命令降低云原生大数据运维技术门槛。✅️ 可视化新增大数据服务可自定义分配Master、Worker等角色至指定K8S节点灵活分配计算存储资源✅️ 页面直接修改组件配置参数(内存、镜像、路径等)配置变更后一键重启服务生效✅️ 提供界面化指令执行能力封装部署、重启、删除等运维操作执行进度可视化展示不用手动执行Kubectl命令。集群服务管理统一管理服务组件新建集群服务组件选择页面可视化步骤引导灵活设置3、集群全维度监控告警与日志排查保障云原生大数据集群稳定运行内置告警规则、活跃/历史告警、运行日志能力实现故障及时感知、问题可追溯保障大数据业务稳定运行。✅️ 支持自定义告警规则配置告警阈值、告警提示信息针对Flink、Spark、Doris等各类组件服务监控异常指标✅️ 区分活跃告警、历史告警实时推送集群故障留存历史告警记录便于故障复盘追溯✅️ 集中汇聚集群、各个服务角色运行日志支持按服务、日志级别筛选快速定位集群故障根因。三、多媒体数据存储 (RustFS)多模态数据存储基于开源RustFS是AllData中台的分布式统一存储组件融合对象、文件、块存储可统一存储结构化、半结构化、图片、音视频、文档等多模态数据。提供可视化存储桶管理、文件预览、密钥、监控、跨站点复制、生命周期、事件推送、加密等运维能力支持PB级海量数据兼容国产化可对接中台各组件服务数据分析与AI数据集构建。RustFS开源项目https://github.com/rustfs/rustfsRustFS官方文档https://docs.rustfs.com.cn1、多模态数据统一存储管理支撑多样化业务数据与AI数据集构建融合对象、文件、块存储界面化管理存储桶支持各类非结构化、半结构化文件上传预览一站式管理企业多类型业务数据。✅️ 通过存储桶实现存储资源隔离可上传工业视频、图片、PDF/Word 文档、Excel表格、JSON等多类文件支持文件在线预览、下载、删除可直接作为AI分析、数据集平台的原始数据源✅️ 安全合规的访问管理提供对象存储访问密钥管理可新增、编辑密钥供业务程序对接存储读写数据。通过存储实现业务/部门资源隔离支持上传视频、图片、PDF/Word 文档、Excel、JSON、CSV等种非结构化的文件支持在线预览提高查找文件效率可创建合规的访问密钥对数据访问做安全管控2、企业级存储运维与安全管控保障海量数据可靠、低成本治理具备性能监控、生命周期、站点复制、事件订阅、服务端加密能力实现存储运维可视化、数据安全与自动化治理。✅️ 性能监控查看服务器、存储空间、基础设施运行状态掌握存储负载与健康情况✅️ 数据生命周期管理配置生命周期规则自动完成数据过期删除、存储层级迁移降低存储成本✅️ 跨站点复制配置跨站点复制规则实现对象数据跨存储站点同步提升数据容灾能力✅️ 事件联动与安全管控订阅对象上传、删除等存储事件可推送至 Webhook、MQTT 实现业务联动同时支持服务端加密 SSE 配置结合多副本、纠删码保障数据持久性适配国产化信创环境。性能监控页面清晰查看当前存储空间以及健康情况数据生命周期设置弹窗设置定时删除或搬迁数据自动区分冷热数据高效管理存储空间3、多存储层扩展接入统一存储网关管控多模态数据平台支持可视化添加多类型存储层可统一纳管内置RustFS及兼容S3协议的第三方对象存储构建混合存储架构实现异构存储资源集中管控与冷热数据分层治理。平台支持已有的各类对象存储(如云存储)作为扩展存储层挂载进来形成混合存储架构。平台作为统一入口业务读写时由平台网关路由到对应的底层存储3大功能核心定位与场景选型这3大功能属于AllData数据中台的基础设施层组件Datasophon、CloudEon是大数据集群运维管控平台RustFS是分布式多模态存储系统3个功能可独立部署使用也可组合配套搭建完整数据底座。搭配使用DataSophon与CloudEon两者同款根据底层基础设施有无K8S二选一RustFS可搭配两者任意一个使用提供统一存储能力。1、数据平台DataSophon核心定位传统架构大数据集群运维管控平台面向物理机/虚拟机环境可视化完成Hadoop生态大数据集群全生命周期部署、运维、监控告警降低传统大数据集群运维门槛。适合单独使用场景企业基于物理机或虚拟机架构、无K8S底座需要可视化部署运维传统Hadoop生态大数据组件且暂不做云原生容器改造时选用DataSophon。业务案例举例某制造企业现有一批物理服务器未部署K8S需要搭建一套离线数仓集群运行Hive做业务报表统计、Doris做OLAP查询、Kafka接收业务消息。理由没有K8S底座不适合CloudEon选用DataSophon在物理机上可视化完成集群创建、组件安装、内存参数调优、资源监控告警不用编写大量部署脚本快速落地传统大数据集群。2、云原生数据平台CIoudEon核心定位基于Kubernetes的云原生大数据集群运维管控平台在K8S之上部署、运维各类大数据组件实现大数据服务容器化部署、弹性扩缩容、统一监控告警。适合单独使用场景企业已建设Kubernetes容器底座希望大数据业务容器化弹性运行、多套环境隔离想通过Web界面屏蔽K8S复杂运维命令时选用CloudEon。业务案例举例某互联网企业已上线完整K8S集群需要同时维护测试、生产两套FlinkDoris大数据环境业务流量存在明显高峰低谷希望大数据组件可以按需弹性扩缩。理由基础设施是K8S环境不适合Datasophon选用CloudEon依托K8S命名空间隔离测试生产环境页面化部署Flink、Doris业务高峰自动扩容低谷释放计算资源降低资源浪费。3、多媒体数据存储RustFS核心定位分布式统一多模态存储融合对象、文件、块存储能力支持非结构化数据存储支持接入S3协议异构存储面向PB级多类型数据提供存储、生命周期、容灾、加密全套存储能力。适合单独使用场景企业已有成熟的大数据或业务计算平台仅需解决图片、音视频、文档等多模态数据统一保存、存量S3存储利旧、冷热分层归档的存储诉求时选用RustFS。业务案例举例某政务单位业务中存在大量PDF公文、图片、音视频、上报JSON文件同时已经采购华为OBS对象存储希望统一管理全部非结构化数据用于AI文档解析、档案归档。理由不需要大数据集群运维平台仅缺少统一存储底座单独部署RustFS既可以存储各类多模态文件又通过存储层接入已有的华为OBS保护原有投资配置生命周期策略实现冷热分层归档。