明珠简介明珠( 五 )

?不依赖任何第三方软件，集群安装部署方便，支持灵活扩容。
?可提供多种聚合函数，支持对数据的聚合查询。
之后，蔚来能源做了一系列简单的性能测试，评估其是否能满足自身业务需求，测试结果如下：采用批量写入数据方式，调整合适的单批次数据量大小，使用单机部署（8 核 32 GB，500 GB 存储）默认配置的 TDengine 服务，RESTful API写入方式，在 4k 并发流量下写入没有问题，同时消费积压数据时峰值达到 7 k/s，因为单条消息包含信息量太大，实际处理中会拆分为 30 条写入 TDengine，所以实际写入 QPS 为 210 k/s，比满足同样数据流量的 HBase 集群规模要小不少。
测试完毕，蔚来能源随即进行数据迁移，将线上部分设备的数据切换到 TDengine 集群，上线后集群表现稳定。

文章插图
对比之前使用的 HBase，查询速度提升明显，从使用 HBase 查询单设备 24 小时数据的秒级返回，到使用 TDengine 查询相同数据的毫秒级返回；每天增量数据占用的存储空间相当于原来使用 HBase 时的 50%；集群计算资源成本相比使用 HBase 节省超过 60% 。

文章插图
TDengine 与 HBase的对比
蔚来能源相关业务负责人评价该项目的应用成果时表示，TDengine 读写性能表现很好，在满足我们业务需求的同时，极大程度节省了计算资源和运维成本，目前尝试 TDengine 的业务场景都比较简单，只是单纯的数据写入和时间范围查询，后续希望可以结合 TDengine 更多进阶功能探索其他可以落地的业务场景。
场景五： AtomData助力制造企业实现产线数据高效流通与分析
石原子科技是国内领先的全场景数据价值服务商，公司基于自研的数据库存储与计算引擎，打造下一代全球领先的企业级云原生实时数仓，为全球客户提供低成本、超大规模、高性能的海量数据处理和分析服务，并可利用公有云中的强大功能创建数据云。
在针对海量数据分析场景中，石原子自主研发的企业级云原?数据仓库产品“AtomData”可解决对千亿级数据进行即时的（毫秒级）多维分析、透视和业务探索。同时AtomData具备云原?、?弹性、?融级?可?、端到端数据安全、兼容MySQL语法和ACID等重要特性，旨在通过构建原?于云端并专注于数据仓库的SaaS服务来最?化数据价值。
某锂电池制造公司作为业内领先的智能电池科技企业，多年来专注于以智能物联突破动力电池性能与应用边界，打造更多智能场景，让电动汽车参与到碎片化的可再生能源系统。
该集团的三个工厂有独立部署生产制造执行平台MES以及针对温度与湿度的物联网实时采集平台，在其生产运营过程中虽可正常进行数据记录、分析和监测，但三个工厂的数据只能做到简单汇聚，在生产分析时效性、产品质量追溯上面临着巨大挑战，另外由于工厂生产设备较多，核心设备作为产量和品质的关键，运维效率低且成本高，产能的扩张也给车间管理和生产过程管理带来极大难度。品控方面，因生产过程中电池品质极易受环境设备影响，难以把控每道工序各个细节以达到高度的一致性。
针对以上该制造业的痛点所在，石原子重点从设备管理和生产运营两方面入手，对其进行方案设计：
其一是针对设备健康分析，可借助AtomData平台，实现IOT数据与设备健康数据汇聚，自动监测设备运行状态，通过设备运行建模，实现预防性维修提供支撑。
其二是生产运营分析方面，通过SAP与制造执行等系统数据源，对产品、工艺、质量、供应链等数据，进行建模分析，实现生产全流程可视、可溯、可控，助力精益、柔性制造；实现产品质量的全链路分析与质量追溯分析。

文章插图
实施方案如下：

将三个工厂分别通过专线接入，搭建大数据存储与分析中心，基于安全角度考虑，该中心只能通过工厂专线进行访问，不提供公网访问。
使用数据集成服务，根据调度计划，将三个工厂中的Oracle存量/增量的生产数据、My SQL实时温度/湿度数据同步至AtomData中。
借助ETL工具，对工厂同步过来的数据执行去重等数据清洗，再存入AtomData，设置数据保存180天。此外，借助BI快速实现商业智能，实现精美的效果展示。

在该方案实施过程中的主要难点在于该企业使用的MES平台存量数据量较大（10TB/生产线），实时增量数据一般，并且数据类型较多（包括除了结构化数据「主要来源于ORACLE、MySQL等」，还包括时序数据「温度、湿度；实时呈现最新的时点数据，同时呈现24小时的变化趋势。

明珠简介 明珠( 五 )

秒懂生活扩展阅读

明珠简介明珠( 五 )