欢迎来到大陆机电官网!
30年专注管控一体化管控一体化与工业互联网仪表标识解析服务商

首页计量管理 基于大数据的计量公共服务平台设计及应用价值研究

基于大数据的计量公共服务平台设计及应用价值研究

2017年12月28日08:42 

在当前国家倡导的“质量强国”战略中,计量起到极其关键的作用,计量技术的发展支撑着社会发展的各个方面;计量技术的创新引领了科技和产业的创新。而在大数据时代,数据已成为企业不可或缺的战略性资源。如何运用“工业4.0”、“中国制造2025”思维和大数据等高新技术,发挥以计量数据为主的数据在经营、管理、决策中的作用,整合计量机构的数据资源,创新性地挖掘数据在应用方面的价值,为社会提供计量信息公共服务,为企业提供计量业务的增值服务,为行政单位提供计量业务的统计分析和预研预判服务,已成为一个非常重要且紧迫的课题。

一、 基于大数据的计量公共服务平台架构设计

1.jpg

  从上图可看出,该架构对计量业务活动过程中所涉及的原始记录等非结构化数据源通过ELT工具进行数据抽取、清洗、转换,加载到Hadoop平台的Hive数据仓库,而结构化数据源(RDBMS)通过封装开源软件sqoop以及开发专用的数据交换组件,实现hadoop的HBase与原有管理信息系统的关系数据库进行数据交换。计量业务的数据挖掘通过对不同计量主题的分析建立不同的数据挖掘模型,而后通过Mahout、Dodo等数据挖掘工具对挖掘出的数据进行分析,最后通过图形进行展示。本架构的优点在于:

   (1)充分整合计量机构现有的数据资源,在挖掘原有系统价值的同时,保护现有的投资,提升现有系统的实际应用价值。

  (2)利用Hadoop作为底层的数据挖掘架构,采用sqoop、weka、Dodo等开源数据挖掘工具,成熟且经济。

  (3)采用经典实用数据挖掘算法进行聚类分析、关联分析,能极大地提高效率。

  (4)计量公共服务用户应用功能丰富,能充分地满足社会公众、企业、技术机构和政府管理的需要。

二、计量公共服务大数据挖掘关键技术的研究

  1.计量公共服务主题建模技术研究

  实现计量公共服务必须在现有数据资源池的基础上,构建与计量业务有关的分析主题。因此需要通过研究相关主题,如与收发管理、证书管理、质量管理、客户服务管理、领导决策等业务有关的主题,研究与业务相关的经营知识,最终用成熟的统计分析算法、经典的数据挖掘算法对数据资源池的数据进行分析,给出关键指标体系的计算结果。由于计量学涉及几何、温度、电磁、光学、化学、力学、电离辐射、时间频率、无线电、声学等十大专业领域,涉及的计量器具有数千种,可以说是个跨多专业的学科,因此这里采用跨行业数据挖掘标准流程(CRISP-DM)方法来对计量公共服务主题进行建模。CRISP-DM作为一个方法论,包括一个项目要经过的典型阶段的描述,每一阶段包含的任务,以及这些任务之间关系的说明。CRISP-DM代表全工业界的数据挖掘标准过程,是一个通过工业界验证的指导数据挖掘工作的方法。因限于篇幅,下面举一个简单实例来进行计量公共服务主题建模分析,如表1所示。

网友热评

电话咨询 产品中心 返回头部 网站地图