大数据应用蓝皮书 | “双碳”数字化监测服务平台及应用解决方案

来源:中国管理科学学会    日期:2023-06-02    浏览量:11506次

摘  要


加快构建碳排放智能监测和动态核算体系是“双碳”工作起步阶段的重要基础工作。建设“双碳”数字化监测服务平台有利于提升各级政府和相关主体的碳排放管理能力。本文提出了“双碳”数字化监测服务平台开发设计过程中有关平台系统架构、平台系统功能设计、灾备设计、可视化设计、数据库设计、服务能力设计等环节的一整套方案。开发建设过程中还需要加强多方协同、突出应用场景需求、确保平台安全可靠、强化与已有数字政府平台融合等开发建设策略。

关键词:“双碳”   碳账户   碳排放   数字化监测服务平台

作者简介

张建忠

万泽时代(北京)科技有限公司总经理


王嵩

万泽时代(北京)科技有限公司资深架构师

以下为《“双碳”数字化监测服务平台及应用解决方案》全文:


“双碳”数字化监测服务平台及应用解决方案


一、“双碳”数字化监测服务发展背景


实现碳达峰、碳中和是当前和今后一个时期中国实施的重大战略之一。2021年10月,中共中央、国务院先后出台《关于完整准确全面贯彻新发展理念做好碳达峰、碳中和工作的意见》(以下简称《意见》)和《2030年前碳达峰行动方案》(以下简称《方案》)等纲领性文件,明确碳达峰、碳中和的“1+N”政策框架。《意见》是覆盖碳达峰、碳中和两个阶段的宏观设计,在“双碳”政策体系中发挥引领作用,是“1+N”中的“1”。《方案》是“N”中为首的政策文件,有关部门和企业单位将根据《方案》部署制定各自领域以及具体行业的碳达峰实施方案,是碳达峰阶段的总体部署,在目标、原则、方向等方面与《意见》保持有机衔接的同时,更加聚焦2030年碳达峰目标,更加细化、实化、具体化(见图1)。

图1 碳达峰、碳中和“1+N”政策体系


实现“双碳”目标需要建立5大支柱体系:一是需要建立好的制度和政策,形成有效的激励体系;二是需要建立比较完善的碳交易市场机制,以价格机制引导各类主体的行为;三是建设完善的碳排放相关基础设施和标准体系,主要是涉及碳排放的监测、报告和核查体系;四是鼓励低碳技术创新的政策和机制;五是大力发展绿色金融。从五大支柱体系来看,当前面临的一项基础性难题就是碳排放监测统计体系不健全,导致碳排放底数不清,减排任务分解、评估考核和指标分配缺乏科学依据。由于获取数据成本高、难度大,碳排放底数不清。目前碳排放核算仅覆盖能源和工业部门,缺乏微观主体,尤其是规模以下的工业企业、服务业企业以及家庭的碳排放底数。而微观主体碳排放底数缺失导致界定不清碳排放责任,就难以层层落实微观主体的减排责任。碳排放管理缺乏一体化的数字化核算和管理平台,碳排放监测管理、考核评比、科学决策缺乏有效的工具和手段,碳排放管理缺乏有效抓手。


针对碳排放监测统计难题,国家层面已提出明确要求。2021年8月,国家碳达峰、碳中和工作领导小组办公室联合多个部门成立碳排放统计核算工作组。2022年6月,国务院正式印发的《国务院关于加强数字政府建设的指导意见》(国发〔2022〕14号)明确要求:“加快构建碳排放智能监测和动态核算体系,推动形成集约节约、循环高效、普惠共享的绿色低碳发展新格局,服务保障碳达峰、碳中和目标顺利实现。”


要实现碳达峰、碳中和目标要依靠技术变革,更需要提升管理能力。建设“双碳”数字化监测服务平台,利用数字化技术提升碳排放管理能力,形成健全的碳排放核算、监测和统计体系,有利于摸清碳排放底数,进而有利于科学分解减排任务、客观评估考核工作进展,才能科学高效地制定减排方案,全面助力“双碳”目标的实现。



①《国务院关于加强数字政府建设的指导意见》(国发〔2022〕14号),中华人民共和国中央人民政府网站,http://www.gov.cn/zhengce/content/2022-06/23/content_5697299.htm。


二、 “双碳”数字化监测服务平台的目标


“双碳”数字化监测平台是利用数字技术和算法赋能管理部门建立的各个主体的碳排放账户,可全面提高碳排放核算统计、排放任务分配和评估考核、减排规划方案制定的能力,显著提升管理部门的管理水平和决策的科学性。“双碳”数字化监测服务平台的建设目标有以下几点。


●建立碳排放管理云平台,高效、低成本获取和管理微观主体全品类能源大数据、碳排放相关数据。


●基于国际通行的碳排放核算方法,自动核算微观主体的碳排放量,摸清各类主体碳排放底数。


●建立微观主体碳账户,完整准确记录各个主体的碳排放量、碳排放配额、自愿减排数量、家庭低碳行为等,有效落实分解微观主体的碳排放责任。


●利用“双碳”监测服务平台动态监测各区域、各行业、各园区、各微观主体的碳排放量,考核评估减排工作成效,科学制定碳减排规划,分析挖掘减排潜力,预测减排趋势。


三、 “双碳”数字化监测服务平台建设方案


该平台业务架构设计以深刻理解碳达峰、碳中和国家战略目标与内涵为基础,遵从碳达峰、碳中和行动方案和规划蓝图,以业务需求为导向,以新技术为引领,以智慧应用为方略,构建“双碳”数字化监测服务平台。


(一)平台系统架构


1.业务架构


“双碳”数字化监测服务平台的业务主要包括碳足迹展示、碳排放监测、碳减排分析、数据可视化、数据应用5块内容。系统业务架构如图2所示。


(1) 碳足迹展示


主要包括能源结构分析、能流分析、碳流分析、碳足迹对比分析。

 

(2) 碳排放监测


主要包括基于电力数据的区域碳排放监测、基于能源数据的产业碳排放监测、基于电力数据的火电行业碳排放监测、基于能源数据的能源行业碳排放监测、基于能源数据的工业行业碳排放监测、基于能源数据的交通行业碳排放监测、基于能源数据的建筑行业碳排放监测、基于电力数据的建筑行业碳排放测算、重点园区碳排放监测、企业碳排放监测、碳排放强度分析。


(3) 碳减排分析


主要包括可再生能源并网发电碳减排,电能替代碳减排监测、分析和预测,煤改电碳减排监测、分析和预测,电动汽车减排监测、分析和预测,港口岸电改造减排监测、分析和预测,工业窑炉改造碳减排监测分析和预测。


(4) 数据可视化


主要包括能源结构分析大屏端展示、能流分析大屏端展示、碳流分析大屏端展示、区域碳排放大屏端展示、产业碳排放大屏端展示、火电行业碳排放大屏端展示、能源行业碳排放大屏端展示、工业行业碳排放大屏端展示。


(5) 数据应用


主要包括降碳与经济发展关联模型、降碳与区域经济发展关联分析、降碳对产业结构的影响分析、降碳对能源结构的影响分析。


2.应用架构


如图3所示,平台系统应用架构主要分为4层:数据采集层、数据平台层、应用支撑层、应用分析层。

 

(1)数据采集层


数据来源主要包括数据中台、能源大数据中心、联合国统计数据库、欧盟统计数据库、中国统计年鉴、中国能源统计年鉴、中国环境统计年鉴、地方统计年鉴、政府统计年鉴、其他行业统计信息等。


(2)数据平台层


将各种底层数据进行数据汇聚、数据加工、数据存储计算。


(3)应用支撑层


主要包括各种应用工具,如集成工具、分析工具、模型工具、中间件等。


(4)应用分析层


主要进行碳排放监测服务的分析展示和降碳与经济发展关联数据分析。


3.技术架构


如图4所示,“双碳”数字化监测服务平台技术架构采用分层架构设计。包括数据采集层、数据平台层、数据支撑层、应用支撑层和应用展示层。

(1)数据采集层


数据来源主要包括数据中台、能源大数据中心、互联网其他数据。互联网数据如联合国统计数据库、欧盟统计数据库、中国统计年鉴、中国能源统计年鉴、中国环境统计年鉴、地方统计年鉴、政府统计年鉴、其他行业统计信息等。


(2)数据平台层


采用大数据平台进行“双碳”数据平台建设。包括结构化数据和非结构化数据的统一管理。


(3)数据支撑层


包括碳排放监测基础数据、区域碳排放监测数据、产业行业碳排放监测数据、碳排放分析数据及数据治理支持的相关技术支撑。


(4)应用支撑层


包括容器管理、集成工具、分析工具、模型工具、数据服务、身份认证、服务目录、微服务治理、微服务开发框架、日志支持、时空引擎、可视化引擎等模块。


(5)应用展示层


可视化展示和门户网站。


4.数据架构


如图5所示,“双碳”数字化监测服务平台系统数据架构主要分为4层,分别为数据源、数据汇聚、数据资源、数据服务。

图5  “双碳”数字化监测服务平台系统数据架构

 

(1)数据源


包括数据中台、能源大数据中心、联合国统计数据库、欧盟统计数据库、政府统计数据、中国统计年鉴、中国能源统计年鉴、中国环境统计年鉴、地方统计年鉴、政府统计年鉴、其他行业统计信息等。


(2)数据汇聚


包括数据汇聚、数据存储、数据计算、数据治理、数据管理等。


(3)数据资源


包括碳排放监测基础数据库、区域碳排放监测数据、产业行业碳排放监测数据、碳排放分析数据。


(4)数据服务


包括API调用、大屏端展示、数据分析等。


5.安全架构


如图6所示,“双碳”数字化监测服务平台系统安全架构基于大数据相关业务的运营需求、安全风险防范需求、国家符合性需要、符合性需求,从应用、数据、主机、网络等方面进行全面安全防护设计。

      图6 “双碳”数字化监测服务平台系统安全架构


(二)平台系统功能设计


1.数据层


数据层可以使各个与“双碳”相关的数据实现互联互通,将“双碳”数据进行整合,为应用层提供数据支持。


(1)数据源支持


平台支持各种主流关系型数据库,如Oracle、DB2、Sybase、SQL Server、MySql、金仓、达梦等。平台也支持各类主流文件类型接口,Excel、TXT通过文件自动上载服务以及文件解析服务直接完成上载文件的交换,同时根据目标节点需求完成文件格式(支持Excel和XML格式文件)转化为多种数据库格式的工作。平台支持主流的协议接口,如HTTP、RESTful、Web Service等,用于外部调用。对于非Web服务类型的接口,平台提供txt文本、数据库表交换、XML文件交换等接口技术,实现应用系统与共享交换平台的异构系统数据集成。


(2)数据ETL服务


通过作业集成服务来设计在各个数据源之间的数据抽取、数据转换和数据装载过程,整个数据集成过程被记录在作业文件中,作业文件作为数据交换与集成的过程导出,从而进行执行。作业集成服务作为一个可视化的数据调试模块,可通过该功能进行调试和性能分析,利用作业集成服务提供的组件进行数据的抽取、转换和装载等数据集成和交换过程。数据抽取是从数据源中抽取数据的过程,实际情况中,数据源较多采用的是关系数据库或者结构化数据文件。数据转换是将数据从一种表示形式转化成另一种表现形式的过程,就是对数据的合并、清理和整合,可以让来自不同数据源的数据在语义和格式上达成一致。数据装载指的是将转换好的数据保存到数据库中。一般情况下,数据转载应该在系统完成更新之后进行。数据如果来自多个操作系统,则应该保证在系统同步时移动数据。


(3)作业管理


作业管理模块提供了平台作业文件管理和部署等功能,用户可通过该功能管理和维护作业文件,并可维护作业的全生命周期。该模块可实现作业创建、作业修改、作业删除、作业冻结、作业激活、作业导出、作业文件上传部署等功能。作业流管理是指用户可根据已经创建好的多个作业完成作业流的编排配置,并可配置和选择作业的执行先后顺序,系统的作业执行引擎可自动解析作业流并且按照作业流执行作业,并能够支持作业流的创建、修改、删除。作业状态维护是指对作业的运行过程和运行状态进行维护管理,用户可激活或冻结作业完成对作业状态和行为的控制。已被冻结的作业不能够被调度,同时用户可激活已冻结的作业而重新使用该作业。作业部署是指通过作业部署功能对作业集成服务设计完成的作业文件进行部署,用户可选择相应的作业文件模型完成作业部署。并且可对已部署成功的作业进行下载、删除等管理能力。


(4)调度管理


调度管理模块提供了数据集成服务系统调度任务的管理和维护等功能。用户可以配置调度执行计划,按照计划执行作业。调度创建成功后开始启动调度,作业按照该调度执行。用户可通过该功能管理和维护调度任务,并可维护调度任务的生命周期,该模块包括调度创建、调度修改、调度删除、开启调度、暂停调度等操作。调度监控功能模块是对平台中每个调度进行监控,展现包括该条调度的调度名称、作业名称、作业服务器名称、计划名称、计划开始时间、计划结束时间、调度状态,可查看该调度的执行详情和调度日志。其中调度执行详情包含数据复制、读取、写入、更新、输入、输出、错误等信息记录情况。调度生命周期监控主要对平台中的调度状态进行监控。其中调度状态包括:调度完成、调度暂停、调度中和调度失败。并且提供调度的详细日志记录,可查询日志查看调度的执行状况。


(5)运行监控


监控数据共享交换平台的传输链路、服务状态、交换日志、交换消息等信息。监控各交换前置(桥接)服务、交换传输模块的运行状态及系统异常情况等。交换链路监控是动态标识出各分中心等节点和大数据中心端之间的数据交换链路状态,标识符用不同的颜色表示链路的连通性。点击图标可以显示相关该节点的基本情况介绍。服务监控是指实现消息在传递过程中实现对消息的监听工作,监听消息的成功/失败、消息请求时间、服务请求消耗时间、服务请求内容等详细信息,通过柱状图、曲线图、饼图等形式从不同维度展示监控结果信息,做到直观性展示监控信息。数据交换量监控指监控各节点至中心端节点的数据交换量和节点之间的数据交换量。统计日数据量、月数据量和年数据量,可查询任意时间段的数据交换量。


(6)统计分析


交换统计分析是对平台中一天、一月或者一年内的交换数据进行直观的统计和展示,按照数据的属性、来源等进行分类统计对比,分析数据交换共享的分布和趋势,并通过丰富的可视化手段展现出来。包括以下功能点:1.交换节点统计,数据交换节点情况,接入节点传输正常、不正常时间统计等;2.交换数据量统计,各节点数据交换情况,包括各节点的交换数据量、申请数据量等;3.交换排名统计,数据交换排名包括一段时间内各市局的交换数据量(发送/申请)排名、累积交换数据量(发送/申请)排名。


(7)模型算法管理


模型算法管理是指具备运用大数据手段分析建模的能力。能够结合实际情况,按照客户的要求对数据进行脱敏、清洗、加工、建模、监控,保证数据使用安全、准确和有效。最终保障实现碳排放监测及降碳与经济发展关联分析等需求。


2.应用层


如图7所示,应用层可以将整合的“双碳”数据以数据服务的方式进行全域共享,这部分主要通过数据共享服务来实现。

图7 “双碳”数字化监测服务平台系统功能-应用层

图片来源:《数字时代大数据平台应用架构》。


(1)数据发布与订阅


首先在数据源数据库服务器上发布需要同步的数据,然后在目标数据库服务器上对上述发布进行订阅。可以发布一张表的部分数据,也可以发布整张表。


(2)数据资源服务目录管理


资源编目是指对已经数字化资源的特征进行分析、选择、表述,再根据标准将其按照一定的结构组成目录的过程,目的是能够便捷、高效、准确地检索资源。用户可通过资源编目模块对关系型数据库、文件存储、大数据平台、分析计算引擎、 接口编目这5种类型的资源信息进行管理、维护,主要操作包括新增关系型数据库、新增文件存储、新增大数据平台、新增接口编目、新增分析计算引擎、修改、 删除、查看、编制、搜索、重置。目录管理是用户将已经建好的资源信息实现发布的模块,包括提交、审核、发布、驳回、已发布步骤。


支持HDFS分布式文件存储、S3分布式云存储,在资源信息/文件类型中选择文件存储方式,根据文件存储配置管理文件链接方式,信息编辑查看文件目录信息。


资源编目完美支持Hadoop分布式系统,在资源信息/大数据类型中选择大数据类型Hive数据仓库,根据大数据库类型配置相应的数据连接,信息编辑查看内容,并进行字段权限管理。


资源编目大数据支持HBase分布式的、面向列的开源数据库,在资源信息/大数据类型中选择大数据类型,根据大数据库类型配置相应的数据连接,信息编辑查看表列表并进行列族管理。


用户可查看资源信息状态,并将资源信息提交给上一级进行审核。


目录发布是通过审核且待发布的资源信息。用户在已发布列表中查看通过审核并已发布成功的资源信息,用户可以订阅已发布的资源信息。


(3)数据服务目录订阅


资源信息发布成功后,用户可以订阅查看。目录订阅是管理用户订阅资源信息的模块,主要分为目录订阅、目录审核、被驳回目录。


提交分为数据订阅和数据申请,数据订阅即将数据库更新情况按时推送给数据需求方,数据申请即一次性提供数据资源。提交订阅时须填写订阅时间、需要数据类型、数据范围、写明理由并提交相关上级部门审批。提交申请时需填写需要数据类型、数据范围、写明理由并提交相关上级部门审批。在“我的申请栏”处可看到数据申请人提交的申请列表,点击可查看审批进度以及是否通过审批,申请未通过可以查看未通过原因,并再次提交。申请通过后可以点击查看申请的数据资源。在“我的申请栏”还可以看到数据申请人提交的订阅列表,可查看审批进度以及是否通过审批,未通过可以查看并再次提交。对订阅通过的数据可以点击查看定期更新的数据资源。


(4)资源目录梳理


目录梳理是管理对资源信息的梳理、需求的功能模块。包括资源信息、应用系统信息、需求信息3个模块。


(5)资源信息管理


用户在新增资源信息前可以将资源信息梳理出来,通过编目将资源信息转到目录编制中,资源信息就是用户梳理资源信息的模块。主要操作有编目、查看、新增、编辑、删除、搜索、重置等。


(三)灾备设计


1.备份设计


(1)备份技术


使用备份软件定时对数据进行备份保护,保障数据安全。通过完全备份、增量备份等手段定时将数据备份到外置介质进行存储,在必要时可以将指定时间点数据恢复到生产数据库。


(2)备份策略


为了业务系统使用的连续性和高可用,数据备份选在凌晨进行,每天凌晨2:00进行一次数据全备份,每间隔8小时进行一次增量备份。可以根据业务场景和需求灵活定制备份策略。


2.容灾设计


(1) 灾备网络


建立异地数据灾备系统,可以基于客户原有的灾备体系,将“双碳”管理平台作为业务系统之一纳入灾备统一管理,同时必须考虑数据传输的带宽及延时等因素。


(2) 灾容技术


按对系统的保护程度,容灾实现方式主要分为以下几种。


一是数据级容灾。建立异地容灾中心,做数据的远程备份,在灾难发生之后要确保原有的数据不会丢失或者遭到破坏。数据级容灾的恢复时间比较长,但是它的费用比其他容灾级别低,而且构建实施相对简单。


二是应用级容灾。在数据级容灾的基础之上,在备份站点构建一套相同的应用系统,通过同步或异步复制技术保证关键应用在允许的时间范围内恢复运行,尽可能减少灾难带来的损失,确保业务的连续性。


三是业务级容灾。除了必要的IT相关技术,全业务的灾备还要求具备全部的基础设施。大灾难发生后,业务级容灾能确保不仅恢复数据,更能提供相应的基础设施保证业务快速恢复正常运行。


(四)可视化设计   


1.PC端可视化


为满足移动感知层的统一,PC端按要求统一的UI规范来开发。避免出现风格不统一的情况,例如页面布局、配色、字体大小、界面尺寸、图标尺寸等不统一。


2.大屏端可视化


大屏端可视化也要按照统一UI规范开发,例如页面布局、配色、字体大小、界面尺寸、图标尺寸等(见图8)。

 图8  大屏端可视化示意图

图片来源:《万泽时代SmartCAMP碳资产管理产品图》


(五)数据库设计


1.库表设计


(1)设计需求与特点


根据系统架构中的组件划分,针对每个组件所处理的业务进行组件单元的数据库设计,不同组件对应的数据库表之间的关联应尽可能减少,确保组件对应的表之间的独立性,为系统或表结构的重构提供可能性;采用领域模型驱动的方式和自顶向下的思路进行数据库设计,首先分析系统业务,根据职责定义对象,根据建立的领域模型进行数据库表的映射。


●融合数据架构设计:数据架构采用结构化和非结构化融合数据架构设计,以满足不同业务需要。引入NOSQL数据库技术建立融合数据库结构存储半结构化,非结构化数据。


●分库设计:本信息化项目存在结构化数据,随着时间和业务的发展,表中的数据量会越来越大。数据操作和数据库增加、删除、修改、查询等操作的开销也会随之越来越大。鉴于对未来业务的发展需求,将原来的单一数据库划分为多个数据库。数据库划分后,数据耦合度降低,数据库系统的负荷也被分散,便于系统的维护和扩展。


●分区分表设计:在数据库设计阶段,充分考虑业务数据量及业务增长量。应对该表进行分区,同时应用模块应根据分区字段设计SQL的检索条件。分区表是把原本存储于一个表空间(物理文件上)的数据分块存储到多个表空间(物理文件上)上,从而降低单个表空间(物理文件上)的记录数,提高数据库操作的执行效率,需按数据规模和使用场景等维度进行分析并设计分区方案。


●非结构化数据管理强化:系统涉及非结构化数据,在新系统设计中基于大数据管理平台统一管理非结构化数据,通过细化文件系统提高文件处理性能的水平,采用NOSQL数据库技术细化非结构化数据管理并提高管理水平和处理性能的水平。搭建分布式文件系统,统一管理外网投标文件、资质业绩文件等海量外网非结构化数据。


●规范运维管理:数据运维管理是系统持续稳定、高效、可靠运行的保障,为提高数据运维管理水平需设计相应的数据运维管理规范。


(2)设计内容结构


数据架构部分的6层设计工作如表1所示。


表1数据架构部分的设计工作内容


其中L1/L2和L3完全遵从DC-CIM规范,是数据架构设计的基础,又是数据架构设计所遵从的规范。数据设计内容主要有两部分组成。


●数据模型部分:主要以概念模型设计,逻辑模型设计,物理模型设计以及数据字典编制和模型的管理规范为主要结构进行全面充分的设计。以业务分析和DCMP模型分析为基础,并遵照DC-CIM规范开展模型设计工作。首先开始逻辑模型设计,并通过逻辑模型设计提炼出业务词典和数据中英文的命名规范,完成逻辑模型设计后就开展物理模型设计,在物理模型设计过程中补充数据字典中标准数据类型定义和数据取值范围定义。


●数据部署架构:在逻辑模型和物理模型设计的基础上完成数据部署架构设计,交付数据部署架构设计文档,数据部署架构设计包括结构化数据部署架构和非结构化部署架构两部分。


(3)设计成果结构


数据架构设计的具体设计成果结果如表2所示。


表2 数据架构设计

2.数据管理


(1)数据生命周期管理


数据生命周期管理是一种基于策略的方法,用于管理信息系统的数据在整个生命周期内的流动:从创建到初始存储,最后被删除。它对数据管理而言是一种信息技术战略和理念,而不仅仅是一个产品或方案。信息化建设中最关键的是数据,数据代表着信息,它可以构成企业的核心竞争力。


(2)数据质量管理


数据质量通常被界定为一个整理信息的过程,是一个组织的数据的准确性的反映,好的数据质量意味着一个组织的数据是准确的、完整的、一致的、及时的、独立和有效的。数据的质量越好,就越能清晰地反映一个组织不同系统、不同部门和不用业务线的精确的完整状况。高质量的数据应该有如下特性:一是完整性,完整性指的是数据信息是否存在缺失的情况;二是准确性,准确性是指数据记录的信息是否存在异常或错误;三是一致性,源系统之间同一数据是否一致;四是逻辑合理性,主要从业务逻辑的角度判断数据是否正确;五是时效性,经营决策依据的数据应该是及时、准确、全面、有意义地反映当前的运营情况。


(3)数据源管理


管理好数据源是维护关键数据正确性的一种手段,能够保障数据只能通过一个系统进行修改。从数据维护看可以分为数据拥有者和数据维护者两种管理类型。


数据拥有者是数据正确性的唯一保障,主要由数据拥有者来修改数据,或授权给数据使用者来修改数据。数据使用者能够使用数据,但是不能主动修改数据,只能给数据拥有者发送请求,数据拥有者给予授权后才能进行修改。


(4)数据集成管理


将不同的数据源将数据组合起来需要各种集成技术的支持,以便访问和解释不同的接口、结构和数据类型。企业需要提供统一的数据集成平台,帮助企业访问、转换和集成各种各样系统中的数据,并将这些信息传递到 MDM或DW中。数据集成平台可提供企业所需的主要功能,使其能访问、集成、迁移和合并主数据,从而降低复杂性、确保一致性,并推动业务发展。


数据获取是数据集成的首要步骤,数据集成同时也完成数据对外提供的功能。数据获取通常采用两个过程来实现:


●面向初始数据的获取方式建议采用标准化格式文件的方式提供,获取后直接进行数据的导入,应允许访问各种结构化、非结构化和半结构化数据格式(包括Excel、Word、PDF等格式的文件)。


●面向增量数据的获取方式通常有两种:实时模式和定时模式。


(5)数据交换管理:


数据交换指的是在多个数据终端之间为任意两个终端设备建立数据通信、临时互连通路的过程。数据交换是先整合数据,然后分发数据,可以确保交换数据的质量。其中的技术包括事件系统的触发器机制、实时同步或异步事件。


在实际环境中,数据交换的实现方式可以有以下几种:交易方式、批处理方式、订阅方式、发布方式、数据直连方式等。以上这些实现方式可以采用Web Service组件接口实现,也可以采用批量的文件传送的机制来实现,同样可以借助ESB类集成组件来完成相关工作。


(6)数据存储管理


备份和归档对数据存储来说是关键的问题。本平台数据采用软件加存储阵列的方式,数据不仅保存在大容量磁盘阵列中,同时备份到系统配置的磁带库中。


(7)数据安全设计


数据安全设计可以考虑用区块链方式,建立零信任关系,保证数据安全可靠。


(六)服务能力设计


面向政府部门的服务能力设计主要包括汇集煤、油、气、电等能源消费以及用电量情况,通过计算转化为碳排放相关指标及监测数据,分析能源投入产出信息,指导各省合理消费,为政府部门开展碳排放监督、评价等相关业务提供数据支撑。


面向企业园区的服务能力设计主要采用可视化图形为企业用户、政府部门展示园区碳排放量、园区碳减排量、园区能耗量、园区参与国家核证自愿减排量(CCER)的情况、园区参与绿证交易情况、园区新能源发电情况、园区绿电使用情况等数据指标。同时展示企业参与碳减排的情况和不同园区的碳减排排名,可切换查看不同园区监测情况。


面向社会用户的服务能力设计主要采用可视化图形展示社会用户碳排放量、碳减排量、区能耗量、参与CCER情况、绿证交易情况、新能源发电情况、绿电消费情况等数据指标。 


四、双碳数字化监测服务平台建设策略


“双碳”是一场长期而深刻的社会变革,在起步阶段,亟须建立完善的基础设施。在加快建设“双碳”数字化监测服务平台过程中,需要做好以下几方面工作。


第一,加强多方协同。建设“双碳”数字化监测服务平台,核心是碳排放核算方法,关键是相关主体能碳数据的高效收集,平台系统架构、功能设计等则决定了平台系统是否使用友好“双碳”数字化监测服务平台建设涉及政府、企业、居民3个主体,高效开展服务平台建设需要相关政府主管部门高度重视,加强部门间的协调协同保障力度。


第二,突出应用场景需求。建设“双碳”数字化监测服务平台,“用”是关键,“用”需要以明确场景为前提,这就需要以解决相关部门、企业等主体的痛点为根本,根据不同主体的业务场景需求,分模块设计不同的应用场景,不断优化设计方案。


第三,确保平台安全可靠性。“双碳”数字化监测服务平台建设的关键点在于最大限度地保障应用安全、可靠和稳定运行。同时,在确保应用安全、可靠和稳定运行的前提下,尽量使架构简洁,为企业节约成本。


 第四,强化与已有数字政府平台的融合。许多地方政府已经建立了比较成熟的数字政府平台体系,并将很多业务内容做了集成。建设“双碳”数字化监测服务平台可根据各地实际,既可以采取单独建立平台的方式,也可以采取在已有数字政府平台系统中仅新增加“双碳”模块的方式。在平台设计规划和开发建设过程中尽可能做到平台系统间开发标准、接口等要素统一,便于平台间的打通和后续的集成。



文章来源:《中国大数据应用发展报告2022》