集团型企业数据采集交换系统与实践

期刊目录网微电子论文发表2020-12-23 09:14关注(1)

　　文章以一个典型的集团型企业为例，介绍了数据采集的方案设计及工程实践。结合集团与下属单位的特点，进行完整的技术体系设计，明确了重点数据处理过程，支持全面数据采集的实现。

　　［关键词］数字采集；数据处理过程；企业管理

　　1项目背景

　　集团型企业是以一个实力雄厚的大型企业为核心，以产权联结为主要纽带，并以产品、技术、经济、契约等多种纽带，把多个企业、事业单位联结在一起，具有多层次结构的以母子公司为主体的多法人经济联合体。集团型企业具有金字塔式垂直分层的组织结构，一般有一个能起主导作用的核心，这个核心可以是一个从事生产经营的法人企业，也可以是一个专门从事经营的法人企业，也可以是一个具有管理职能的机构，处于集团型企业的管理顶端，负责管控下属单位的治理结构、角色定位与职责、资源管控方式、绩效管理体系等。集团型企业在市场竞争中对于优化资源配置和分散风险具有无可比拟的优越性。每个下属单位又是相对完整独立的经营企业法人，接受集团的各项管理，又要独立开展业务。数据采集是支持集团化管理的利器。数据采集又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集的方法一般包括软件接口方式、客户端采集、网络爬虫、开放数据方式等。其中，软件接口方式数据可靠性与价值较高，但可扩展性有局限；客户端采集兼容性较强，但采集数据的实时性有一定限制；网络爬虫支持自动抓取互联网的程序或脚本，但容易受反爬机制影响；开发数据库方式简单直接，但安全性方面有局限。多种数据采集方式各有优势，应用场景也不相同。如何有效地与集团型企业管理特点结合，适应实际情况，实现有效采集，成为集团型企业信息化建设中的关键问题。某集团型企业为了加强集团管控能力，在信息化建设方面加大力度，构建了较为完善的基础设施，具备了集团与各下属单位之间的网络联通条件，能够实现信息的无障碍传输。各下属单位建设了主营业务的支撑系统，能够支撑本单位业务的数字化开展。为了进一步加强宏观管控，构建集团一体化的数据采集体系需求迫切。

　　2系统设计方案

　　2．1集团端设计

　　集团端处于管理顶端，是数据采集的中枢，结合战略导向开展数据采集，构建统一的数据采集交换系统对各下属单位提供全面的数据采集交换服务，主要采用软件接口方式进行数据采集，具体包括：统一接收服务、统一验证服务、统一解析服务、安全传输组件、统一存储服务和统一安全审计服务，并将上报数据中的元数据写入统一数据存储库，如图1所示。（1）统一接收服务：面向各下属单位提供数据接收的接口服务，各单位的前置服务区将通过该接口向集团前置汇聚服务区提供数据。同时，该服务提供状态反馈，数据传输状态的及时返回，并针对传输失败数据进行及时的消息提醒。（2）统一验证服务：提供数据的格式验证、状态校验、完整性校验等服务，确保上报数据符合要求、完整准确。（3）统一解析服务：提供数据的解析服务，解析数据包中的元数据、受控属性和版式文件，对上报数据包进行拆包，还原其中的元数据、版式文件等内容。（4）统一存储服务：提供数据的存储服务，将解析出的元数据写入到集团，将版式文件存储到数据存储服务中，数据存储服务可以为磁盘路径、FTP、NFS、NAS、SAN等多种文件存储服务中。由各下属单位数据加密存储，未被授权的用户或系统管理员也无法获取数据内容。（5）统一安全审计服务：对数据进行详细的日志记录，记录数据来源、数据用途、受控等级、受控范围、受控期限等内容，通过管理平台提供统计分析、操作追踪等服务。（6）管理平台：提供前置汇聚服务区的配置和管理维护，统一配置各下属单位前置汇聚服务区接入信息，配置接入安全策略，防止非授权单位获得接入服务，确保访问前置汇聚服务区的服务器是可信服务器。（7）安全传输组件：具体支撑数据的接收服务，并确保上传数据与各下属单位前置服务区上报数据状态一致。主要包含两个部分：①同步队列：根据统一策略配置的定时器服务可以设置向各下属单位前置服务区传送接收数据，并建立数据同步队列。②同步-阻塞服务：根据统一策略配置的文件，对各下属单位前置服务区建立状态反馈服务，确保上传数据的状态一致，只有集团前置汇聚服务区反馈了数据上传成功的状态，各下属单位的前置服务区才能设置本地状态数据上传成功，否则只能重新上传数据。（8）统一策略控制：在采集数据之前，需对采集的数据制订模板和元数据标准，并将相关模板及元数据标准下发至各下属单位，各单位按照统一的模板和数据标准进行数据填装即可。同时统一策略控制，在今后业务需求发生变更时，可根据变更后的模板，自动将模板下发至各单位，并主动进行数据抓取，确保业务采集频率变化后，能实现智能快速的数据获取。（9）申请审批服务：面向各下属单位前置服务区提供上报数据修改、删除操作的申请审批服务，确保修改、删除操作的集团审批，数据受控。前置汇聚服务区提供审批流程配置引擎，可快速建立上报数据修改、删除操作申请审批体系。审批流程配置引擎提供：定义多级审批流程，支持多人审批；可根据部门、受控等级创建多种审批流向；支持代理审批，审批处理人员可委托他人代为处理审批事宜；流程监控可实时呈现每个流程当前处理情况；提供申请审批消息通知。（10）前置汇聚服务区：面向数据处理加工的重要场所，对各下属单位数据进行验证，确保数据完整有效，对各下属单位数据进行拆包，解析其中的元数据、受控属性和版式文件；对拆包后的数据进行加密集中存储，保存元数据与板式文件；将拆包后的元数据解密；将解密后的元数据写入到集团存储。

　　2．2下属单位端设计

　　下属单位的情况各异，因此，既可以采用集团统一提供的数据前置服务，也可按照集团提供的统一数据标准和接口服务，自行建设前置服务。其中，采用集团统一的数据前置服务的单位，重点做好本单位内数据汇聚，并放到前置汇聚服务指定点；自行建设前置服务的单位，重点建立现有系统与前置服务之间接口对接。对于自建前置服务具体服务包括：数据校验、格式定版、封装打包、文件加密、数据统计等，如图2所示。（1）数据校验服务：根据集团需求，提供各种数据校验功能，支持格式校验及业务逻辑校验，保证数据的准确性。（2）格式定版服务：根据各下属单位提供的数据，生成转为不可篡改的OFD、PDF等形式文件。（3）封装打包服务：将OFD或PDF文件及xml打包形成整体文件，保证数据完整性。（4）文件加密服务：采用SM2加密算法对数据进行加密，并调用传输服务接口，进行数据传输。（5）策略配置服务：结合数据情况，支持元数据配置、模板配置、其他配置等内容。（6）数据统计服务：各单位用户可登录到本客户端，查看本单位数据情况。

　　2．3数据处理过程

　　数据采集与业务关联紧密，为了最大程度地面对业务变化情况，数据采集过程中涉及集团数据汇集、下属单位数据修改或删除过程、业务变更处理过程三个重点处理过程，如图3所示。（1）集团数据汇集过程。各下属单位的业务系统调用本单位前置服务区的接口，以规定格式进行数据上报；集团前置服务区将上报数据封装为受控标识文件包后，调用前置汇聚服务区的统一接收服务，将各单位数据加入安全传输队列；安全传输组件根据统一策略下发的时间进行数据安全传输至集团前置汇聚服务区，并向各下属单位前置服务区提供有效上传的反馈，确保上传数据状态一致。（2）下属单位数据修改、删除过程。各单位在本单位前置服务区对上报数据进行修改、删除的维护操作。集团前置服务区开启了申请审批流程。各单位修改、删除操作直接触发申请操作，填写申请表单，说明修改、删除操作的原因及操作内容，根据审批策略，决定处理流程。申请将通过管理平台通知集团该操作情况，接收各下属单位的申请，集团工作人员在管理平台上审批，通过后修改、删除操作直接生效；审批不通过，则修改、删除操作被拒绝。所有申请审批情况均计入集团前置服务区日志，可供日后查询审计。（3）业务变更处理过程。在业务需求发生变更或者新增业务需求情况下，下属单位前置汇聚服务区。业务变更时候，需要先进行元数据字段及模板配置，先根据业务需要对元数据字段进行定义，并与业务部门确认，再与业务部门确认版式文件生成样式并固化成模板文件，配置完成后由下属单位前置汇聚服务区与集团前置服务区同步元数据和模板配置。下属单位自行下载元数据配置和模板配置进行数据封装。集团前置服务区对下属单位生成的数据进行封装处理并传输到集团前置服务区。

　　3运行效果

　　目前该数据采集交换系统已经在某集团建成并投入使用，通过该系统，搭建集团与下属单位之间面向业务的统一数据采集交换平台，为集团化业务的发展提供了有力支撑。（1）业务服务性：对跨网、跨域的结构化与非结构化数据，提供时效多样性的采集交换能力，保证数据持续、动态的传输，为提升业务数据的时效性、一致性提供有效手段和重要基础，为实现集团化管控全覆盖、全方位动态监管提供了有力支撑。（2）业务规范性：全面建设部署统一数据采集交换系统，并与技术标准和管理制度配合，对所有新建业务应用提供统一数据采集交换服务，原有业务应用的逐步纳入，基本实现业务数据采集交换的全覆盖，统一管理。（3）业务适应性：统一采集目录的生成与下发，将统一数据采集能力作为标准服务，灵活地适应各种业务变化，支持不同场景下，稳定、可靠、持续、动态、安全的数据采集交换。

　　作者：金鑫 于英涛

集团型企业数据采集交换系统与实践相关论文：

企业网站搜索引擎优化策略
大数据企业全面预算管理体系

上一篇：各类腐蚀气体对电子设备的影响
下一篇：互联网技术对师范教育的影响