ECDIS与GIS数据集成研究

2024-09-13

ECDIS与GIS数据集成研究（共7篇）

1.ECDIS与GIS数据集成研究篇一

GIS与水质模型集成研究与实践

从水质模型研究现状出发,对GIS在水质模型方面的应用进行了阐述,探讨了二者在不同层次上的.集成模式,然后给出了GIS与环境水质模型集成系统的体系框架,并以此为基础进行了GIS与环境水质模型集成的实践.

作者：郑泽梅夏斌张俊岭 ZHENG Ze-mei XIA Bin ZHANG Jun-ling 作者单位：郑泽梅,张俊岭,ZHENG Ze-mei,ZHANG Jun-ling(中国科学院广州地球化学研究所,广州,510640;中国科学院研究生院,北京,100073)

夏斌,XIA Bin(中国科学院广州地球化学研究所,广州,510640)

刊名：环境科学与技术 ISTIC PKU英文刊名：ENVIRONMENTAL SCIENCE AND TECHNOLOGY 年，卷(期)： 28(z1) 分类号：X21 关键词：水质模型 GIS 集成

2.ECDIS与GIS数据集成研究篇二

No SQL数据库相比于关系型数据库主要解决三个问题:

1) High pe rform ance - 对数据库高并发读写的需求。

2) Huge Storage &Fixe d s che m a- 对海量数据的高效率存储和访问的需求。

3) High Scalability&High Availability- 对数据库的高可扩展性和高可用性的需求。

在上面提到的“三高”需求面前, 关系数据库遇到了难以克服的障碍。适合做GIS地理空间数据库的No SQL数据库:

1) 满足海量存储需求

2) 支持存储复杂结构数据

3) 需要空间索引

4) 绝大部分业务都是数据查询 (各种空间, 属性查询)

5) 直接返回J SON格式的结果易于现有GIS系统结合。

No SQ数据库既能保证海量数据存储的同时, 又具有良好的查询性能。一般用类似JSON的格式存储, 存储的内容是文档型的。这样也就有有机会对某些字段建立索引, 实现关系数据库的某些功能, 完全可以把不同结构的文件存储在同一个数据库里, 比如Esri公司的Shape File文件。

2 No SQL 数据库中存储空间数据与展示

选用常用的No SQL数据库:Couch DB。

选用Couch DB的最大的意义在于它是一个面向Web应用的新一代存储系统。

Apache Couch DB更适合做空间数据库:

1) 致力于Ge os patial Ope n Source的Volke r Mis che先驱, 早已开发出具有空间索引和空间查询功能的Couch DB空间引擎, 并与Ope nlaye r结合, 得到比较好的效果。

2) 全RESTFull方式调用数据操作方式, 如查询、更新、插入、创建数据库、管理等, 这将特别方便跟现有的GIS应用集成。事实上Couch DB已预先集成了We b Se rve r, 对于弱GIS系统, 它相当于是空间数据库+GIS平台。

3) 可以预先定义一个查询 (也叫视图) 的结构, 然后将其暴露出来, 这样就可以定义一个完全符合Arc GISJOSN格式的视图, 让AGS各个Web API和移动端集成。

Couch DB存储空间数据并在Arc GIS for Se rve r进行展示的的一般步骤:

1) 通过开源GDAL/OGR库来读取Shape file文件, 入库;

2) 通过开源的Ge ocouch开进行空间索引和空间查询;

3) 通过自定义视图来组织与Arc GIS for Se rve r Re s t返回一致的J SON格式;

4) 通过Arc GIS We b API直接访问数据库中的空间数据。

3 性能分析

3.1 基于 Arc GIS for Server Flex API 做大数据量空间查询的性能测试

样本数据:Point Featureclass 200万条记录。

测试一:File GDB

测试二:Geo Couch DBRest Requestfor AGSJSONList

3.2 环境

3.2.1 测试一

OS:Window s XP、4G内存、2Core Inte li7 1.6GHz

GIS:Arc GIS for Se rve r10.0

DB:Oracle 11G, Es ri File Ge odatabas e

3.2.2 测试二

OS:Re dhat 4、4G内存、2Core Inte li7 1.6GHz

DB:Apache Couche 1.1.0

3.3 方法

1) 请求举例:使用矩形框空间查询, 按指定一次矩形框内查询, 根据要素个数和查询时间。

2) 在客户端记时:从REST请求发送开始计时, 到请求得到相应为一个统计时间段 (精确到秒) 。

3) 200万条记录的点图层进行查询。

3.4 从测试对比中我们可以得出一些结论

1) 在客户端进行空间查询, 通过Ge o Couch存储空间数据, 其性能得到大大提升 (提升几倍到几十倍) , 而且无论返回的记录数多少, Ge o Couch一直能保持比较平稳的状态。而通过File GDB存储的会随着返回记录增大而性能急剧下降。

2) File GDB (Oracle) 对单个图层中的记录数比较敏感, 随着单表记录数的增多其性能下降, 而Geo Couch则不那么明显, 如果数据量再大一些, 如千万、上亿级别, 这种区别会更加明显。

4 总结

利用No SQL数据库存储空间数据, 主要就要利用其两点优势:高性能和伸缩部署。

高性能:No SQL数据库空间查询经过测试其性能远远高过传统的关系型数据库和File GDB (性能优化十几倍) , 并且No SQL数据库 (Couch DB) 对空间查询返回记录数的增加表现非常平稳, 对于海量数据的空间查询会随着数据量越大, 这种区别会越加明显。

伸缩部署:一般No SQL数据库都比较容易分布式部署:如Couch DBCouch DB分布式部署, 自带了复制, 数据冲突检测以及冲突解决机制。

3.GIS与CAD数据转换问题研究篇三

【关键词】GIS数据；可CAD数据；视化转换

1.数据模型

1.1 CAD数据模型

CAD数据注重描述地理实体的空间位置和几何形状等信息，它以符号化的形式分层管理数据。CAD文件是由诸如颜色、线型、线宽、符号等静态图形特征组织后的图层集合，实体或元素都包含在单一的文件中，属性数据的主要描述依据图层和注记。地理实体以线型、图层、颜色、字体等几何特性和空间位置数据记录等方式表达。

1.2 GIS数据模型

GIS能够将地理实体的空间信息和属性信息集成管理。地理实体的属性信息是用来描述地理实体的属性特征的信息，是一个属性数据库。更重要的是它包含了CAD所没有的空间信息，如实体间的拓扑关系，与地理实体相对应的空间坐标系等空间信息。GIS地理实体的数据既包含CAD数据的空间位置和几何形状的信息，同时又包含地理实体的属性信息，GIS根据这些信息才能实现空间分析、测量、分类、统计等功能。

1.3传统数据转换方法

在不同的系统数据格式中对同一实体对象的描述手段与组织方式不尽相同，如何实现不同系统间数据的转换，最理想的状态是对两个系统间的所有语义建立一一对应的映射关系表。但在实际实现过程中，不可能将所有的元素都建立这样的关系，这样就产生了信息传递过程中的语义变异与信息理解上的语义偏差。因此，可行的转换模型就是建立一个两种数据格式之间尽可能完备的映射关系表。传统的数据转换技术的是提供一个简单直接地访问外部数据的方法。此方法的基础是对两种数据结构的有限支持。在某些情况下，他们仅处理特定的数据对象。这时映射关系表中的映射只是完备集命中的一个子集。还有一种常用数据转换的方式是使用各个软件中的公开数据格式。每个软件为了与其他软件进行数据共享，通常都定义一种公开的数据格式，如DXF和E00格式。普通用户可以直接读写这些公开的数据格式，实质上它们起到了一个数据桥梁的作用，通过这个桥梁可以实现软件之间的数据转换。但是这种方式仅仅是简化了直接读取源数据的难度，因为这些公开的交换格式又是由各软件厂商自己定义，所包含的内容和表达方式不尽相同，并没有从根本上解决构建一一对应的映射关系表的问题。

2.可视化转换模型

ESRI公司的ArcGIS是使用最普遍的GIS应用软件，最新版本中增加了数据互操作扩展模块，其内核是基于加拿大公司提供的要素操作引擎（FME）技术。互操作模块提供了空间数据提取，转换和加载（ETL）功能，使用户可以使用多种数据格式工作。FME基于语义转换技术进行数据共享，允许用户在数据转换过程中重新构造数据，这些重新构造的数据对用户可能是“灰箱”甚至“黑箱”。FME使用户可以根据特殊需求，提取相同数据源的不同内容，而不是以单一格式输入和输出数据。当在系统间数据模型的存在极大的语义异构时，例如CAD系统和GIS系统，这一技术显得特别实用。在ArcGIS中，数据互操作扩展模块在结构上进行了更新，使用户可以用可视化的方式导入导出大部分数据格式，并且该扩展可以基于属性值输出多个数据集。

2.1可视化转换模型理论基础

FME进行转换使用了与传统转换不同的技术，它实现了“语义转换”。语义转换提供了一个引擎，能够分别对输入或输出数据重新进行定义。支持这个引擎的是FME所提供的一个非常丰富的数据模型，它比各种专用格式所支持的数据模型要更丰富，并且具有内部一致性和可扩展性，从而实现很高程度的数据重新定义。它不是简单的从一种格式到另一种格式的转换，而是完全在一种通用格式上工作，并且注重提供各种模块来帮助用户操纵数据并转换为需要的形式，其中格式的改变只是数据转换过程中的一小部分工作。FME通过其内置的“函数”和“分类机”提供了一系列的数据处理功能。这些功能可以用于在数据转换的过程中进行图形数据的操作（如构面或连线），或生成新的属性（如长度或面积）。

FME语义映射通过构造语义映射文件来实现，它应用的是一种宏语言，很多映射文件要引用输入数据集、输出数据集，或者其他映射文件。语义映射文件的内容一般包括：读写器定义及其配置、要素表、函数、要素动态生成器4部分，其中最灵活的是要素表。用户可以根据目标数据的要求选择不同的分类器，软件将在调用映射文件时按照要素表选用的函数顺序执行转换。Feature表是用来描述要素类特征和控制要素类行为的，是按照目标数据的格式设计的控制文件。Feature表包括两部分内容：一部分用于描述要素类特征，具备这些特征的都属于同一要素类；另一部分是附加部分，例如在进行数据转换时，需要调入地理信息系统的目标数据所需的某些属性在源数据中没有体现，那么就要在转换前在语义映射文件中添加。

2.2可视化转换模型构造

可视化转换模型构造的特点就是在工作台中以可视化的方式构造映射文件。可视化转换模型构造流程首先，需要创建空间ETL工具，一旦工具被创建，工作台将呈现，这是用于可视化数据转换建模的工作环境。模型构建的第一步是选择源数据及其格式。对AutoCAD，系统支持DXF、DWG、DWF以及SDL格式，在数据类别选择中的搜索文本框中输入“auto”，这将在列表过滤CAD的相关数据格式。通常使用的文件格式是DXF和DWG。其次是选择目标数据和格式。在ArcGIS的该扩展模块中，基本支持ESRI公司的所有数据格式，包括SHP、EOO、ADF、MDB、GEN，以及网络数据库ARCSDE格式。源数据和目的数据确定后，即进入可视化操作平台（workbench），该平台提供了数据库、属性、列表等12类近270个转换模型，这些模型可以通过WINDOWS中典型的“拖”和“拉”的方式将源数据和目标数据连接起来，它们即可以“并联”使用，也可以“串联”使用，也不限于单一的源或目标数据。平台模型构造完成后，可以在平台内直接运行模型，并以图形的方式察看转换结果，针对结果调整数据流动的过程和模型的参数，最后达到转换的目标。

3.结束语

ArcGIS数据互操作扩展模块帮助用户在各种类型的数据间建立了桥梁，通过新的空间ETL工具，让我们可以进行复杂的数据转换。其可视化的操作平台简化了数据转换的难度，提高了转换的效率和精确度，是CAD数据和GIS数据进行转换的理想方法。从更长远的目标看，不同数据格式之间的无缝共享是最终的解决方法，这时数据格式的问题不再是用户需要考虑的对象，无论什么格式的数据都可以在单一软件内进行无缝的互操作，就如同操作原生格式一样。

【参考文献】

[1]陈年松.基于FME的CAD与GIS数据共享研究[D].南京：南京师范大学，2008.

[2]陈影，程耀东，闫浩文.利用FME进行GIS数据的无损转换[J].测绘科学，2007（2）.

4.ECDIS与GIS数据集成研究篇四

地理信息系统 (Geographic Information System, 简称GIS) 是一种专门用于管理地理空间分布数据的计算机系统, 是以采集、存储、管理分析和描述整个或部分地球表面与空间地理分布有关的数据的空间信息系统[1]。它集合于计算机硬件、地理空间数据和用户等几个部分与一体, 通过它独有的空间分析功能, 准确、图文并茂的输出用户感兴趣的信息。

目前, 考古研究单位面对纷繁复杂并迅速积累的考古资料, 主要采用档案的人工管理方法、费时费力、效率不高。只有将GIS技术与MIS技术结合起来, 才能实现对考古信息进行高效的科学管理, 使考古资料的效益得到充分有效的发挥。主要对传统GIS空间数据的分类以及空间数据的组织方式进行了研究, 结合面向对象技术, 对考古GIS空间数据组织模型进行了较详细的分析。

2 考古GIS数据模型

如何有效地组织并管理空间数据, 建立一个更有效的空间数据模型, 一直是GIS领域的主要研究方向之一[2]。在GIS系统中涉及到的数据有两种, 一种为与空间位置有关的数据, 这种数据在地理系统中称为空间数据, 比如位置、大小、颜色、旋转角度等等[3]。另外一种就是空间图形所对应的信息系统方面的属性数据, 比如一个面如果代表某一遗址在地图上的映射图形, 与遗址有关的数据 (遗址名称、遗址的发现的时间、文化层时代等等) 就是属性数据[4]。

面向对象数据模型是面向对象技术与数据库技术相结合的产物, 面向对象技术已成为现代计算机技术的主流技术, 在众多领域得到了普遍的应用[5]。在考古过程中, 将其中的遗迹、遗址、遗址中的文物等抽象以后, 就得到空间对象, 空间对象分为简单空间对象和复合空间对象类。在地理信息系统中, 往往涉及到不同种类的实体对象, 有些复杂对象还包含很多简单的对象。简单对象共有四种:点 (Point Objects) 、线 (Line Objects) 、面 (Region Objects) 、注释 (Annotation Objects) 。

在考古GIS应用中, 我们可以提取系统设计到的对象:地图对象、层对象、遗址对象、基本图形对象。我们把同一类的对象构成以一个集合, 称之为对象集, 这样就增加了一个对象———对象集对象, 而遗址对象是地图上的一个地理对象, 对以上对象分别称为:基本图形对象、图形对象集对象、地理对象、层对象和地图对象.这样也就有了相应的空间数据的组织形式, 该组织形式分为五层, 即:对象层、对象集层、地理对象层、图层层、地图层。

利用这样一种层次结构就很容易和现实的考古过程中所涉及到的对象系统对应起来, 地图上每个遗址或者是若干个遗址就是层上一个地理对象;地理对象的对象集就相当于某个区域内的所有遗址, 而每个遗址内可以有其他的一些基本图形对象来构成。由于该模型利用了面向对象的思想, 使每种空间数据中的对象的集合对应程序中封装的类, 并对里面的这些类抽取共同特征来形

成它们的基类。在程序中具有以下类:节点类、线类、面类、标注类、对象集合类、地理对象类、层类和地图类。这些类在程序中的层次关系可由图1所示。

此外, 在本模型中的最下一层——对象层中的对象还可以扩展为包含其它的对象, 这个对象可以为一个对象集对象或地理对象或层对象或地图对象。

3 考古GIS属性数据的实现

为保证数据的一致性和管理的方便, 将属性数据和空间数据统一存放 (即数据库型的数据存储模型) 。对于地图对象采用如图2结构。

在对象表结构中, Geo ID字段代表建筑对象的唯一标识号, 属性数据字段存储与建筑相关的属性数据, Geo Data代表和建筑对象相关的空间数据, 比例尺则控制着图层的放大缩小以及是否可见, Table Name字段实现对象间的关联。在系统中, 由于每个地图由多个层组成, 在属性数据中为了使地图与地图上的层相关联, 引入了Table Name字段, Table Name字段的内容, 就是该地图上所有层的表名, 这样就把地图和它上面的层关联起来。

4 结论

首先分析了空间数据的概念和特点, 针对考古数据的特点的特点, 采用面向对象思想, 建立考古GIS空间数据模型, 给出了部分要素的表结构, 以及对象间的层次关系, 实现了考古GIS中空间数据和属性数据的一体化存储。

参考文献

[1]周成虎.地理信息系统概要[M].北京:中国科学技术出版社, 1993 (3) .

[2]Michchael F.Wordboys.Objected-oriented approaches to geo-referenced information.Int J geographical informstion systems, 1994, 8 (4) :146

[3]Samet H.An Introduction to the Theory of Spatial Object Modelling, London:Taylor&Fran-cis, 1998

[4]汤国安.地理信息系统设计与开发[M].北京:科学出版社, 2005:15-17.

5.基于SOA的数据集成研究与应用篇五

关键词：面向服务,数据集成,XML,异构数据源

随着计算机技术和企业的发展，企业在过去的信息化进程中分别建立了各种不同的局部应用系统，这些系统的数据和功能都彼此孤立，这些数据受数据模型及存储方式的差异，具有异构性、分布性和自治性，难以实现资源的共享。因此，将这些数据进行有效的集成，使之作为一个统一的数据平台为系统的其他部分提供数据支撑服务，日益成为研究的热点。

数据集成的本质是把各种不同的数据在逻辑上或者物理上进行有效的集中，从而为用户提供全面的数据共享。目前，通常采用联邦数据库、数据仓库和基于中间层的方法来构造数据集成服务。

联邦数据库是早期人们采用的一种数据集成方案，联邦数据库系统由半自治的数据库系统构成，相互之间分享数据，联盟各数据源之间相互提供访问接口，用户对中央虚拟数据库的操作根据数据字典由映射模块映射为对各子系统的操作，通过通信接口将各子系统的结果返回，由数据组装模块组装至中央虚拟数据库，呈现给用户。联邦数据库在提供统一、透明的全局操作时，仍能保持各应用系统局部应用的高度自治，但这种方式在数据源的共享和互操作上有一定的局限性，并且难以保证全局的安全事务处理。

数据仓库是把来自于几个数据源的数据副本都存储在单一的数据库中。在这种结构中，所有数据源中的数据都被抽取出来，合成一个全局模式，并储存在数据仓库中，这在用户看来与一般的数据库系统无异。但这种方式需要定期更新，并且无法实时反映各个数据源的数据变化。

中间层模式通过统一的全局模型来访问各种异构数据源。中间层位于各种数据源和应用程序之间，向下对各数据源起协调作用，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成他们的任务，中间层则集中为各种数据源提供一个高层次的检索服务。这种方案适应于数据源数目多、各局部数据源的自治性很高且局部数据经常变化的Web环境。

基于SOA的数据集成支持对异构数据类型的访问，通过利用标准化接口，提供一个高度灵活的抽象层，把数据逻辑与业务逻辑分离，把数据访问和处理以服务的形式提供给外部使用者，从而增加了系统的灵活性和重用性，实现了应用和服务的松散耦合。

Web Services是SOA最流行的一种实现方法，Web Services的实现中使用了一些标准技术，包括服务描述(UDDI、WSDL)、通讯协议(HTTP、SOAP)以及数据格式(XML)等，使开发者可以开发出平台独立、编程语言独立的Web服务，从而充分利用现有的软硬件资源和人力资源。

可扩展标记语言XML是用于描述数据和交换数据的一种标准方式，它定义了一种文件格式和数据的保存方法，使数据信息能在异构平台之间平稳无障碍地传递和共享。

文章以SOA架构和Web Services技术为支撑，采用XML技术进行集成，提出了一种基于SOA的数据集成方法。

1 基于S OA的数据集成框架

1.1 体系结构

整个系统由3层构成，如图1所示：

客户层终端用户通过浏览器向Web服务器发送数据访问请求，并将从Web服务器接收到的查询结果返回给用户。

应用层从Web服务器接收服务请求，并将服务向能提供该服务的服务转换器转发，由服务注册库、服务解析和数据汇总三部分组成。

数据服务层由各种异构数据源和服务转换器组成，把数据访问和处理以服务的形式提供给外部使用者。

1.2 系统工作流程

当数据服务层添加新的服务时，首先需要通过服务发布模块将服务发布到服务注册库中。终端用户通过浏览器以XML文档的形式向Web服务器发送数据访问请求，Web服务器将接收到的服务请求交予服务解析模块进行解析，服务解析模块在服务注册库中对该服务进行检索，找到提供该服务的数据服务器，然后将服务请求向相应的数据服务器转发，由于数据的异构性，需要为每个数据服务器配置一个服务转换器，服务转换器将提交的服务转换成针对相应数据服务器的具体操作方法，进而从数据库中获取所需的数据，并将返回的数据转换成统一的XML格式的数据，然后提交给数据汇总模块。数据汇总模块对数据汇总，以XML格式返回给Web服务器，然后将查询结果返回给终端用户。

2 关键技术及实现方法

2.1 数据源转换为XML文档

由于目前普遍采用关系数据库，本文首先解决关系数据库转换为XML文档的问题，本文采用JDBC对数据库进行访问，用Jdom解析和Java语言编写转换程序，对应不同类型的数据库，只需修改程序中数据库连接部分即可。首先查找出数据库中所有表的名称，将表的名称存入到ArrayList中，然后用SELECT查询表中的所有字段及元数据，使用JDOM生成XML文档的关键代码：

2.2 采用We b S e rvice技术实现S OA体系结构

Web Services是基于UDDI(Universal Description,Discovery and Integration)标准协议体系的，是目前实现SOA最流行的方法。Web Service由服务提供者、服务注册中心和服务请求者三个角色以及发布、发现和绑定三个操作组成。服务提供者定义Web Services的服务描述，并把它发布到服务请求者或服务注册中心，服务请求者使用发现操作来从本地或服务注册中心检索服务描述，然后使用服务描述与服务提供者进行绑定并调用Web Services实现或同它交互。图2展示了这些操作、提供这些操作的组件及它们之间的交互。具体实现方式见参考文献[4]。

3 结束语

文章基于SOA和Web Services及XML技术，提出了一种基于SOA的数据集成方案，并将其应用到实际项目的开发中，该方案解决了传统集成方法的紧耦合，添加数据源困难等问题，实现了跨平台的数据共享，降低了系统的耦合性，能很好的适应底层数据源的变动。随着对SOA框架和XML技术及Web Services技术的深入研究，将进一步完善此框架，并应用得更加广泛。

参考文献

[1]Shanmugasundaram J,Kiernan J,Shekita E J,et al.Querying XML Views of Relational Data[C].Proc.of the27th VLDB Int.Conf.,Rome,Italy,San Francisco:Morgan Kaufmann Publishers,2001.261-270.

[2]张德文,徐孟春,马慧.基于多中间件的数据集成方案[J].计算机工程与设计,2007,28(21):5081-5083.

[3]张晓星,唐朝晖.企业多源异构数据库数据集成的研究[J].自动化技术与应用,2007,26(3):66-76.

[4]刘景景.SOA及其实现技术研究.沿海企业与科技[J],2007(12):(总第91期),71-74.

6.ECDIS与GIS数据集成研究篇六

近几十年来科技迅猛发展, 信息化不断深入, 装备保障领域在不同时期, 根据各自的需要建立了各种信息系统。由于缺乏统一的规划和管理, 这些信息系统采用的技术各不相同, 体系结构各异, 导致系统中数据的来源、内容、格式都有很大差别, 为数据的交换和共享带来了很多困难。

因此, 如何对数据进行有效集成, 解决数据分布的异构性, 最大限度地作到数据共享, 已成为信息化建设亟待研究的问题。

数据集成即从大量的数据中将有用的数据针对不同的应用进行整合、处理, 以解决数据的应用质量问题[1]。信息系统只有在数据集成的基础上才能方便地拓宽系统的应用领域, 达到“数据愈流通, 大家愈受益”的境地, 才能将系统开发维护人员的工作重点转移到数据管理上来, 体现信息资源就是财富的承诺[2]。

1 基本表的生成与规范化

基本表是信息组织的基本结构, 是装备保障信息系统中数据交换与共享的主要内容。在信息系统中, 要实现不同分系统对基本表的共享, 保证基本表与相关用户视图之间的导出关系, 前提是必须保持基本表数据项的一致性, 避免同名异义、异名同义、格式各异等问题。这就有必要对数据进行标准化, 数据标准化是信息共享的基础。

为确保数据的一致性, 从数据的“最小”单元——数据元素的层面上对数据进行规范, 建立标准数据元素库。标准数据元素库中的数据元素是根据国家军用标准GJBz20368-97, 借鉴通用装备保障信息资源规划成果, 将信息系统中所涉及信息的属性进行归纳统一后存入的。标准数据元素库为数据交换、数据集成提供了一个统一的各分系统共同遵守的数据交换规范。

图1给出标准数据元素库中存放着的系统所需的各种数据元。各分系统的基本表是根据自己的需要按照提取机制从标准数据元素库中提取所需要的元素后, 按一定规则进行组合形成的数据表。这样, 各分系统的基本表则都由标准数据元素组合而成。由于数据的格式、命名和表达方式得以统一, 这就从根本上为数据的统计、交换以及共享等工作奠定了基础。

基本表的建立除了其数据项按标准数据元素组织外, 还从以下几个方面对其进行规范以保证整个系统中数据的统一。

(1) 基本表的组织符合3NF (三范式) 基本原则;

(2) 基本表或基本表组合应能准确完整地记录信息的原始状态;

(3) 信息的组织结构应能用于显示系统内部各种信息间存在的相关关系;

(4) 信息的组织或记录应该是简单的, 只记录必要的信息, 避免记录复杂而用途不大的细节信息;

(5) 除用于临时性采集系统的基本表外, 其他信息系统中用于原始信息记录的基本表中无统计性字段;

(6) 基本表信息的组织结构满足信息及时记录的要求, 其结构能支持在不同的数据库间同步。

2 基于基本表的数据交换与共享

2.1 基于基本表的数据共享与交换机制

对于数据的集成, 借鉴信息系统体系结构中C/U矩阵的思想, 创建一个信息系统虚拟库, 虚拟库中包含各分系统涉及的所有基本表。这些分系统与各基本表之间的关系有的是创建者 (C) , 有的是使用者 (U) 。在系统虚拟库中, 每个基本表所对应的创建者 (C) 是惟一的, 即每个基本表由且仅由一个对应的分系统创建。而每个基本表所对应的使用者 (U) 可能是若干个。这不但可以使相同数据在不同数据源中保持数据格式的一致性, 而且可以实现系统数据的一次录入、全程共享。

装备保障信息系统虚拟库中的基本表是由数据元素按相关规范建立起来的。如果某一分系统所需数据表在虚拟库中已经存在, 就可以直接调入使用。如果某分系统所需数据表是系统虚拟库中某个基本表的一部分, 就从这个基本表中提取所需部分使用。如果分系统所需数据由几个基本表中的数据组成, 分系统就从相应基本表中提取相关部分进行加工处理后使用。当某分系统出现新的需求时, 由其提出创建需求或在不影响其他分系统正常运行的情况下对相关基本表提出修改, 再由相应的分系统修改基本表, 以满足需求, 实现共享。

2.2 分系统间数据交换的实现

分系统间数据交换通过调用数据交换接口, 生成XML文件, 以XML文件的形式进行。为了在数据库和XML文档之间传递数据, 必须在文档结构和数据库结构之间建立映射, 从关系数据库结构产生XML映射文件[3]。

由于基于表格的映射比较适用于存取关系型数据, 比如在两个关系型数据库之间转换数据。对XML到数据库的转换采用基于表格的映射。在建立从数据库结构到XML结构的映射过程中, 可以将各字段数据以子元素的形式或以属性的形式存储, 同样也可以指定这些元素或属性的名字。此外, 采用基于表格的映射方式还可以在文件开始的地方包含表格或各字段的元数据, 或者将其作为各表格或元素的属性。“表格”是泛指的表格, 当将数据从数据库中转到XML文件时, “表”可以是任何结果集, 反之, “表格”可以是普通的表格或可更新的视图。

对于数据交换, 在标准数据元素库建立的前提下, 数据交换接口的作用是非常关键的。在图1所示的数据交换接口区存有各分系统基本表的检索信息, 并建立有各分系统之间的映射关系。当分系统A进行某业务工作, 需要其他系统的信息时, 分系统A即向数据交换接口区发出申请, 数据交换接口检索到分系统B中的相关信息, 并为A, B分系统间建立相关基本表的映射关系。数据交换接口将映射信息发给分系统B, 系统B收到映射信息后, 将相应基本表以XML文件的形式写入数据交换接口, 数据交换接口对此进行过滤, 提取分系统A所需要的数据, 并存在数据交换接口区。分系统A从交换接口区读取XML文件时, 数据交换接口再将其解析成分系统A所需数据表。这就是一个完整的数据交换过程。

数据的具体交换过程可分为3个阶段。第一个阶段:根据标准数据元素库为待进行交换的数据表创建映射表;第二阶段:对用户选择的待进行数据交换的数据表进行对照, 并为待交换的数据创建XML格式文件;第三阶段:解析用户选择的XML文件, 写入目标数据库相应的表中。

在第一阶段, 信息系统接口根据映射协议, 对照标准数据元素库中的标准数据元素, 在分系统之间为待进行交换的数据表创建一张映射表, 提取出数据表的表名和字段名, 写入映射表。并依照一定的流程依次将数据表的各字段的名称、数据类型及具体数据项和数据元素名称、表示类及允许值进行匹配, 并将最终匹配得到的数据元素标识符写入该映射表。

第二阶段的主要工作是为用户选择的待进行数据交换的数据表创建XML格式文件, 生成用户所选择的数据库表的XML文件, 每个数据项的标签为该数据所在字段匹配得到的标准数据元素标识符。下面以装备管理数据库中的某装备基本信息表中的部分数据来说明标准数据元素的XML文件。样式如下:

以上的XML文件名称以待进行数据交换的数据库名加数据表名或对象名来命名, 根节点dataelements, 每个dataelement节点下为数据表中的一行数据, 而其中的每一个数据项的标签为其所在列的字段所匹配得到的标准数据元素标识符。若该字段未能匹配到相应的标准数据元素, 则标识号记为空。

在第三阶段, 目标系统解析所需要的XML文件, 写入目标数据库相应的表中。系统接口将用户选择的XML文件解析写入相应的目标数据库表中。目标系统进行读取, 完成数据的交换。

3 结语

数据集成是信息化的基本环节, 对于系统集成和一体化建设起着基础性作用。这里提出的基于标准数据元素与基本表对数据进行规范的方法, 解决了数据格式不同的问题, 对于突破信息孤岛瓶颈, 有效实现数据的集成与共享有着重要的作用。

摘要：为实现数据集成, 借鉴C/U矩阵一次录入, 全程共享的思想, 提出一种用标准数据元素及相关规范对基本数据表进行约束, 解决数据不一致的问题, 基于基本表进行数据交换的数据集成方法。数据元是数据的基本单元, 从数据元层面对基本表进行规范, 从根本上解决数据不一致的问题。各分系统通过数据交换接口区建立待交换数据的映射关系, 依据映射关系调用和解析XML文件进行基本表的交换和共享, 达到数据集成的目的。借鉴C/U矩阵一次录入、全程共享的思想, 用标准数据元素及其他规范从根本上对数据进行约束, 解决数据的不一致问题, 实现数据集成。

关键词：数据元素,基本表,数据集成,C/U矩阵

参考文献

[1]沈宇军, 柏彦奇, 王向飞.装备保障系统信息化建设研究[J].装备指挥技术学院学报, 2006, 17 (5) :22-25.

[2]Ted Pattion.Programming Distributed Application[M].Washington:Microsoft Press, 1998.

[3]姜巍.供应链间企业信息系统集成研究[D].武汉:武汉理工大学, 2006.

[4]Bohannon P, Freire J, Roy P, et al.From XML Schema toRelations:A Cost-based Approach to XML Storage[M].IC-DE, 2002.

[5]高贵锦, 龙翔.基于数据元的交换数据标准维护[J].吉林大学学报, 2005, 23 (1) :38.

[6]邹景山, 郑联语, 孙香云, 等.数据元素在企业信息集成中的应用研究[J].信息技术与标准化, 2007 (3) :35-39.

[7]方欣, 刘丽华, 金水高.公共卫生数据元标准化研究进展[J].河南预防医学杂志, 2006, 17 (3) :183-185.

[8]王丹, 王文生.元数据据与数据元的内涵及其应用[J].农业网络信息, 2005 (11) :27-30.

[9]朱敏, 王开建, 苏博.基于XML的企业网络数据集成模型研究[J].信息技术与标准化, 2006, 22 (5) :37-39.

7.ECDIS与GIS数据集成研究篇七

作为一种先进的空间数据信息可视化技术, GIS系统现广泛应用于各个社会领域。通用的GIS系统以地理空间数据库为基础, 采用空间模型分析方法, 能够提供多种空间的和动态地理信息, 为地理研究和地理决策提供服务和技术支持。因此, GIS系统在城市规划、土地农林管理、城市信息查询等领域得到了广泛应用[1]。

近年来, 随着社会经济的快速发展, 徐州市贾汪地区用户用电量不断增长。为了适应负荷高速增长的现状、解决业务快速发展带来的各种问题、为客户提供优质的服务, 贾汪营业部积极开展“营配集成”, 实现了营配信息共享, 为配电GIS系统的应用打下了良好的数据基础。但是, 随着系统中数据量的不断增加, 当前配电GIS系统存在的一些问题也越来越突出。本文将针对配电GIS系统中出现的问题, 给出一些较为可行的解决方案和设想。

1 配电GIS系统的应用现状

1.1 可靠性和实时性问题

配电GIS系统是以营销系统和PMS系统中的数据为基础的。但是, 目前PMS系统中存在较为严重的数据汇总速度滞后、数据不完整等问题, 大大降低了配电GIS系统的数据准确性。随着公司业务的不断扩大, 配电GIS系统将逐渐成为一个重要的辅助决策工具, 用来对营销和配电工作进行指导。因此, 配电GI系统的数据可靠性就变得非常重要。

另外, 当前配电GIS系统的实时性方面也存在一些问题。例如, 徐州供电公司贾汪营业部现有客户22万户, 其中城区2.9万户。10 k V公用线路86条, 共868公里, 公用配变1 500台, 容量29.8万k VA。如果要完全统计这些数据, 营销系统和PMS系统至少需要1-2天, 并且不能保证统计结果的可靠性。出现这种现象的主要原因是GIS系统和PMS系统无法进行数据融合, 从而导致效率低下和可靠性不足等问题。

“营配集成”工作开展后, 基本实现了营销、配电两个系统的流程再造, 以电力客户新装为例, 业扩流程的“填写申请表”至“客户交纳费用”在营销系统内完成流程, 施工阶段需在PMS系统内增加设备, 填写相应信息, 才可以传到营销系统竣工验收阶段, 便于在PMS系统内得到客户的第一手资料, 保证在PMS中的线路、设备数量、负荷等的准确性。PMS系统内部的用户信息和数据示例图如图1所示。

1.2 系统稳定性问题

从2012年下半年开始, 徐州供电公司下属各单位在配电GIS系统内沿布了中压及低压线路、设备。随着系统内的数据不断增多, 配电GIS系统的数据处理速度越来越慢, 杆塔沿布定位很容易出错。这些系统稳定性方面的问题, 大大恶化了配电GIS系统的用户体验。

1.3 系统数据冗余问题

现有的配电GIS系统中, 大量的配电数据分散在各个部门和行业中, 由于缺乏统一的标准和规范, 这些数据很难共享和互联, 导致了严重的重复投资和信息资源浪费, 出现了电力企业GIS系统“市场发展超前, 技术标准滞后”的情况, 阻碍了GIS系统的应用推广。

1.4 系统的可持续发展性问题

由于电网规划人员和维护人员之间缺乏沟通, 尤其是在了解地方政府规划方面信息不全、不及时, 因此造成在规划过程忽略了某些实际问题。电网管理系统的规划不仅涉及对自身信息的管理, 还涉及对地理信息的勘测, 以及图像处理和数据的统计与分析等等, 因此常常使规划受到限制, 影响电网的稳定性和预测的准确性[2]。

2 基于“营配集成”的配电GIS系统

2.1 系统主要功能

近年来, 供电企业通过开展GIS系统在营销和配电管理系统中的一系列研究工作, 提供了一种基于空间信息的数据共享平台, 在此平台上能够完成以下功能:

(1) 可视化展示:通过电子地图, 对营销资源进行直观展示。

(2) 故障抢修管理:通过电子地图进行故障分析。

(3) 流程整合与优化:通过电子地图整合相关的生产与营销信息, 提高对客户需求的响应速度。

(4) 供电质量与能力分析:分析变电站、线路、公变的供电能力;分析用户的停电信息。

(5) 线损精细化管理:利用GIS可视化展示优势, 图形化展示分变、分线、分压、分台区线损率和指标完成情况。

(6) 停电可视化管理:利用GIS可视化展示优势, 图形化展示有序用电执行方案执行过程、保电区域、停电影响范围并分析其影响内容。

(7) 移动应用:利用移动终端, 实时展示故障抢修情况、现场作业情况、客户综合信息以及领导视图, 并可使用移动终端完成现场巡视、现场勘察、现场抄表和现场抢修作业。

(8) GIS空间信息采集:通过GPS采集设备获取低压线路、台区、计量箱坐标, 并核实计量点与台区对应关系。

(9) 配网规划管理:配电网规划主要包括数据采集、配网现状分析、负荷预测、经济评价、变电站选址等内容。

(10) 专题图应用:通过专题图自动生成和管理, 基于图形化分层数据进行负荷分析、电源分析、故障点分析、转供电分析、开关置位、挂牌管理等。

(11) 高级应用:基于GIS平台, 开展故障密度分析、负荷密度分析、用电异常分析、客户能效分析、供电区域价值分析、停电模拟分析、优化10 k V配电线路联络设置分析等GIS高级应用, 为规划、生产、营销等业务提供信息支撑[3]。

基于GIS业务应用产品功能架构, 应用效果, 如图2所示。

2.2 系统应用现状

现南方电网公司正在开展营配信息集成试点GIS建设, 在已有的电网GIS平台基础上, 开发面向营销管理系统、快速复电系统、配电管理信息系统和计量自动化系统等营配集成所需要的相关服务和应用, 主要内容如下:

(1) 业扩辅助报装功能。

(2) 营配集成试点所需的Web GIS控件功能。

(3) 配网设备基础台账、客户台账和电网拓扑的导出[4,5]。

GIS系统现有的研究及应用工作, 为配电工作指导和服务的多, 为营销工作服务的少;数据集成化高, 现有状况及模拟状况分析能力强, 对未来生产规划, 尤其是结合地方建设规划等, 现有GIS系统研究范围过于狭窄等问题, 将会使供电企业在优质服务工作中难免处于被动状态。怎样充分发挥GIS系统的作用, 更多地争取信息资源, 更好得掌握客户需求, 密切配合地方政府, 以GIS系统为重要工具, 切实提高供电企业服务客户的能力。

3 配电GIS系统的升级设想

3.1 WCF的应用

基于“营配集成”的GIS系统突破了以往营销系统和配电系统的“信息孤岛”, 实现了电力企业内部的数据融合。然而面对外部的需求, 如市政建设规划、地方政府引进重要客户的配套设施等, 配电GIS系统便成了一个大的“信息孤岛”。那么, 如何才能彻底打破这种数据壁垒现象呢?WCF技术为我们提供了一种全新的解决方案。WCF具有安全、可信赖、互操作、可跨平台通信等功能, 用户只需要去引用服务端的数据, 即配电GIS系统通过WCF技术的接口, 从地方建设、政府规划等服务器端获取到数据, 将数据分析后沿布到GIS系统[6]。徐州市城乡规划地图发布与查询平台。

供电公司应用的各种系统中存有大量的用户信息、设备信息等, 涉及到企业的安全生产, 使用WCF技术可满足GIS系统信息采集的安全性。WCF安全代理以WCF服务的方式分别部署在服务与客户端点, 主要负责对本地的服务请求、响应消息进行截获、安全处理和转发。供电公司所有系统全部在内网处理, 可将GIS系统安装在内网和外网两台服务器上[7]。

(1) 内网。内网使用的绑定为Net Tcp Binding, 该绑定规定对SOAP消息采用二进制编码, 非常高效。这一场景主要适用于配置了SSL等安全技术的Intranet应用系统。内网的客户端类型单一, 且SSL技术在应用上已经相当成熟, 在该安全场景中, 能对整个消息流进行点到点的安全保护, 消息传输简单高效。

(2) 外网。外网使用的绑定为WSHttp Binding。该场景使用的安全模式为消息模式, 该模式在消息层提供安全支持。这一场景主要适用于Internet应用系统, GIS系统利用WCF接口采集数据加载到本地形成数据包, 并保护其本身数据不被泄露。

通信双方能够互相传递信息, 需要依赖于事先制定好的数据交换规则, 这个规则正是交换数据的双方都能彼此理解对方的依据, 这是应用WCF技术的主要原因, WCF简化了分布式的应用, 互操作可通过以下设想的步骤实现[8]:

(1) 定义并实现WCF服务契约。徐州供电公司创建WCF服务, 将服务代码放入徐州市政府市政规划的服务器中, 服务接口对外开放。WCF服务实现对市政规划数据的提取和发送。

(2) 启动WCF服务。创建并配置WCF徐州供电公司客户端, 服务创建成功后, 供电公司外网服务器通过Internet将分散在各地的服务添加进来, 通过引用各服务的接口, 将所需数据读取出来, 服务器对各个WCF服务引用的配置文件如下:

(3) 将外网服务器的GIS数据包拷贝至内网GIS服务器, 内网GIS服务器对所得数据进行分析计算, 将最终数据信息返回给内网GIS系统, 营销系统、配电系统及自动化系统等可采集数据, 用浏览器查看图像, 对显示结果进行分析[8]。

软件开发中, 为异构网络、不同平台开发通信功能正变得越来越复杂, 即使提供基本类似的功能, 也需要针对不同网络类型、不同平台分别通信模块。WCF采用中间件解决方案, 连接政府数据库, 保护政府数据安全, 设置不同功能权限, 实现政府用户存取数据、配电GIS读取数据。WCF跨平台通信图, 如图3所示。

3.2 提高配电GIS系统的运行速度

提高GIS系统的运行速度, 一般通过三种途径:提高计算机配置, 提高网速, 改进GIS系统的算法。在实际应用时, 经常将GIS系统数据下载到本地, 是一个很好的提高系统运行速度的方法。

相对于GIS系统服务器, 每一个用户的使用申请是不同的, 然而对于使用某一台计算机的用户, 经过研究可以发现, 该用户日常研究、调用的是其管辖范围内的固定几条线路和几个设备, 对其管辖范围外的线路和设备很少打开[9]。可通过记录消息的方法, 记录本地用户的操作步骤和操作结果, 对同一时刻的不同操作, 遵循“先简单, 后复杂”的原则, 以较快的速度完成用户的操作, 提高GIS的整体运行速度。

3.3 对营销工作的支持

以GIS技术为支撑, 运用信息化的手段将多个系统的数据进行整合, 用电子地图的形式表达、分析公司运营相关数据, 对庞大的数据资料进行基于GIS的商业信息的管理与分析, 实现贾汪区经济情况、销售策略、客户状况管理和分析等多方面营销能力和水平的提升[10]。

(1) “十分钟”缴费圈。以电网GIS地图为工具, 对缴费渠道营业厅、自助终端、社会化代收、银行代收等各类资源分布情况集中展示, 通过精确分析计算相邻缴费网点间的距离, 指导缴费网点的合理布局, 切实打造“十分钟”缴费圈[11]。

(2) 业扩报装辅助设计。基于电网GIS平台的维护的电网资源信息和基础地理信息, 在地图上快速定位客户报装地点, 查看报修地点附近的主配网设备位置、参数、状态信息, 结合客户报装提供的申请容量等信息[12], 制定供电方案草图。

4 结束语

本文重点研究了供电企业目前广泛使用的配电GIS系统, 针对配电GIS系统在实际使用过程中出现的一些问题, 提出了若干较为可行的解决方法。通过将计算机领域应用广泛的WCF技术引进到配电GIS系统中, 能够提高配电GIS系统的运行速度, 稳定性和开放性。但是, 这一途径目前还是一个技术设想, 实际配电GIS系统的升级和改造还有很长的路要走。

摘要：电力企业营销与配网生产管理中涉及大量的空间数据, 应用GIS技术能够有效地对营销和配网信息进行统一管理, 从而提高电力企业的规范程度和工作效率。从徐州供电公司贾汪供电营业部配电GIS系统的应用现状出发, 结合实际生产中遇到的问题, 突破了“营配集成”仍处于纯粹数据应用的局限性, 将营销和配网工作更为紧密地结合起来, 提高了实际工作效率, 并为配电GIS系统的进一步升级和改造提供了一种新思路。

关键词：营销,配电,营配集成,地理信息系统,生产管理系统

参考文献

[1]刘今, 刘鹏, 李勇.基于的配电运行管理系统图形编辑[J].电网技术, 2006, 30 (2) :600-604.

[2]杨好德.基于GIS的电网规划管理系统研究[J].机电信息, 2013, 3 (9) :24-25.

[3]朗新科技公司.朗新基于GIS应用解决方案v1.0[EB/OL].http://www.longshine.com/product.aspx?kind=2&id=103.

[4]招标信息.贵州电网公司营配信息集成试点GIS建设招标公告[EB/OL].http://www.skxox.com/web/zhaobiao/page/skcinpnm.html.

[5]中国电力.南方电网公司钟俊肯定营配信息集成试点工作成效[EB/OL].http://www.chinapower.com.cn/newsarticle/1169/new1169647.asp.

[6]百科.WCF百科[EB/OL].http://baike.baidu.com/view/1140438.htm.

[7]吴迪, 李立新.WCF安全模型的设计与实现[J].网络安全技术与应用, 2008, 10 (7) :12-14.

[8]刘黎志, 吴云韬.应用WCF分布式框架实现移动数据同步[J].计算机应用, 2011, 31 (12) :3281-3284.

[9]承达瑜, 陈军, 韩刚, 等.基于消息队列的实时GIS协同操作研究[J].中国矿业大学学报, 2012, 41 (1) :127-132.

[10]蒋树珍.基于GIS技术构建卷烟市场精细化营销管理平台[J].硅谷, 2011, 10 (23) :39-40.