查看: 34|回复: 0

智慧城市大数据平台技术方案

[复制链接]

智慧城市大数据平台技术方案[复制链接]

智慧城市大数据平台技术方案
1.章 总体说明
1.1 建设背景
智慧城市是以信息和通信技术为支撑, 通过透明、 充分的信息获取, 广泛、安全的信息传递, 有效、 科学的信息利用, 提高城市运行和管理效率, 改善城市公共服务水平, 是以智慧技术、 智慧产业、 智慧人文、 智慧民生、 智慧管理、 慧生活等为重要内容的城市发展新模式。
“十二五”期间中国将有 600 个至 800 个城市加入到智慧城市队伍中来。 北京、 上海、 广东、 武汉、 宁波等几乎所有的一线城市、 50%的二线城市, 提出了明确的智慧城市建设规划。
然而, 在智慧城市的推进过程中, 各类深层次的问题也逐渐暴露出来。首先,各个行政单位都建立了各类政务应用系统, 由于单位划分限制, 为这些应用系统配套的基础设施不能进行跨单位共享复用, 其安全性也无法得到统一保障。其次,受技术架构不一致、 接口规范不统一等因素的影响, 这些应用系统之间大多无法实现数据共享及流程互通, 各类政务数据分散在若干独立系统中, 数据一致性也难以得到保证。 最后, 各类政务系统积累了大量城市运营数据, 但没有一个统一的接口向社会公众开放, 政务数据的价值没有得到充分发挥。
XXX 智慧城市就是要求始终坚持以人为本、 为民服务的理念, 更加关注人民的生活量和城市的可持续发展。 “感知中国, 智慧 XX”为主线, 以“惠民、 强企、优政”为宗旨, 整合资源, 整合系统, 整合服务, 进一步提升 XX 的电子政务、 城市管理、 经济运行和为民服务水平。 通过大数据平台与各智慧系统的建设, 努力把 XXX 打造成具有国际影响力的智慧城市建设先行示范区, 使 XX 成为人人向往的智慧城市。
智慧城市大数据平台作为智慧城市的“第一张名片”, 是实现政务城市管理和社会公共服务的公共支撑平台, 可完成城市公共数据的交换共享、 信息融通,支撑互联的智慧化应用服务。 无论是现在智慧城市的建设还是未来新型智慧城市的, 大数据平台是实现城市三融五跨协同管理服务的重要支撑。
1.2 建设目标
通过建设智慧城市大数据平台构建政务信息资源共融共享体系和建设各级政府信息资源共享平台。 形成法人、 人口、 经济、 地理信息、 政务、 治理、 民生、经济等基础数据的“总和”。 实现信息互联互通和数据的共享交换。 智慧城市大数据平台具有对数据结构各异的数据进行分类、 清洗、 抽取、 挖掘、 分析、 汇集、共享、 交换的功能。
具体目标
1.建立覆盖各参建委办局单位的政务信息资源目录体系, 对人口、 法人、 经济、 地理信息共享基础信息进行梳理、 编目, 形成 XXXX 市信息资源目录体系的示范应用, 带动目录体系建设;
2. 建立覆盖参建委办厅局单位的信息资源交换体系, 提供人口、 法人、 经济、地理信息共享基础信息的交换服务, 为各政务基础信息交换落地成库、 实现跨部门主题应用提供支撑。 同时为下一步交换体系横向覆盖更多的委办厅局单位预留接入接口;
3. 以现有的市政务外网和互联网为依托, 融合公安、 人社、 计生、 民政等局单位与人口相关的信息资源, 形成全市人口共享基础信息库, 为政府决策、 公共服务系统等提供信息支撑;
4. 整合工商、 税务、 质监、 编办等部门的法人相关信息, 形成以组织机构代码为唯一标识的全市法人共享基础信息库, 为各监管部门进行“业务交叉稽核”奠定基础;
5. 建立符合 XXX 市实际的电子政务行业标准、 地方标准及制度规范, 明确统一的数据共享格式, 明确部门共享信息资源的责任与义务;
6. 通过可视化平台对数据共享交换信息及人口、 经济、 法人、 地理信息的基础信息库进行数据可视化展示;
7.通过数据开放向社会公布自己所拥有的, 并经过脱敏的数据。 包括天气数据、 GPS 数据、 金融数据、 教育数据、 交通数据、 能源数据、 医疗数据、 政府投资数据、 农业数据等。
1.3 项目建设主要内容
重点开展三大工程建设: 基础信息库建设、 共享交换平台建设、 数据开放平台建设。
1.3.1 基础信息库建设
⑴人口基础信息资源库建设
整合公安、 计生、 人社等多个部门数据, 建设和完善覆盖常德全市城乡全部人口、 以公民身份号码为标识人口基础信息库。 以人口基础信息为基准, 建立信息共享和校核机制, 充分利用人口普查信息, 逐步建设人口总量和静态动态分布、 户口登记、 年龄和性别结构、 教育程度、 就业状态、 居住状况、 收入水平、纳税情况、 参保缴费、 社保待遇、 婚姻状况、 优抚救助、 扶贫开发等方面的业务信息库, 为区域资源承载能力、 实有人口统筹管理、 人口全生命周期管理、 社会治安状况、 人力资源能力素质、 社会就业形势、 市场消费能力和公益事业发展水平、 城镇化水平等的监测分析和评价决策提供信息支持。
⑵法人单位基础信息资源库建设
整合质监、 工商、 税务、 民政、 编办等部门数据, 建设和完善以法人组织机构代码为标识的法人单位基础信息库。 以法人单位基础信息为基准, 建立信息共享和校核机制, 充分利用经济普查信息, 逐步建设法人信用、 固定资产投资、 业结构、 就业规模、 生产经营、 税源税收、 法人业务范围等方面的业务信息库,为企业技术创新、 产品质量保障、 中小企业发展、 劳动就业需求、 行政资源配置、产业经济安全、 社会事业发展、 市场开放竞争、 社会信用体系等的监测分析和评
价决策提供信息支持。
⑶空间地理基础信息资源库建设
整合相关空间基础数据资源, 完善空间信息共享机制。 建设和完善以测绘基础地理信息为主要内容的空间地理基础信息库。 以国家空间地理基础信息为基准,建立信息共享和校核机制, 逐步建设土地矿产资源、 水源水系分布、 城乡建设规划、 综合交通布局、 水域空域航线、 重点水利工程分布、 邮政编码和地址、 地理数据资源等业务信息库, 为自然资源储备和开发利用状况、人居环境、生态环境、自然灾害、 交通资源配置和物流配送效率的监测分析和评价决策提供信息支持。
⑷宏观经济基础信息资源库建设
整合统计局、 发改委、 财政局、 地税局、 国税局等部门数据, 建设宏观经济信息库。在市统计局已有经济普查和行业统计数据基础上, 重点加强产业、金融、税收、 统计等基础信息资源开发利用, 逐步完善消费、 投资、 进出口以及经济运行、 节能减排、 知识产权等方面的业务信息资源, 为市和区县市领导和相关业务部门开展经济运行动态监测、 产业安全预测预警等分析决策提供信息支持。
1.3.2 共享交换平台建设
通过条块结合模式, 推动全市范围内的信息资源共享交换, 解决信息孤岛问题, 建立信息资源交换体系和目录体系, 规范数据交换和使用, 逐步完善共享平台对跨行业的应用支撑, 提高政府公共服务水平和效率, 成为企业和公众服务的一站式基础平台。
1.3.3 数据开放平台建设
数据开放就是政府向社会公布自己所拥有的, 并经过脱敏的数据。 包括天气数据、 GPS 数据、 金融数据、 教育数据、 交通数据、 能源数据、 医疗数据、 政府投资数据、 农业数据等。 这些原始数据本身并没有明显的商业价值, 但经过一些公司加工之后, 可以产生巨大的商业价值。
1.4 设计原则
智慧城市大数据平台应遵循“以共享为原则、 不共享为例外, 需求导向、 偿使用, 统一标准、 统筹建设, 建立机制、 保障安全” 的原则。 各政务部门应加强基于信息共享的业务流程再造和优化, 创新社会管理和服务模式, 提高信息化条件下社会治理能力和公共服务水平。
(1) 可靠性原则
智慧城市大数据平台在设计时将充分考虑政务资源交换平台对可靠性的要求, 保证系统的高可靠、 高可用性, 尤其是保证关键业务的连续不间断运作和对非正常情况的可靠处理。
(2) 可伸缩和可扩展性原则
平台应该真正符合多层高可用、 分布式体系结构, 应能满足新增的需求, 系统的体系结构不需做较大的改变, 并能保证系统今后的平滑升级。 应充分考虑现有技术以及未来电子政务的发展要求, 保证系统具有较好的开放性和结构的扩展性, 在系统设计中应尽量采用模块化结构、 提高各模块的独立性, 尽可能减少模块间的数据藕合, 使各子系统问的数据依赖程度减至最低限度, 同时, 要适当兼顾今后需求扩大时对功能扩展的需要。 交换平台和节点应具备支撑多个应用系统的能力和节点个数的易扩充性。
(3) 开放性原则
全面支持 XML、 WebService、 SOAP、 REST 等当前受到普遍支持的国际开放标准, 保证系统能够与其它平台的应用系统、 数据库等相互交换数据并进行应用级的互操作性和互连性。
(4) 安全性原则
既要注重系统本身防御外部攻击的能力, 又要提高数据传输的安全性, 要遵循相应的保密规范, 保证系统安全保密性、 查错纠错能力、 抗病毒能力等。
(5) 高效性原则
系统的运行效率主要包括: 处理能力, 处理速度, 响应时间等。 系统在满足其他各项功能需要的前提下, 应可能地提高系统运行效率。
(6) 友好性原则
系统应具有人性化的人机交互界面, 要求用户界面标准, 统一集成, 使用简单, 减少使用的复杂程度, 提高使用效率。
(7) 可管理易维护性
由于大数据中心平台系统, 使用面广, 系统稳定性可用性要求高, 因此平台还必须具有良好的可管理和易于维护的特点。
1.5 设计依据
《政务信息资源共享管理暂行办法》(国发[2016] 51 号)
《促进大数据发展行动纲要》(国发[2015] 50 号)
《政务信息资源目录编制指南(试行)》
《关于全面推进政务公开工作的意见》
《2006-2020 年国家信息化发展战略》
《关于促进电子政务协调发展的指导意见》
《国务院关于促进信息消费扩大内需的若干意见》
《促进大数据发展行动纲要》
《国家电子政务总体框架》
《国家电子政务“十二五” 规划》
《国务院关于印发“十二五”国家战略性新兴产业发展规划的通知》
《关于印发“十二五” 国家政务信息化工程建设规划的通知》
公安部、 国家保密局、 国家密码管理委员会办公室和国务院信息化工作办公室《关于信息安全等级保护工作的实施意见》
《智慧城市公共信息平台平台建设指南》
《关于促进新型智慧城市健康发展的指导意见》
《智慧城市公共信息平台-信息资源分类要求》
《智慧城市公共信息平台-信息标识编码要求》
《智慧城市公共信息平台-元数据要求》
《智慧城市公共信息平台-目录管理与服务要求》
《智慧城市公共信息平台-数据交换与整合要求》
《智慧城市公共信息平台-应用单位接入要求》
《智慧城市公共信息平台-接口与服务要求》
《中国慧城市标准化白皮书》
《政务信息资源目录体系第 2 部分: 技术要求》
GB/T13016-1991《标准体系表编制原则和要求》
GB17859-1999《计算机信息系统安全保护等级划分准则》
GB/T21063-2007<政务信息资源目录体系》
GB/T21062-2007《政务信息资源交换体系》
《国家电子政务工程建设项目管理暂行办法》
《政府信息公开条例》
中共中央办公厅、 国务院办公厅转发《国家信息化领导小组关于加强信息安全保障工作 的意见》 的通知
《关于加强数字中国地理空间框架建设与应用服务的
指导意见》(国测国字[2006]35 号)
《1:10000 基础地理信息数据库生产与建库总体技术纲要》
《国土基础信息数据分类与代码》
《1:500、 1:1000、 1:2000 地形图要素分类与代码》
《城市地理要素编码结构规则》
《基础地理信息要素分类与代码》
《地图符号库建立的基本规定》
《国家电子政务外网信息安全标准体系框架》(GW0101-2014)
《国家电子政务外网安全等级保护基本要求》(GW0103-2011)
《国家电子政务外网安全等级保护实施指南》(GW0104-2014)
《国家电子政务外网安全接入平台技术规范》(GW0202-2014)
《国家电子政务外网安全管理系统技术要求与接口规范》(GW0204-2014)
《接入政务外网的局域网安全技术规范》(GW0206-2014)
2.章 对项目的理解
2.1 现状分析
2.1.1 基础数据库库藏数据量不足
信息资源开发利用和共享总体而言滞后于电子政务的基础设施建设, 更落后于政府和社会对政务信息资源的需求。 基础数据库库藏数据量不足, 主要表现在以下两方面:
1. 从信息资源数据库库藏数据总量来看
当前既有的信息资源数据库库藏数据远远不能满足现实要求。 主要表现为:信息资源总量不足, 信息内容匮乏, 静态信息多, 动态信息少, 信息资源更新速度慢。 数据的实时性是信息系统的生命力所在, 不能实时更新的静态数据库成为低层次建设和内容匮乏的数据库, 也必将成为事实上的“死库”。 这种类型的信息资源数据库不能成为政府决策支持系统的有力助手, 其应用价值非常低。
2. 从基础数据库库藏数据储存质量来看, 由于数据采集质量和更新频度较低, 导致其利用率也非常低, 因而信息资源的价值不能得到有效体现。 主要表现在两方面: 一方面, 信息资源共享的建设只强调了“人口基础信息库、 法人单位基础信息库、 自然资源和空间地理基础信息库、 宏观经济数据库” 等四类基础数据库的建设, 忽视了数据库与业务应用系统和数据库的互联互通和共享建设, 致四类数据库有效使用率低, 同时, 相关业务应用系统和数据库由于缺乏四类数据库数据的有效支持, 其相关功能未能得到最有效利用。 另一方面, 信息质量不高, 对信息深度挖掘不够, 信息针对性不强, 政府在工作过程中产生的大量信息还没有加工成可供交换和共享的数据库资源。 信息资源加工深度是衡量其质量的最主要指标。 对于信息的使用者来说, 更多需要的不是原始数据, 而是经过分析加工过后的数据。 信息资源的离散、 无序和缺乏关联性, 是导致信息质量不高的原因, 也是造成信息资源利用率的重要原因。
3. 互联网信息和物联网数据采集量缺乏
互联网信息和物联网信息也是智慧城市信息化建设的重要组成部分。 由于这部分数据的利用方式和传统数据不同, 需要更加专业的处理手段。 城市在物联网信息和互联网信息方面有很大的潜力可挖。
2.1.2 信息资源开发利用水平较低
因电子政务发展的需要, 城市市有些部门已经初步建设了“人口基础信息库、法人单位基础信息库、 自然资源和空间地理基础信息库、 宏观经济数据库” 四大基础数据库, 解决了基础数据使用的问题, 但对已经积累的政务信息资源开发利用率还比较低。 究其原因, 主要是由于政务信息资源共享的建设需更进一步捋顺共享流程, 整合数据挖掘技术。
1. 数据库的建设与政务信息资源的开发利用严重脱节
在政务信息资源共享建设过程中, 只强调了建立基础数据库, 并没有将这些数据库与业务应用有机整合起来, 从而导致数据库的建设与政务信息资源的开发利用严重脱节, 开发利用水平非常低下。 数据指标的重复采集, 必然导致数据之间的冲突, 这造成了资源浪费、 监管缺位和业务难以协同等问题。
2. 信息资源分散, 信息整合不足
政府信息资源分散在各个部门, 各个部门信息化程度不同、 建设年代不同、技术路线不同, 各个部门数据很难高效整合应用, 甚至很多部门内部各个系统之间的数据也没有很好的整合。 同时, 由于部、 省垂直系统的建设应用, 形成了更高的“信息烟囱”, 使市级信息资源统筹更加困难。
3. 信息资源标准不统一, 数据不一致
由于各个部门信息化建设都是围绕本部门的业务需要和使用习惯, 在一些基础数据分类、 代码都有自己的标准, 数据格式、 数据建模都有自己的特点, 从而造成不同部门数据差异, 也阻碍和跨部门数据应用效果。
2.1.3 缺乏信息资源统筹利用的机制
目前基础信息资源的利用已经有了城市特色的 CIO 管理机制, 对各委办局的信息资源管理起到了很大作用。 但在政府开发数据资源的大要求下, 在大数据技术蓬勃发展的环境下, 需要更多灵活的信息化管理手段促进信息资源的共享。
1. 信息资源共享利用缺乏市级领导统筹管理
由于条线管理的制度约束, 各部门都有自己的条件约束, 导致在市级横向管理层面存在很多限制。这种限制的打破只有市级领导站在全市的角度, 统筹资源,协调管理。
2. 信息资源共享利用缺乏奖惩机制
信息资源的建立, 更新, 使用都是和各部门的绩效相联系的。 在信息资源的管理上, 能够采集激励措施来存进各委办局的建设积极性, 是最有效最高效的手段。 有效的利用监察等部门的监督手段, 促进各部门高效维护信息资源是有效手段。
3. 信息化管理的扎口利用不足
在信息化的扎口管理中, 需进一步强化各部门对基础数据的维护更新, 对基础数据的高效利用。
2.2 业务需求分析
城市大数据中心的数据源包含人口数据、 法人数据、 经济数据、 地理信息数据和互联网数据。 其中人口数据、 法人数据是城市大数据中心的核心基础数据,是其它应用平台的数据源泉。
2.2.1 用户分析
城市大数据中心的用户分为: 市领导, 各委办局业务单位及社会公众。
1) 市领导
对于市领导, 数据中心将有价值的数据、 行政地图、 决策方法和应急进行融合, 弥补数据分析的局限性, 有利于各级领导、 管理决策人员方便、 直观、 形象地进行各种分析, 从而使统计决策的科学化、 人性化、 智能化管理走上一个新台阶。
2) 各委办局业务单位
对于各委办局业务单位, 委办局可以向数据中心提供数据或使用数据中心提供的数据; 业务部门之间可以通过数据中心交换数据; 遵循标准规范进行业务系统的建造和改进, 可实现业务系统和数据中心的对接。
3) 社会公众
对于社会公众, 可以依托数据中心提供的应用服务对公众需求做出快速反应,公众可以更直接广泛的获得政府提供的服务, 如证照协同、 社保电子传递等。
2.2.2 业务分析
基于政务信息资源在电子政务的业务应用可以具体分为四类, 包括部门内应用、 纵向应用、 横向应用和综合应用四类。
部门内应用业务
基于政务信息资源, 部门内应用市支撑单个政务部门特定层次内部职能开展业务活动的应用。 部门内应用分为三种应用模式:
核心业务类: 政务信息资源作为核心的主要依据或工作成果的业务, 如户籍管理、 国土应用、 规划审批、 工商管理、 宏观经济统计。
辅助业务类: 政务信息资源作为业务提供必要的支持, 可进一步产生附加的信息资源和为业务工作提供支持的业务。
参考业务类: 政务信息资源不具体应用于业务工作, 仅仅作为参考资料的业务。 如人口、 经济、 税收的分区域统计分析业务。
纵向应用业务
基于政务信息资源, 纵向应用支撑单个政务部门以及下属各级部门依职能展开业务活动的应用。 纵向应用的业务应用建设目的是为了满足上级政务部门、 级部门以及下属各级政务部门依职能开展业务和提供服务的需要。 如公安系统业务应用、 国税系统业务应用、 海关业务应用等。
横向应用业务
基于政务信息资源, 横向应用支撑某一部门与同一层级的其他多个政务部门依职能开展业务活动的应用。 这种应用主要侧重于同一行政级别之间的业务协作,如并联审批业务应用、 城管执法业务应用、 海关业务应用。
综合应用业务
基于政务信息资源, 综合应用支撑多个层级、 多个政务部门依职能开展业务活动的应用; 大多数电子政务业务应用系统呈现条块结合、纵横交错的复杂状态,它的每一个横向的块和纵向的条之间既相互独立又相互联系, 条块之间的关系非常密切, 因此综合应用类的业务系统非常普遍常见, 如城市应急指挥应用、 领导决策支持应用、 城市综合管理应用。
2.2.3 业务需求
人口信息业务需求
人口库是基于城市级的政务网络、 空间地理信息系统以及支持多业务部门的数据集成和交换平台, 按照统一的数据库编码标准, 收集、 比对、 整合分散在各部门的基础数据, 集聚、 整合各参建部门管理系统中涉及人口的基础信息, 建立人口基础信息库、 集中与分布相结合的人口数据库体系, 为人口信息的共享交换提供基础。 人口库中的人口信息包括本地常住居民身份信息、 流动人口信息、 婚育龄妇女信息、 社保缴纳和发放信息、 居民收入基本信息和享受低保人员信息等人口生命周期各个阶段产生的所有信息。 通过建立这样一个全面的人口数据库,可以方便公安、 计生、 民政、 卫生、 教育、 残联人力资源和社会保障、 统计等使用人口信息的部门及时准确地查询到人口相关信息, 不同部门可以共享相关的人口信息, 确保各相关部门的人口基本信息的准确性和一致性。
不同部门对人口库有不同的需求和期望。 人口计生部门获取其它部门提供的新婚、 出生、 死亡、 劳务、 流动和总人口等信息, 对本系统漏统信息和不准确信息查漏补缺, 提高人口数据库的完整性和准确性, 可以更好地为群众提供优质服务和人性化的管理; 教育部门掌握其它部门统计的各年龄组人口数据, 对未来教育结构的调整及早谋划; 公安部门可以获取其它部门提供的出生、 死亡、 流动人口和总人口信息, 补充和完善本系统数据库, 提高出生人口的上户率和死亡人口的销户率; 民政部门可以预测未来新婚对象的人数变动趋势; 人力资源和社会保障部门能够掌握其它部门提供的流动人口数量流向, 合理引导劳务输出; 卫生部门获取其它部门出生和死亡信息, 提高住院分娩率和数据质量; 统计部门获取其它部门出生、 死亡和流动人口数据, 提高抽样调查数据的科学性和准确性。 同时人口数据库应满足为市民卡项目、智慧医疗、三维城市等项目提供人口数据支撑。
法人信息业务需求
法人基础信息数据库的建设, 是通过政务信息资源数据交换与共享平台, 工商局采集企业法人信息, 从编办采集行政机关和事业单位法人信息, 从民政局采集社团、 基金会和民办非企业法人信息, 从质监局采集组织机构代码信息, 成以组织机构代码为唯一标识的法人核心信息和各类法人的扩展信息, 分别存储于法人核心信息数据库和各类法人扩展信息数据库中。 法人基础信息数据库作为基础数据库建设之一, 通过政务信息资源数据交换与共享平台实现法人单位信息资源共享和动态更新, 加强政府对各类法人的综合监管和提高公共服务水平。
法人基础信息包括企业、 民间组织、 社团、 民办非企业单位、 事业单位、 政机关法人的开业(设立) 登记、 变更、 注销、 吊销、 年检等信息; 法人扩展类信息包括税务登记、 注销、 验换证、 非正常户等信息; 其他扩展类信息包括药品经营许可、 医疗器械生产企业许可信息、 开办药品生产企业资格审批信息等许可信息; 企业信用类信息包含了各部门的企业良好信息、警示信息、行政处罚信息、纳税信用等级信息、 欠税公告信息等; 监管类信息包括治安处罚信息、 消防管理信息等。 信息范围涵盖质监、 工商、 民政、 编办、 人社、 公安、 国税、 地税、 药监、 安监、 发改、 国资、 统计、 商务局等多个单位与部门。 通过项目建设, 成全市统一的法人基础信息库, 方便各部门开展法人领域相关业务。
1、 工商部门通过法人扩展信息的共享, 更及时准确的掌握相关企业法人开业前置审批信息, 便于开展企业开业注册登记业务, 并便于对流通领域的企业法人进行监管; 通过企业信用信息的共享, 更好掌握企业良好、 警示、 处罚信息,作为评定优秀企业的参考。
2、 税务部门通过法人库建设, 共享法人基础信息, 更好的了解法人注册登记、 变更、 注吊销和年检情况, 提高税务登记与缴纳业务的办公效率; 通过部门间的信息共享, 实现部门间协同, 有效的杜绝偷税漏税的发生, 增加财政收入;通过四大库的结合, 实现法人征税网格化管理, 更进一步探索税收征管的新思路。
3、 质监部门通过法人库的建立与信息共享, 不但方便了组织机构代码的赋码业务, 而且还为加强生产领域法人单位的监管, 提供了信息支持, 并且结合自然资源与空间地理基础信息库的建设与应用, 更提高了县区监管部门的办事效率。
4、 食药监部门除了开展食品、 药品器械等前置审批业务外, 通过法人信息的共享, 提高了年检年审的工作效率; 通过企业征信信息的共享, 实现, 希望有其他部门信息; 希望有稽查办案系统, 能有其他部门的信息共享; 系统有综合监管系统, 以后可以和其他监管部门共享。
5、 统计部门通过法人库建设, 获取法人基本情况信息, 提高统计工作的准确性和实效性, 更好的实现全市法人领域基本情况的统计工作, 为决策支持提供鲜活的信息资源。
6、 商务、 财政、 国资等其他部门也针对本部门的业务特点, 应用法人库的建设成果, 带动业务的发展。法人基础库的建设在满足各委办局业务需求的同时,还可为综合治税、 企业信用体系建设、 综合监管、 证照协同等法人领域跨部门协同, 提供数据支撑。
经济信息业务需求
以统计经济信息为基础,整合市统计局、 市府研究室、 市发改委、 市经贸委、市国税局、 市地税局、 市工商局、 市劳动保障局、 市财政局、 海关等部门的有关经济数据, 实现对宏观指标包括全区主要经济指标、 地方财政收入、 税收完成情况、 金融机构信贷情况、 各镇办主要经济指标等信息的展示。 同时, 实现统计部门的宏观经济数据与各局委提供的统计数据进行比对, 从而最大程度的保证了统计数据的正确性。
通过这些宏观指标的展示和分析, 为区领导掌握全区的宏观经济情况提供了很好的决策服务作用。
   自然资源与空间地理业务需求
自然资源与空间地理信息资源是电子政务的重要基础信息资源, 是不可或缺的信息化基础软设施。 为了更好地满足城市各业务部门的应用需求, 采用网络、硬件、 数据库、 GIS、 遥感影像、 软件开发等技术构建一个能够持续发展的空间信息共享平台, 与人口信息、 法人单位、 宏观经济进行整合, 将遥感影像、 地址数据、 政务信息图层等城市现有的政务地理空间信息资源进行集中管理和提供共享服务, 并解决安全性、 可靠性、 高效性等问题, 为城市政府各部门提供一个政府内部统一的综合政务地理空间信息服务窗口, 以满足各部门对地理空间信息数据的共享应用需求, 辅助领导进行决策, 提高业务办理效率, 为社会公众查询空间信息和参与区内建设与管理提供便捷、 高效的现代化服务载体, 提高区域发展核心竞争力。
2.3 功能需求分析
2.3.1 资源整合的需求
公安、 交管、 城管、 政务、 教育、 医疗、 旅游等各单位的系统异构性强, 据分散且管理不统一, 系统间的衔接非常困难。
资源整合和服务汇聚是应用支撑共享平台的重要价值, 对各单位、 各系统的服务进行统一整合, 可以在此基础上做非常有用的数据共享、 数据挖掘、 数据分析, 为宏观经济政策提供有参考意义的素材和依据。由于打通了各系统间的屏蔽,可以方便实现系统间整合。
2.3.2 数据共享的需求
通过应用支撑共享平台, 公安、 交管、 城管、 政务、 教育、 医疗、 旅游等各单位之间可以有效的共享数据和交互数据, 在有访问权限的情况下, 可以方便的查询到相关数据。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps1.jpg
基于应用支撑共享平台, 智慧警务、 智慧交通、 智慧城管、 智慧教育、 智慧医疗、 智慧旅游、 智慧政务、 智慧林业、 智慧水利、 智慧农业、 智慧牧业等系统之间也形成信息共享, 将这些系统有机的关联起来, 实现系统间的互动。 例如,可以将智慧教育系统和企业应用系统联动起来, 实现交通事故的预警、 发现、 度、 指挥等一体化。
2.3.3 服务目录的需求
为了方便对接入到共享平台的服务进行统一管理、 统一发现, 需要建立完善的服务目录体系, 包括服务规范、 服务分类、 服务名称、 服务编号、 服务所属系统、 服务间关系等。
公安局、 计生委、 民政局、 工商局、 质监局、 国税局、 卫生局、 教育局、 社局等单位通过服务目录可以方便的找到自己所需的服务。
2.3.4 弹性可扩展的需求
由于应用支撑共享平台要支撑大量的数据, 将来在此之上也会承建和运行其他业务系统, 这要求平台有很高的处理性能, 以及灵活的扩展机制。
2.3.5 接口服务需求
通过多种方式与内\外部系统联接, 以接口的方式向内\外部系统提供数据格,外部系统有效地隔离在内部系统之外, 利用关联查询、 批量比对、 全文检索、 计分析、 数据挖掘分析等;
3.章 大数据平台建设方案
3.1 大数据平台总体设计
智慧城市大数据平台(以下简称大数据平台) 是实现城市不同部门异构系统间的资源共享和业务协同, 有效避免城市多头投资、重复建设、资源浪费等问题,有效支撑城市正常、健康的运行和管理。以城市政务业务应用和数据资源为起点,梳理与沉淀全区政务数据资源和社会数据资源, 逐步打造横向到边、 纵向到底的城市二级政务数据共享交换体系, 建立起支撑城市政府及社会应用的城市大数据资源中心, 实现对城市各类大数据应用和业务需求的快速响应与服务创新;
3.1.1 平台总体架构
智慧城市大数据平台是大数据平台建设的核心, 需要通过数据采集、 数据交换、 数据整合、 目录系统、 数据服务、 数据管理和运维监控等方面的建设, 具备整合现有信息资源和应用系统的能力, 实现跨行业、 跨部门、 跨区域的数据共享和综合应用。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps2.jpg
    作用
智慧城市大数据平台是智慧城市的基础设施, 其作用主要体现以下三点:
Ø 是城市公共数据的进出通道, 实现城市公共数据的交换、 清洗、 整合和加工;
Ø 实现城市公共数据的组织、 管理以及用用绩效评估
Ø 实现城市公共数据的共享服务, 为城市政府专网和公共网络上的各类智慧应用提供城市数据库的数据服务、 时空信息承载服务、 基于数据挖掘的决策只是服务等
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps3.jpg
    功能描述
1) 数据汇聚于整合加工
Ø 通过数据交换系统从各个离散的信息源获取人口、 法人、 地理空间、 宏观经济及建筑物数据, 经过数据比对、 清洗等技术手段, 存入到公共基础数据库;
Ø 大数据中心平台通过数据交换、 清洗、 整合、 加工、 时空化等技术手段对来自智慧城各应用单位的业务数据进行处理, 存入到公共业务数据库。
2) 数据管理与服务
Ø 依托元数据、 目录数据、 交换数据、 安全数据和管理数据等支撑数据,实现对公共数据库有效管理。 同时, 通过对公共数据库的服务封装, 布接口规范, 以统一接口服务方式实现智慧应用对公共数据库资源的访问。
3) 服务与接口
Ø 通过集成第三方提供时空信息承载、 专题数据分析及挖掘等服务组件,以统一接口方式提供给各类智慧应用。 服务组件可根据业务发展需要而动态调整。
Ø 提供开发接口服务, 支持开发者或应用开发商调用平台提供的服务和自己的业务应用进行集成, 或是开发基于大数据中心平台的应用系统。
4) 运营维护
Ø 提供用户管理、 厂商管理、 应用管理及日志管理, 并以接口服务方式对外提供, 满足其他模块开发运营。
5) 平台互联
Ø 按照统一规范发布平台的接口与服务, 为实现不同城市平台、 上下级城市平台之间的互联互通奠定基础。
3.1.2 平台技术体系
平台以 java 语言为基础语言开发, 具备 java 语言健壮、 安全、 可拓展、 可移植、 平台独立、 分布式部署、 高并发的特点。
数据持久化采用传统关系型数据库(mysql 集群)、 nosql 数据库(mongodb集群)、 高速缓存服务(redis 集群) 相结合的形式, 确保数据被安全的存储、 被高效的使用。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps4.jpg
    平台严格遵循 java 语言开发规范、 具备系统操作日志模块, 便于系统日常维护, 在关键业务代码处都有日志输出, 便于日常维护中排查问题。 系统采用分布式、 模块化架构开发, 不仅可以通过增加机器的形式轻松纵向拓展各业务模块业务处理能力, 也可以通过开发新模块的形式横向拓宽系统业务面, 具备高度可拓展性和业务独立性。
平台采用前后端分离的形式开发, 前端后端相互独立又紧密结合、 可以灵活调整用户界面, 一方面拒绝审配疲劳, 另一方面也可以轻松拓展新功能。 系统采用数据展示配置化操作, 可以根据实时政策要求进行业务配置, 灵活调整政策关注点, 为政府决策提供多角度、 多维度的数据支撑。
平台提供标准安装工具, 可以通过对 ip、 端口、 数据库地址等信息的配置, 快速实现系统的部署安装。
3.1.3 网络拓扑架构
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps5.jpg
3.2 大数据平台功能设计
智慧城市大数据平台主要由数据建模、 数据采集、 运维管理服务系统、 目录管理管理服务系统、 数据交换服务系统、 数据整合服务系统、 接口服务系统、 据建模服务系统、 资源管理服务系统八大系统组成, 为业务应用和智慧应用提供数据支撑。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps6.jpg
3.2.1 数据建模管理系统
据建模服务系统包含了人口基础数据、 法人基础数据、 空间地理数据和宏观经济、 主题库、 业务库等可以普遍共享的基础数据资源。 系统可以针对不同数据元之间的对象关系进行定义。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps7.jpg
主要功能如下:
l 支持图形化的方式定义现有数据元之间的关系(ER 图)。
l 支持现有数据表之间的各种关系的定义。
l 可以根据数据建模, 直接生成建表脚本。
l 支持数据模型在各种主流数据库中的部署。
l 对已经定义的数据模型可以进行存储、 访问、 修改等操作。 对于现有的数据, 可以进行简单的数据模型的在线修改, 比如, 增加字段、 修改长度等。
l 严格的操作权限的管理。
l 采用图表方式, 操作方便快捷。
建模流程
数据建模是实现各政务部门的公共基础数据库数据的清洗、比对、整合工作,对数据依法依职能进行共享, 以人口数据为例, 其主要工作内容包括:
1、 根据当地实际情况编写人口基础数据库建设方案及原型实现。
2、 调研各政务部门的人口数据情况, 梳理人口信息资源, 制定人口信息交换指标体系。
3、 开展数据接入工作, 完成各政务部门人口数据的采集。
4、 完成已采集人口数据的整理、 汇集、 清洗、 比对, 形成人口基础信息库。
5、 人口基础信息整合比对服务系统建设与运维
6、 人口基础信息共享分析总结及配合完成人口主题目录编制。
7、 编制人口基础信息共享应用规范
8、 制定人口基础数据整合规范和人口基础信息共享应用规划。
基础库
人口库模型
人口基础数据划分为基本数据项目和扩展数据, 基本数据项目是指所有部门都需要的数据, 人口基本数据有 6 项, 包括姓名、 性别、 出生日期、 民族、 公民身份证号、 籍贯。
扩展数据项对应的是公民、 企业与政府部门进行交互及政府提供公共服务和实施社会管理是所需的数据项。 人口扩展数据有 160 项左右, 包括了公安户籍数据、 人事档案数据、 就业数据、 社保数据、 医保数据、 卫生健康数据、 婚姻数据、福利数据、 养老数据、 公积金数据、 车辆数据、 驾驶证数据、 住房数据、 单位数据、 教育数据、 申报数据、 税务数据等。(最终数据项需要在项目实施时确定)。
人口库业务流程如下所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps8.jpg
人口基础信息数据库主要有:
1、 公安部门的, 包括: 身份证号码、 姓名、 性别、 民族、 出生日期、 出生地、 户口类别、 常住户口所在地、 户籍登记地址、 户口所在地邮政编码、死亡标识、 死亡日期、 死亡、 登记日期、 曾用名、 籍贯、 户主身份证号码、 与户主关系、 姓氏、 名字、 曾用姓氏、 曾用名字。
2、 教育信息来源于市教育局, 包括: 最高学历、 最高学历毕业学校、 最高学历毕业时间、 最高学历毕业专业、 学位、 学位授予时间、 其他所学专业、 所学外语语种、 外语语种熟练程度、 学生学籍号。
3、 民政信息来源于市民政局局, 包括: 婚姻状况、 婚姻登记时间、 救济人员分类、 享受定期定、 量救济金额、 社会福利机构收养人员分类、 享受定期抚恤补助状况、 定期优抚金额。
4、 人保信息来源于市人社局, 包括: 劳动就业信息、 社会保险信息、 医疗保险信息、 养老保险信息、 失业保险信息、 工伤保险信息、 生育保险信息。
u 劳动就业信息: 包括: 职业资格等级、 参加工作时间、 职业类别、 职业名称、就业状况、 资格审批单位名称、 取得资格时间、 就业经历。
u 社会保险信息: 包括: 个人参保日期、 个人参保状态、 险种类型、 社会保险登记证
u 号码、 缴费地区代码、 缴费单位名称、 缴费人员类别。
u 医疗保险信息: 包括: 医疗保险证号、 医疗参保人员类别、 基本医疗保险个人帐户建立日期、 定点医疗机构代码。
u 养老保险信息: 包括: 离退休时间、 离退休人员类别、 领取养老金标识、 曾经冒领养老金标识、 曾经冒领养老金金额。
u 失业保险信息: 包括: 享受失业保险起始日期、 失业待遇类别、 应领取失业保险金月 数、 失业原因。
u 工伤保险信息: 包括: 发生工伤状态、 发生工伤时间、 伤害部位、 工伤认定申请号、 伤残等级、 终止工伤保险待遇关系标志、 工伤待遇类别。
u 生育保险信息: 包括: 生育待遇类别、 享受起始时间、 享受终止时间。
1. 住房信息来源于市住房保障和房地产管理局, 包括: 产权证号、 产权类型、 房屋地址、 住房来源、 购房日期、 建筑面积。
2. 人口统计信息来源于市统计局, 包括: 公民身份证号码、 姓名、 性别、民族、 出生日期、 出生地、 户口类别、 户籍登记地址、 家庭主要成员姓名。
3. 卫生信息来源于市卫生局, 包括: 身高、 体重、 血型、 健康状况、 家族病史、 家族病史发病时间、 慢性病史、 慢性病史发病时间、 传染病史、传染病史发病时间、 药物过敏及其他过敏史、 药物过敏及其他过敏史发病时间。
4. 计生信息来源于市人口和计划生育委员会, 包括: 公民身份证号、 姓名、生育情况、 健康情况、 生殖情况。
5. 税务信息来源于市地税局, 包括: 欠缴税款标识、 欠缴税款滞纳金标识。
6. 住房公积金信息来源于市公积金管理中心, 包括: 公积金帐号、 参加公积金时间、 本年缴存额、 本年支取额、 上年结转本金、 上年结转利息、金额。
可各政务部门实际掌握的人口信息情况进行补充汇集。 人口基础数据库的建设应以公安人口信息为基础, 以社保和卫计委等其他部门为补充和核准, 同时参照省人口数据库切片数据, 确立比对策略与比对规则, 建立比对、整合查询系统,将中心数据库的相关人口基础信息相关数据按照数据的各项分类指标, 基于系统分级授权的模式, 提供信息查询、 浏览、 统计等服务, 最终形成统一的人口基础数据库。人口数据库应记录自然人各方面的基础数据, 包括人口基本信息、户口、人事档案、 教育、 劳动就业、 民政、 住房、 社保、 公积金等信息, 是智慧体系中与自然人相关的应用系统的重要数据基础。
法人库模型
法人基础数据库由工商局、 地税局、 国税局、 质量技术监督局、 民政、 编委负责建设、 维护, 以保证数据的完整性、 一致性、 及时性。 主要建设内容包括:
法人基础数据划分为基本数据项和扩展数据项, 基本数据项是指所有部门都需要的数据, 法人基本数据有 12 项, 包括名称、 组织机构代码(统一信用代码)、法人类别、 成立日期、 法人代表、 经营项目、 法人份证号码、 住所、 单位类别、登记注册号、 联系电话、 当前状态。
法人扩展数据有 190 项左右, 包括登记数据、 分支机构数据、 代码证书、 各类经营证书、 年检数据、 历史数据、 行政许可数据、 行政资质数据、 税务数据、金融数据、 环保、 生产内容数据、 法人其它数据等。(最终数据项需要在项目实施时确定)。
法人基础数据库应当以市工商局取得的法人主数据导入法人数据库, 与质监局等其它部门的数据尤其是法人信用库经过规范化处理后与主数据对比, 以省法人库切片数据做参照, 确立比对策略与比对规则, 建立比对、 整合查询系统, 中心数据库的相关法人基础信息相关数据按照数据的各项分类指标, 基于系统分级授权的模式, 提供信息查询、 浏览、 统计等服务, 最终形成统一的法人数据库。
法人数据应涵盖企业法人、 事业法人、 机关法人、 社会团体法人和其他法人等数据类别, 包括法人基础信息、 组织机构代码信息、 注册与登记信息、 税务信息等。
人口库业务流程如下所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps9.jpg
主要构成数据
工商部门可共享信息有:
1、 开业登记信息: 企业注册号、 企业名称、 法定代表人、 身份证件号码、住所、 邮政编码、 联系电话、 前置许可经营项目、 一般经营项目、 行业代码、 业类型、 成立日期、 登记机关
2、 变更登记信息: 企业注册号、 企业名称、 变更事项、 变更后内容、 核准日期
3、 注销登记信息: 企业注册号、 企业名称、 注销事由、 注销日期、 注销机关
4、 吊销营业执照信息: 企业注册号、 企业名称、 吊销原因、 吊销日期
5、 年检信息: 企业注册号、 企业名称、 年检年度、 年检情况
国税部门可共享信息有:
1、 税务登记信息: 组织机构代码、 企业注册号、 纳税人识别号、 纳税人名称、 法定代表人、 注册地址、 税务登记日期、 税务登记机关2、 注销税务登记信息: 组织机构代码、 企业注册号、 纳税人识别号、 纳税人名称、 注销原因、 注销日期、 注销机关
3、 税务登记验证、 换证信息: 组织机构代码、 企业注册号、 纳税人识别号、纳税人名称、 验换证日期
4、 非正常户信息: 组织机构代码、 企业注册号、 纳税人识别号、 纳税人名称、 非正常户认定日期、 非正常户解除日期
5、 提请工商行政管理部门吊销营业执照信息: 企业注册号、 企业名称、 提请吊销原因、 提请吊销日期
6、 行政处罚信息: 组织机构代码、 企业注册号、 纳税人识别号、 纳税人名称、 违法违章手段、 行政处罚结果、 行政处罚日期
7、 无照经营企业信息: 企业名称、 住所地税部门可共享信息有:
1、 税务登记信息: 组织机构代码、 企业注册号、 纳税人识别号、 纳税人名称、 法定代表人、 注册地址、 税务登记日期、 税务登记机关2、 注销税务登记信息: 组织机构代码、 企业注册号、 纳税人识别号、 纳税人名称、 注销原因、 注销日期、 注销机关
3、 税务登记验证、 换证信息: 组织机构代码、 企业注册号、 纳税人识别号、纳税人名称、 验换证日期
4、 非正常户信息: 组织机构代码、 企业注册号、 纳税人识别号、 纳税人名称、 非正常户认定日期、 非正常户解除日期
5、 提请工商行政管理部门吊销营业执照信息: 企业注册号、 企业名称、 提
请吊销原因、 提请吊销日期
6、 行政处罚信息: 组织机构代码、 企业 注册号、 纳税人识别号、 纳税人名称、 违法违章手段、 行政处罚结果、 行政处罚日期
7、 无照经营企业信息: 企业名称、 住所
质监部门可共享信息有:
1、 组织机构代码颁证信息: 企业注册号、 组织机构代码、 机构名称、 机构注册类型、 颁证日期
2、 组织机构代码变更信息: 组织机构代码、 机构名称、 变更事项、 变更内容、 变更日期
3、 组织机构代码废置信息: 组织机构代码、 机构名称、 废置日期作为补充, 将人保厅的缴纳社会保险的企业的基础信息以及其它相关部门的法人信息纳入数据汇集。
经济库模型
宏观经济数据库的建设应以市统计局和发改委提供的宏观经济数据为主体,以各级各类普查资料、 政府综合统计资料、 部门行业登记资料、 社会经济调查资料等为基础, 结合市实际需求, 融合人口、法人和各业务部门采集数据进行加工,形成衡量宏观经济的相关指标数据库。
包括法人和产业单位活动数(分行业及汇总)、 企业法人单位数、 个体经济基本情况、 工业增加值、 工业产值、 企业主要经济指标、 交通运输、 地区生产总值、 地区生产总值构成、 税收收入、 财政收入、 分行业分地域生产总值、 人均地区生产总值、 居民消费水平、 就业情况、 在岗职工平均工资、 居民消费价格、 产品价格、 总人口数据、 常住人口数据、 社会保险情况、 各类资源(能源) 情况、安全生产情况、 环保数据、 交通建设、 公共事业建设、 新产业等方面的统计信息。
通过宏观经济数据库对各项宏观经济数据指标进行汇总统计分析, 来发现城市发展中的显性及潜在的问题, 及早对城市的发展方向和措施做出调整和优化。
地理信息库模型
以规划局、 国土局的电子地图为基础, 整合其它数据后, 该库将包括基础信息、 资源信息和地址信息。
数据分层
DLG 地图编码体系
现在采用的 DLG 编码体系是使用, SCS G2002 系统地物属性编码规则, 描述如下:
编码统一用 7 位数字描述, 结构为:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps10.jpg
l 中间注有不依比例尺的独立符号的依比例尺的地物, 独立符号用"主编码+00"表示,范围边界线用"主编码+01"表示。
l 带有辅助设施的复杂地物, 其特征定位线的编码为"主编码+00", 辅助设施符号编码为"主编码+02"。
l 带有辅助描述符号的复杂地物, 其特征定位线的编码为"主编码+00", 辅助描述符编码为"主编码+03"。
l 用于表示某地物方向的箭头符号(如水流方向), 其编码为"相应需表示方向的地物的主编码+04"。
l 为便于 GIS 作网络分析, 表示地物连通性的"双向轴线"(如道路准中心线)的编码为"轴线所描述地物的主编码+05"; 表示地物连通性的"单向轴线"(如单行道的准中心线)的编码为"轴线所描述地物的主编码+06"。
l Label 点均以一点在相应多边形区域中标示, 其编码为"所描述多边形的主编码+07", Label 点标示的多边形(标 Label 点时多边形自动提取至 Label层)编码与 Label 点编码一致
l 为描述非封闭性面状地物的外形特征, 程序生成的该地物的框架线的编码为"描述地物的主编码+08".
l 有些线状符号本身不能描述其特征线, 程序将生成该符号的骨架线, 骨架线的编码为"骨架线描述地物的主编码+09", 符号本身视为辅助描述符。
l 所有直接用线形描述的符号, 其编码为"主编码+00".
l 所有点符号(独立地物) 编码为"主编码+00", 如 GIS 不能解释点符号,程 序可将其批量打散, 打散后的点符号编码为"主编码+99".
l 框架线、 轴线、 骨架线、 Label 点分别作为一个图层管理。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps11.jpg
数字线划图数据库
为了使新建的地理信息系统不破坏院里已有的生产流程, 需建立数字线划图数据库, 物理结构如下:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps12.jpg
为了保存 DLG 历史数据, 建立历史 DLG 数据库, 物理结构如下:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps13.jpg
    图层分类及对应物理层
为了为不同的目的服务, 数据库建立两类不同的逻辑空间数据库。
一、 GIS 数据库, 存储的是 GIS 数据, 其典型特征是:
1、“块” 作为“点” 被转换为空间数据;
2、 具有骨架线的对象将只转换骨架线, 其余地物不予转换;
3、 地物的特征通过点、 线、 面符号来表示;
4、 可参与分析计算
二、 GIS 背景库, 存储的是 GIS 辅助数据, 其典型特征是。
1、“块” 被打散后转换为空间数据;
2、 所有的地物对象都予以转换;
3、 地物的特征通过其地物本身来表示;
4、 不可参与分析计算
GIS 数据库
GIS 数据存储在 GIS_DATADATASET 中。 在 SDE 中, 地图中的每一个物理图层对应于一个 FeatureClass。其中, 图层名称+存储类型, 构成 FeatureClass 的名称。
例如: 1: 500 地形图中的居民地逻辑层中面状图层对应的 FeatureClass 的名
称为: JMD_POLYGON。
    真三维数据库
真三维模型数据, 是指按照城市的大比例尺地形图、 高分辨率卫星图或航拍图, 通过数据采集人员野外进行实地建筑外观及构造资料, 并结合建筑高度, 用三维建模软件真实地建设城市三维建筑模型。 模型数据在尺寸、 材质上都严格按照地形图及实际采集资料进行制作, 所制作完成的模型数据与现实的物体几乎一致, 逼真度达到 95%以上。
智慧城市阶段, 真三维数据至少分等级实现市辖区范围全覆盖, 政治、经济、文体、 交通、 旅游等方面的地标(标志)性中心区、 中心商务区(CBD) 以及特定区域应建立一级模型; 除上述以外的政治、 经济、 文体、 交通、 旅游等中心区域,高档住宅、 公寓以及特定区域应建立二级模型; 其他区域应建立三级模型。
仿真三维数据库
仿真三维就是在原三维模型的基础上, 通过一定的可视化工具, 固定一个角度不变进行浏览。 需建立市辖范围东西向和南北向 45 度、 60 度、 120 度、 135 度四种视角的数据。
影像数据库
影像数据一般包含航片与卫片, 除具有空间分辨率、 光谱分辨率、 辐射分辨率外, 时间分辨率(TemporalResolution) 是关于遥感影像间隔时间的一项性能指标。
智慧城市阶段, 需建设 0.3 米高分辨率影像数据, 应覆盖市辖区范围, 同时将历史影像进行规范化处理, 统一空间基准、 统一时间基准、 统一匀色。
街景影像数据库
街景数据主要是通过搭载具有激光点云测量设备的街景车或人载设备, 对城市主要干道的建筑物设施、 城市市政设施等进行实景拍摄, 通过计算机技术将这些场景图片进行组合、 拼接, 最终形成一套可测量街景画面, 是城市设施管理、部件管理有效的手段。
街景数据库能支持对海量影像数据的浏览、 搜索、 标注、 链接功能, 并可对广告、 招牌、 建筑物等感兴趣的地物进行可视化量测。
公众服务空间数据库
在电子政务应用空间数据库基础上通过进一步解密、 缩编后形成可以在互联网上发布的面向公众服务的空间数据库, 其基本图层包括居民地、 道路(含道路中心线)、 水系、 植被、 境界(行政区划)、 注记、 地貌(晕渲图) 七层。 其中,点状要素层有: 注记, 线状要素层有: 道路中心线、 境界(行政区划分界线),面状要素层有: 主要道路、 居民地、 水系、 植被、 境界(行政区划)、 地貌(晕渲图)。 各种图层以不同颜色和属性加以区分。 并增加各种 POI(PointofInterest)信息(公交站点、 公交线网、 餐厅、 娱乐、 购物、 金融设施、 汽车服务设施等)。
建筑数据库
建筑物数据库的建设应以住房保障和房产管理局现有的建筑物数据为主(充分利用现有的建筑物数据信息, 不涉及重新采集建筑物数据), 建筑物数据库主要涵盖居住、 商业、 公共配套、 工业、 仓储、 交通、 市政设施和特殊建筑等全市的各种用途建筑物等, 应包括建筑量、 容积率、 建筑密度、 各种用途建筑分布等详细信息。
建筑物数据库内容涵盖建筑基础信息和从立项规划、 施工交付到使用拆除等建筑全生命周期业务信息。 建筑数据库标准研究, 旨在指导各试点城市建设建筑数据库, 促进以建筑为载体资源共享、 业务协同, 有效支撑城市智慧城市大数据平台构建。
公共基础数据描述建筑物属性, 其扩展数据(二维平面图形、 三维模型等)
支撑建筑物的模拟、 仿真; 两者共同再现建筑物整体面貌。 公共业务数据描述建筑物从立项规划、 施工交付、 使用拆除等全生命周期的各环节阶段数据; 以公共基础数据为载体, 关联展示, 从多业务角度描述。
公共基础数据: 包括基础数据和基础扩展数据。 基础数据: 基础数据指建筑基本的、 稳定的特征信息数据, 包括建筑物编码、 建筑名称、 详细地址、 建造年代、 建筑状态、 使用年限、 主要用途、 结构类型、 建筑层数、 地下层数、 建筑高度、 基地面积、 总建筑面积、 分用途建筑面积等。 基础扩展数据: 基础扩展数据指建筑物基础数据多层次、 形象化表达所需要的基础数据, 包括二维平面图形数据(建筑物总平面图、 建筑物平面图)、 三维模型数据等。
公共业务数据: 公共业务数据是指各职能部门在建筑物全生命周期过程中产生的核心业务数据, 包括成果信息(主要包括证书信息等)、 统计信息和大事件信息等, 一般不包括业务过程的流转数据。
主题库
智慧城市行业级主题数据资源库, 是按照行业主题建立的数据库。 行业级主题数据库配置于智慧城市各行业级二级平台。实现政府政务信息、城市治理信息、民生服务信息、 企业经济信息四大领域各行业级数据的互联、 数据管理、 交换、优化、 展现、 共享。 促进智慧城市各行业数据资源的综合开发和充分利用。 行业级主题数据库, 分别由政务、 城管、 应急、 安全、 交通、 节能、 设施、 市民卡、民生、 社区、 卫生、 教育、 房产、 金融、 旅游、 建筑、 住宅、 商务、 企业等主题数据库组成。 行业级主题数据库通过对业务级应用数据库过程数据进行抽取和加工后, 形成行业级经验数据, 行业级经验数据应用于本行业管理和行业内的业务协同。
根据各种专题综合应用而建立的围绕具体应用及服务事项的实现而规划建设的信息库。 通过专题应用信息库可进一步提高各协同部门间信息资源准确共享的实际效益, 方便各种特定综合类业务应用的实现, 并能有利于提高多部门间共享信息的准确性、 完整性及时效性。
l 政府决策信息, 如国家和地方的政策、 法规条例、 决策咨询、 战略发展研究报告(包括各职能机构和院所历年的研究成果) 和阶段性的总体规划等;
l 为社会服务的信息, 如国际国内重大政治新闻、 经济运行分析、 热点透视、社情民意动态、 税收征管、 统计报表、 市场供求信息、 社会与经济预测信息、金融财经信息、 科技与人才信息, 等等;
l 各政府组成部门的工作职能、 各种公文、 会议情况、 总结报告、 记录数据、办公文档、 机关行政管理信息、 经验介绍、 驻外办事处工作流信息等政府间交流信息;
l 整个城市的各类资源要素储备和分布状况, 行政组织及人力资源调配预案,对自然灾害和意外事故的处理重大突发事件(维护城市稳定方面的信息: 发事件、 重大案件、 大规模群众集访和应用早期掌握的信息解决弱势群体困难, 做好群众工作) 的应急预案数据库。
业务库
是指由部门提供的业务应用数据, 包含通过数据共享交换平台采集到的各委办局可对外共享的原始数据, 原始数据的数据格式可以是结构化、 非结构化和半结构化数据。 库中数据表根据不同的部门所提供信息源的不同而不同。 :工商局共享信息库中的数据表主要包括: 企业法人单位基础信息数据表、 企业法人单位扩展信息数据表、 个体工商户信息数据表、 部门公文信息数据表等。 企业法人单位基础信息数据表中主要包括: 企业名称、 法定代表人姓名与身份证号、 营业执照注册号、 企业组织机构代码、 登记时间、 年检时间、 注销时间、 企业登记地址、 企业状态等信息项。
3.2.2 数据采集服务系统
各部门各个业务系统存储着丰富的数据, 基于不同的时效需求、 不同的数据类型及不同的数据来源等不同需求, 数据的采集方法需要多种多样。平台通过 ETL工具将需要的结构化和非结构化数据采集, 还能支持不同来源的数据支持多种数据采集方法, 也支持数据采集接入校验、 数据采集服务配置和数据采集监控管理等功能。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps14.jpg
数据采集服务的数据流向如下所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps15.jpg
3.2.2.1 数据采集管理
数据采集管理提供了物理拷贝采集、 数据上传采集、 手动录入采集、 网页采集、 接口服务采集、 关系型数据库采集等;
3.2.2.1.1物理拷贝采集
物理拷贝方式, 采用传统的移动硬盘、 硬盘、 DVD 和 VCD 等数据存储介质通过硬拷贝方式实现数据共享的模式。 采用该模式的实现环境主要有以下几种情况:
(1) 数据应用部门与支撑服务平台存在着网络互联互通的障碍, 导致无法通过网络实现数据共享。
(2) 数据量较大, 基于网络传输模式无法满足用户要求。 例如海量影像,数据量高达几百个 GB, 甚至是 TB, 采用网络方式进行数据共享不但容易造成网络阻塞, 而且成本代价较大, 往往采用物理拷贝模式。
3.2.2.1.2 数据上传采集
数据上传方式主要是通过平台提供的数据上传入口, 上传各业务部门的相关数据, 实现数据的共享。 主要提供两种上传入口:
(1) 通过登录数据采集系统的 WEB 界面, 进行 WEB 界面直接上传相关数据。
(2) 通过搭建的 FTP 服务, 各业务部门将所需要上传的资料通过 FTP 上传到前置库中。
数据上传采集的特点: 通过系统对支持大附件上传; 支持数据批量上传; 持数据断点续传等功能保障数据的传输速度和传输质量。
3.2.2.1.3 接口服务采集
接口服务模式是属于一种较高层次的共享模式, 各业务部门的应用系统建立与数据中心平台的接口, 通过系统与系统之间的接口交互模式, 实现数据的共享与调用。
支持常见的接口服务有 webservice、 API 等多种接口类型, 满足平台的接口服务采集需求。
3.2.2.1.4 关系型数据库采集
基于关系型数据库的采集方式, 对各业务部门的业务系统的数据库类型、 络环境、 数据密级等多方面进行调研分析, 可使数据中心的连接部门业务系统的数据库, 直接读取相关数据。 此种数据采集涉及到数据类是否为关系型数据库,而且需要考虑网络环境的连通性, 是否能否连接, 另外还需要考虑业务系统的密级性, 是否允许直连数据库获取数据等多种因素, 需要综合考虑。
3.2.2.2 数据采集校验
数据校验从校验对象细粒度维度分析, 支持文件级校验与记录级校验二大类。
数据校验模块还内置了部分的数据检查功能, 如数据唯一性检查、 外键完整性检查。 数据校验内容有类型、 长度、 是否为空、 精度、 范围、 格式等信息。 如果数据不符合, 会进行过滤, 只有正确的数据才能继续使用。 对于错误的数据, 可以进行输出, 包括错误原因和错误字段序号等信息。 相关的错误类型和数量等统计信息也会绑定到流程变量中, 以便后续节点进行判断使用。 能够提供将分散的、异构数据源中的数据如关系数据、 非关系数据、 数据文件、 FTP 等抽取到临时中间层后进行入库前的数据类型校验功能以及针对海量数据的高性能数据解析功能。
实现对数据进行校验检查, 主要检查空间拓扑一致性、 属性结构的一致性、数据内容的一致性。 该检查主要在数据采集和数据同步中使用, 并可以单独提供数据校验比对服务。 在发生数据数据采集时, 各业务部门采集的数据向数据中心前置库系统传入要校验的数据条目信息, 前置库校验该条目信息是否吻合一致,如果一致相符, 则返回对比成功, 否则返回比对错误, 并将各业务部门采集准确的信息返回给调用者。 在向业务部门数据同步时, 数据校验用于比对导入数据和业务部门数据的一致性, 如果一致, 则不需要重复导入, 如果不一致, 则用最新的数据覆盖不一致信息。 数据校验比对工具, 要将检查比对的结果以便于阅读分析的报告形式展现给用户。
3.2.2.3 采集服务配置
获取信息资源中定义的信息资源更新频率, 自动实现采集、 可以配置全量或者增量采集方式, 可以配置数据提供部门在数据中心部门前置库的存储位置等。
能够提供对于采集周期, 时间的采集策略配置、 接口配置采集任务配置功能。 于应用数据采集, 需要管理的关键业务点有采集点、 数据传输。 主要性能指标包括: 在采样周期内成功取得文件的数量、 采集数据间隔时间、 采集文件大小、 进程状态、 文件连续性、 采集状态、 传输速率等。 获取信息资源中定义的信息资源更新频率, 自动实现采集、 可以配置全量或者增量采集方式, 可以配置数据提供部门在数据中心部门前置库的存储位置等。
3.2.2.4 采集监控管理
系统提供采集异常处理机制, 如采集任务中断、 采集数据失败等相关异常现象时, 实现相关的补采机制, 或通过告警的方式通知系统用户等。 数据采集过程的日志推送到系统运营管理平台、 报错推动到数据提供部门的代办事宜。
3.2.3 数据交换服务系统
数据交换系统负责相关数据的传输、 交换、 格式转换的工作, 即数据交换平台, 是整个系统的核心支撑。
数据交换服务系统实现将各部门相关的信息资源统一采集交换到数据中心前置库中, 满足多种采集方式, 能够满足不同的网络环境、 不同的数据类型等情况下进行数据的采集, 并对采集的数据进行处理, 进入中心库保存等功能。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps16.jpg
3.2.3.1 业务功能
下图为数据交换整合业务流程图:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps17.jpg
数据交换服务系统主要业务包括业务数据采集、 数据信息整合、 数据信息订阅及非结构化数据交换。
作用:
通过建立统一的数据交换服务系统将达成以下目标:
Ø 通过使用统一的技术手段与标准, 提高交换的效率, 降低维护复杂度,而交换系统本身的灵活性、 可扩展性得到质的飞跃;
Ø 同步优化信息存储结构, 采用松散耦合的方式, 确保数据与应用适当隔离, 保证数据的安全;
Ø 统一的公共信息资源数据交换系统使数据交换始终处于被有序管理的状态, 避免了乱交换、 重复交换等问题的出现, 使系统的稳定性得到了保证。
范围:
智慧城市大数据平台数据交换系统由一列结点组成, 它们依托的网络智慧城市大数据平台数据交换系统由一列结点组成, 它们依托的网络通过采用一致的信息交换协议, 实现跨地区、 单位应用系统之间的信息资源交换, 以下描述数据资源内容涵盖结构化(数据库存储数据)、 非结构化数据(文件类数据)。
1) 建立信息资源交换系统,用于支持:
2) 跨单位业务应用系统之间信息交换;
3) 跨单位共享信息资源和应用单位业务信息资源的信息共享;
4) 跨单位工作人员之间的业务协同应用;
5) 跨单位之间非结构化数据文件实时/定时交换。
业务信息资源是由各应用单位产生和管理的。
共享信息库是可以为多个端交换结点提供一致的资源集中存储, 任意一个端交换结点可以按照定的规则访问共享信息库, 是交换的一种特殊方式。
交换结点分为端交换结点和中心交换结点。
端交换结点是数据系统中信息资源的起或终, 完成业务信息与交换信息之间的转换, 并通过服务实现资源(含结构化数据/文件类数) 的接收和发送。
中心交换结点主要为交换信息提供点到点、 点到多点的信息路由和信息传送功能。 在两个端交换结点之间可以有 0 个或若干个中心交换结点。
(1) 数据采集
业务数据的采集由适配器与业务系统共同完成, 由资源拥有方的系统管理员完成所需的配置。
适配器系统中各种数据采集适配器针对需要采集的数据进行实时监听, 由于各个应用单位提供数据的方式不一, 业务数据库也不一定允许适配器系统直接操作, 因此, 适配器系统应支持多种方式的业务数据获取方式, 如: XML 数据格式、纯文本数据格式、 触发器模式、 数据库日志模式等等。
数据采集主要流程主要包含:
1.初始化数据采集数据源;
2.针对当前数据源配置采集方式, 以及采集相关参数;
3.执行采集审批流程, 获得资源拥有者的同意;
4.启动当前应用单位前置系统所对应的适配器服务。
(2) 交换传输系统
交换传输系统完成节点换入 XML 表、 换出 XML 表与中心对应的表之间的数据同步功能, 换入 XML 表的数据从节点到中心的单向同步, 而换出 XML 表的数据需要实现从中心到节点的单向同步。
适配器将非结构化数据文件变更信息写入非结构化数据文件变更队列服务后, 同时将变更文件实时传输至中心文件服务器。
交换数据传输功能架构图含有如下两种方案:
方案一:
适配器采集数据之后, 将数据转换成交换报文, 并保存至交换节点(前置服务器) 中的前置交换库中。 前置交换库的数据通过交换中间件将交换数据实时同步至对应的中心交换库中。 随后中心处理系统将对交换数据进行数据信息整合和数据信息订阅处理。
该方案适合范围更广, 特别是针对交换节点与中心网络有特殊要求的部署环境, 例如: 交换节点的网络与中心网络并非全时段互联互动, 只有固定时段才能连通网络, 此时适配器仍然正常工作, 并采集各个应用单位共享数据的增量数据保存至前置交换库中。 当网络连通时, 交换中间件将已采集的共享数据集中同步至中心交换库中, 同时也将中心推送的订阅数据同步至前置交换库中, 适配器获取该部分订阅数据后便可通过用户配置的处理过程对订阅数据进程处理。
方案二:
适配器采集数据之后, 将数据转换成交换报文, 直接存储至当前应用单位对应的中心交换库中。 随后中心处理系统将对交换数据进行数据信息整合和数据信息订阅处理。该方案部署更加灵活, 减少数据传输中间过程, 提高数据交换效率。
交换数据传输方案一和方案二各有优势, 在部署过程中, 可根据不同的节点实际情况选择更适合的部署方式。
(3) 数据整合
数据信息整合业务需要与业务系统共同完成, 由智慧城市大数据平台中心系统管理员完成所需的配置, 并通过智慧城市大数据平台中心方的审核。
适配器采集的数据通过传输系统传至智慧城市大数据平台数据中心, 中心处理系统根据数据的整合配置将指定数据进行整合处理。
信息整合用于将各类有关联关系的数据进行汇聚, 形成更有意义和使用价值的数据集合, 信息资源共享交换系统应该支持更动态的信息整合功能, 可以根据实际需要进行不同信息主题的整合。
信息整合流程主要包含:
1.初始化数据数据源;
2.对当前数据源配置业务数据采集;
3.选择要整合的数据资源;
4.设置必要的整合属性, 如: 信息主题、 整合处理组件等;
5.执行整合审批流程, 获得智慧城市大数据平台中心管理者、 资源拥有者的同意。
6.启动数据整合服务。
(4) 数据信息订阅流程
数据信息订阅业务需要与业务系统共同完成, 由智慧城市大数据平台应用单位系统管理员完成所需的配置, 并通过资源拥有方和智慧城市大数据平台中心管理方的审核。 适配器采集的数据通过传输系统传至智慧城市大数据平台数据中心,中心处理系统根据数据的订阅配置将指定数据进行相关处理及推送。
在公共信息资源共享交换系统中, 资源的使用者可以通过数据订阅实现数据交换, 获取所关注的信息。 订阅的数据源有两种, 一种是未经整合的原始业务数据, 另一种是经整合后的合成数据, 原始业务数据一般指各应用单位的业务数据,是存储在业务数据库中的单表数据, 而整合后的合成数据, 可能包含多个业务源数据。
数据订阅流程主要包含:
1.资源使用者提出交换申请;
2.初始化数据数据源;
3.对当前数据源配置业务数据采集;
4.选择要订阅的数据资源;
5.设置必要的订阅属性, 如: 订阅处理组件等;
6.经资源所有者、 智慧城市大数据平台中心管理者审批同意后, 确定交换时间和方式等细节;
7.启动数据信息订阅服务。
(5) 非结构化数据交换流程
公共信息资源不仅仅包含数据库数据, 也包括很多的文件资源, 如: 公文、审批文件、 图形图像文件、 音频文件等等, 很多纸质的办公文件都可以通过扫描方式形成电子文件, 在实际跨应用单位应用中, 文件资源的交换也有非常重要的意义。
文件交换采用发布订阅模式进行交换, 通过捕捉源文件变更, 将变更的资源同步到交换中心, 资源的使用方通过订阅模式订阅关注的资源, 当资源同步到交换中心后, 再通过中心将资源发送到资源的订阅者, 这种“一次发布, 多重订阅”可有效利用网络带宽, 提供交换的效率。
文件交换的流程包含以下步骤:
1.资源使用者提出交换申请;
2.配置当前应用适配器客户端相关信息;
3.经资源所有者、 智慧城市大数据平台中心管理者审批同意后, 确定交换时间和方式等细节;
4.启动中心文件交换服务。
5.启动前置文件适配器服务。
3.2.3.2 技术架构
下图为数据交换服务系统总体功能架构图:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps18.jpg
技术规范:
采用业务流程管理技术, 实现应用系统之间的流程交互与协同, 以及跨交换端结点的流程共享。 通过提供动态的流程定义、 部署、 更新等服务, 不断满足应用单位改革和职能转变的要求。 同时, 为新的应用系统开发提供一体化、 可扩展的流程管理服务。
采用应用集成技术, 提供跨平台的、 标准的、 开放的应用系统集成环境。
采用应用适配器技术, 通过配置的方式实现信息共享互联互通平台与应用系统间的连接与整合, 改变以编程为主的“硬连接”方式, 实现系统间的快速集成。
采用基于 B/S 结构、 JMX 管理协议和 Web 服务技术的管理和监控体系, 使管理和监控不受系统和应用环境的限制。
采用符合国家标准的安全技术体系和产品, 提供安全应用接口与安全服务接口, 实现安全产品的即插即用。
信息库:
1、 业务信息库
业务应用系统直接使和维护的信息库。
2、 交换信息库
交换信息库是为实现信息交换而建立的中间存储信息库, 交换信息库包括提供和接收的交换信息。
3、 共享信息库
依托智慧城市大数据平台交换系统, 通过应用单位间信息交换形成的, 能够被多个应用单位使用的信息库。 主要包括基础信息库, 各类应用主题信息库和决策支持信息库等。
交换系统:
1. 前置交换模块
由交换前置服务器、 交换信息库和交换适配器等组成。 前置交换模块与应用单位业务应用系统之间隔离, 保证应用单位业务信息库和业务应用系统的独立性。
2. 交换桥接模块
应用单位业务信息库与前置交换信息库之间的信息交换接口, 以实现两个信息库之间的实时同步。 该模块牵涉业务系统, 需要原业务系统开发商配合提供交换系统所需要通用格式数据, 供交换系统处理。
3. 交换适配器模块
应用单位需要参与共享交换的数据共享至交换共享库之后, 交换适配器负责共享数据采集以及订阅数据拆分同步等工作。 采集方式支持触发器方式/时间戳方式/CDC 方式/标准文件格式/FTP 文件交换/消息队列文件交换等多种方式, 支持常用数据库。
4. 交换传输模块
跟进部署的交换流程, 实现应用单位前置交换信息库之间的信息处理和稳定可靠、 不间断的信息传递。 该模块可支持现有多种交换中间件产品的集成, 也可选择内置传输模式完成数据传输。
5. 交换管理模块
实现对整个信息交换过程的流程配置、 部署、 执行和整个信息交换系统运行进行监控、 管理, 包括交换流程管理、 交换监控和管理。
通过交换桥接模块将应用单位需要交换的信息交换到前置交换信息库, 在交换管理模块的流程控制下, 通过交换传输模块、 前置交换模块, 把需要交换的信息定向传输到接受应用单位, 同时把共享信息实时交换到共享信息库。
6. 中心处理模块
中心处理模块负责交换数据处理、 交换数据整合、 交换数据订阅、 整合数据订阅、 智慧城市大数据平台中心文件服务、 数据转换及组件处理等工作。
系统功能
数据交换系统以部门业务信息为基础, 确定部门间交换信息指标及信息交换流程, 实现不同部门间异构应用系统间松耦合的信息交换, 提供部门间横向按需信息交换服务, 提高各级部门行政管理效率。
智慧城市大数据平台的信息交换系统建设中, 将根据《GB/T21062-2007 政务信息资源交换体系》 的要求建设, 包括交换桥接子系统、 前置交换子系统、 交换传输子系统、 交换管理中心系, 信息资源交换通过交换桥接子系统将部门需要交换的信息交换到交换信息库, 在交换系统管理子系统权限控制下, 在交换流程管理子系统的流程引擎驱动下, 通过交换传输子系统、 前置交换子系统, 把需要交换的信息定向传输到接收部门。 信息交换系统的建立通过 ESB 企业服务总线建立自治交换网络, 实现各系统间的信息交换。
数据交换服务系统模型如下图所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps19.jpg
交换能力:
Ø 自动编码转换, 统一编码标准;
Ø 支持主动与被动两种数据交换方式, 实现按需交换;
Ø 支持增量与全量数据同步;
Ø 支持订阅式数据交换模式, 提供订阅过滤支持, 支持键值、 一对多、 多对一等多种数据落地方式;
Ø 提供异构数据库、 跨平台数据交换功能;
Ø 无缝支持结构化及非结构化资源交换, 数据采集方式丰富, 支持触发器/数据库日志/时间戳/轮询等采集数据方式供用户选择;
Ø 基于 web 图形化平台配置, 简单易操作;
Ø 统一管理元数据, 提供统一标准化字段, 规范系统;
Ø 为用户提供个性定制处理组件接口, 方便用户自由拓展;
Ø 自定义数据交换格式, 保证在无需代码开发的情况下, 完成新交换节点的接入, 实现交换元素及交换规则的调整等;
Ø 支持信息资源申请、 调度流程化, 支持目录驱动交换;
Ø 支持非侵入业务式的前置交换服务。
3.2.3.3.1交换桥接子系统
交换桥接系统是部门业务数据对外共享的双向接口。 它负责将部门业务数据提取到前置交换系统中; 也负责将前置交换系统中共享数据导入业务部门。 它的实现方式取决于部门的实际情况。
(1) 适配器系统
应用单位需要参与共享交换的数据共享至交换共享库之后, 交换适配器负责共享数据采集以及订阅数据拆分同步等工作。 采集方式支持触发器方式/时间戳方式/CDC 方式/标准文件格式/FTP 文件交换/消息队列文件交换等多种方式, 支持常用数据库。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps20.jpg
交换适配器系统实时根据管理系统配置的控制参数控制进程服务启动和停止, 其中进程服务内容如下:
(1) XML 文件导入服务: 负责实时监控管理体系中配置的 xml 文件路径下文件动态, 并处理根据交换系统指定格式上传的 xml 文件, 将数据导入交换控制表中, 参与交换管理所配置的交换订阅/主题信息整合等流程。
(2) TXT 文件导入服务: 负责实时监控管理体系中配置的 txt 文件路径下文件动态, 并处理根据交换系统指定格式上传的 txt 文件, 将数据导入交换控制表中, 参与交换管理所配置的交换订阅/主题信息整合等流程。
(3) 数据触发器采集服务: 负责根据交换管理系统配置的当前应用单位共享数据库触发器采集数据流程, 监听已配置触发器采集的共享数据表, 并实时将增量数据采集并提交至交换系统参与交换流程。
(4) 数据时间戳采集服务: 负责根据交换管理系统配置的当前应用单位共享数据库时间戳采集数据流程, 监听已配置时间戳采集的共享数据表, 并实时将增量数据采集并提交至交换系统参与交换流程。
(5) 数据 CDC 采集服务: 负责根据交换管理系统配置的当前应用单位共享数据库 CDC 采集数据流程(数据库须支持 CDC 功能), 监听已配置 CDC 采集的共享数据表, 并实时将增量数据采集并提交至交换系统参与交换流程。
(6) 文件共享交换服务: 负责根据交换管理系统配置的文件交换及获取流程, 将当前应用单位共享文件实时交换至智慧城市大数据平台中心文件服务器,并根据中心配置获取其他应用单位文件获取流程, 将已订阅各应用单位的文件下载至当前应用单位共享前置指定路径。
(7) 数据拆分服务: 负责根据交换管理系统配置的字段拆分对应关系, 将从其他各应用单位及中心主题整合数据订阅的数据拆分至该应用单位共享前置指定数据表中。
(8) 适配器运行状态监听服务: 该进程随适配器启动而启动, 不需要 web控制, 属于一个被动监听进程, web 控制台向该适配器发送相关参数, 通过返回信息获取该适配器正在运行的状态, 以及正在运行的进程数量及名称。
(2) 桥接系统
桥接系统用来实现应用单位业务信息库与交换信息库、 共享信息库与交换信息库之间的双向信息同步。 智慧城市大数据平台桥接系统基本结构示意图如图所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps21.jpg
桥接系统由桥接服务运行环境、 桥接配置工具、 桥接管理、 应用适配器等部分组成。 桥接服务运行环境是桥接服务的容器, 桥接服务是利用桥接服务配置工具组装应用适配器组件以完成一个数据桥接流程的服务程序。 桥接服务运行环境提供日志管理、 安全管理、 适配器管理等基本功能。 桥接服务配置工具提供图形化的配置系统, 通过配置业务信息库或共享信息库与交换信息库之间桥接内容映射规则生成桥接服务描述信息。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps22.jpg
主要功能包括:
交换桥接系统提供以下功能:
1. 支持业务数据与前置交换系统实时双向同步;
2. 支持各种主流操作系统;
3. 支持国内外主流数据库, 如 SQL Server、 ORACLE、 DB2 等;
4. 支持各类结构化及非结构化文件, 如 TXT、 Excel、 XML 等;
5. 支持各类音频视频文件, 如 AVI、 RM、 RMVB、 WMA、 MP3 等;
6. 采用适配器组件访问桥接对象, 实现数据的获取与存储;
7. 提供增量数据自动识别的功能。 在不修改业务信息库结构的情况下, 系统能够自动识别出需要交换的信息, 包括新增、 被修改或被删除的信息;
8. 提供图形化的信息交换桥接配置及管理工具, 支持桥接
9. 指标定义与桥接管理等功能;
10. 支持多个桥接任务或服务同时运行, 支持远程部署。
交换桥接子系统建设内容:
该模块牵涉业务系统, 需要原业务系统开发商配合提供交换系统所需要通用格式数据, 供交换系统处理。
通过在前置机中部署 ESB 代理节点, 实现前置交换信息库与部门业务数据的对接, 实现两个信息库之前的信息交换。
通过 ESB 内置的文件适配器, 实现 XML 文件、 CVS 文件、 Excel 等文件的传输、 读取、 同步等功能通过增量数据适配器, 多种类型的数据转换工具, 实现增量数据同步及数据转换。
通过可视化流程配置的方式实现自定义数据源、 流程、 转换函数等功能。
3.2.3.3.2 前置交换子系统
智慧城市大数据平台前置交换系统(以下简称前置交换系统) 的逻辑结构由网络通信系统、 操作系统、 交换信息库、 前置交换环境、 提供交换服务配置工具等组成。 前置交换系统的基本结构如图所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps23.jpg
前置交换系统是交换域的边界, 实现交换域与应用单位业务系统的隔离。 置交换环境由传输适配器、 管理监控接口、 安全加密模块等部分组成, 是交换服务的运行容器。 安全加密服务提供基本的数据加密功能, 保证信息传输过程中的安全。 交换前置环境提供管理监控接口, 交换管理监控系统通过管理监控接口对交换前置环境进行监控。 前置交换功能包含:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps24.jpg
a)支持交换信息库与交换传输系统间的双向信息交换。 交换传输系统能够从交换信息库中提取数据交给交换传输系统传递, 也能够从交换传输系统中获取数据存储到交换信息库;
b)支持各种主流操作系统;
c)支持国内外主流数据库;
d)采用传输适配器接入到交换传输系统;
e)传输适配器应支持 HTTP 和 HTTPS 信息传送协议;
f)采用适配器访问交换信息库, 实现对交换信息库中数据的获取与存储;
g)提供图形化的交换服务配置工具, 配置、 测试、 部署交换服务, 应提供远程部署功能;
h)支持多个交换服务并发运行;
i)提供管理与监控接口, 支持远程管理与监控的功能。
前置交换子系统建设内容:
在共享平台中心部署 ESB_Server 节点, 通过 ESB 内置的 MQ 消息中间件实现 Server 节点与各部门代理节点之前的数据传输。
主要功能要求:
通过内置的服务适配器, 实现服务的注册、 发现、 适配、 管理功能通过内置丰富的适配器, 自定义各种资源交换方式及抽取方式, 包括数据库抽取、 文件读取、 Webservice 接入、 JMS 传输等。
通过自带适配器的表输入、 表输出以及 SQL 执行器可以实现数据的双向同步。 通过 ESB 的管理监控平台, 能够对接入系统及流程进行查看和管理。
具备交换数据缓存功能, 能够制定缓存规则维护交换结果数据的生命周期;
3.2.3.3.3 交换传输子系统
交换传输系统是用来构建前置交换系统之间安全、 可靠、 稳定、 高效的信息交换通道, 实现信息的打包、 转换、 传递、 路由、 解包等功能。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps25.jpg
主要的功能包含:
a)消息传送应支持 HTTP 和 HTTPS 协议;
b)采用 SOAP 作为消息封装格式;
c)提供消息寻址功能, 支持基于消息头以及基于内容的信息路由功能;
d)提供消息确认和消息选择性重发机制以实现前置交换子系统之间可靠的信息传递功能, 实现交换信息内容的“不丢、 不错、 不重”;
e)采用 WSDL(Web 服务描述语言) 作为交换服务描述规范;
f)提供消息差错处理功能, 能够按照处理消息 ID 重复、 身份认证失败、 权限验证失败、 消息传递超时等异常情况。 遵循 SOAP 要求进行差错
g)支持各种主流操作系统;
h)提供信息转换功能, 支持基于规则配置的格式、 内容转换功能。
跟进部署的交换流程, 实现应用单位前置交换信息库之间的信息处理和稳定可靠、 不间断的信息传递。 该模块可支持现有多种交换中间件产品的集成, 也可选择内置传输模式完成数据传输。
交换传出子系统建设内容
在共享平台中心部署 ESB 中心服务节点, 可件实现部门前置交换子系统与智慧城市大数据平台稳定可靠的信息传递。 中心服务节点与代理节点间通过 MQ 消息中间件进行传输, 保障不重、 不漏、 不错、 不丢的高效传输。
主要功能实现:
1.以 MQ为底层传输中间件, 保障安全可靠的数据传输。提供各种事务类型,可对消息进行差错处理, 实现消息同步及异步的传输;
2.通过 ESB 内置的丰富组件, 提供 WebService、 FTP、 JDBC、 Email、 MQ 等多种传输方式, 实现数据库数据、 电子表格数据等格式化数据以及文本、 图片、 频、 视频等非格式化数据的传输。
3.MQ 消息中间件可对消息进行分段、 分组传输;
4.MQ 消息中间件具有传输数据的压缩功能;
5.ESB 自带运行时模块(runtime), 可扩展部署, 实现热备与集群的功能。
6.能够实现交换信息的打包、 转换、 传递、 路由、 解包等功能。
3.2.3.3.4 交换管理中心系统
交换管理系统支持对整个交换域的综合管理监控, 包括交换流程的配置、 署与管理以及对交换系统运行情况的监控与管理两个方面。
交换流程配置管理
交换体系需要提供图形化的交换流程配置工具, 支持流程设计、 配置、 测试功能。 主要的功能包含:
a)具有标准的交换流程描述规范;
b)提供图形化的流程设计与配置工具配置信息交换流程, 并支持信息交换流程的动态部署;
c)提供独立的流程执行引擎, 流程引擎支持各种主流操作系统;
d)提供信息交换流程监控功能。
系统管理与监控
系统管理与监控用于监控信息交换系统的状态、 服务、 日志、 消息等信息。
可以监控各前置交换子系统、 交换传输子系统的运行状态、 系统性能及资源占用情况、 日志及系统异常情况, 监控各前置交换子系统部署的交换服务运行情况以及整个交换域中消息传递的情况。 主要的功能包含:
a)提供前置交换子系统注册接口, 各前置交换子系统可注册到交换管理中心,注册的前置交换子系统能够被统一管理与监控;
b)提供前置交换子系统状态查询功能, 能查询各注册前置交换子系统及其中部署的交换服务的运行状态;
c)提供前置交换子系统信息更新及删除功能, 以保证前置交换子系统可动态配置及部署;
d)提供交换流程基于交换管理中心的远程部署功能;
e)提供交换服务远程部署与管理功能, 能够远程启动、 停止交换服务;
f)提供信息交换日志管理及日志查询的功能, 能实时监控信息交换的情况。
以下为公共信息资源交换系统功能组成图:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps26.jpg
(1) 系统管理
提供各种交换中心的管理功能, 主要包括用户信息管理、 节点信息管理、 作群组管理、 角色管理、 功能菜单管理、 数据字典管理、 系统参数管理、 资源权限管理等功能模块。
(2) 资源管理
提供交换中心和前置交换节点之间各种交换表资源、 组件和数据库的管理功能, 主要包括交换表管理、 控制表管理、 组件信息维护、 字段转化维护和数据库进程管理。
(3) 查询统计
提供交换与整合信息资源的查询和统计功能, 主要包括交换数据查询、 整合数据查询、 系统信息查询和交换数据统计。
(4) 交换管理
交换管理提供交换队列管理、交换规则定义等功能, 主要包括交换队列查询、交换队列管理(添加、 删除、 查看、 修改)、 交换规则定义等。
(5) 资源监控
资源监控主要提供各种信息资源的监控功能, 主要包括对各种交换队列的状态监控, 订阅服务的状态监控。
(6) 订阅信息管理
提供信息订阅服务功能, 主要以表订阅和整合信息订阅的方式为主, 主要包括表订阅查询、 表订阅管理、 表订阅审批、 表订阅启动、 整合订阅查询、 整合订阅管理、 整合订阅审批和整合订阅启动。
(8) 日志维护
日志维护提供交换系统的各种日志管理功能, 主要包括系统日志、 交换日志和导入日志等, 为系统提供全面的日志管理功能。
交换管理子系统建设内容
通过交换桥接模块将应用单位需要交换的信息交换到前置交换信息库, 在交换管理模块的流程控制下, 通过交换传输模块、 前置交换模块, 把需要交换的信息定向传输到接受应用单位, 同时把共享信息实时交换到共享信息库。
主要功能要求:
1.通过设计器中的域管理工具, 实现对交换服务器、 交换节点的管理。
2.通过管理菜单, 对路由信息可创建、 启动、 停用等操作。
3.提供资源订阅发布管理,实现为各业务部门提供请求/应答、 订阅/发布、 消息广播等多种数据交换方式的配置管理。
4.提供多种接入方式, 包括 WebService、 FTP、 Email、 JDBC、 MQ 等, 满足不同业务部门不同的业务需求。
5.提供交换信息统计分析功能, 能够对交换当前状态以及历史记录进行查询;中心处理系统
智慧城市大数据平台数据中心处理系统负责交换数据处理、 交换数据订阅、智慧城市大数据平台中心文件服务、 数据转换及组件处理等工作, 其中主要工作进程如下:
(1) 交换数据监听服务: 针对各个应用单位换入数据进行实时监听, 并针对当前数据数据记录交予该数据所参与的订阅流程进行处理;
(2) 交换数据订阅服务: 将交换数据根据交换管理平台订阅功能配置的订阅流程, 将该数据组装成指定格式数据, 并保存至订阅应用单位的交换表中交予订阅应用单位的适配器进行处理;
(3) 动态组件处理服务: 根据交换管理平台配置整合及订阅流程过程中,针对各个流程、 字段选择不同的组件处理方式, 将需要处理和转换的字段根据指定格式进行动态转换, 最终形成用户所需要的数据并提供给用户。 该功能已提供默认动态转换、 规则数据转换(如加、 减、 乘、 除、 截取、 连接等) 相关规则供选择, 并且支持用户自主开发组件进行处理;
(4) 文件共享服务服务: 负责根据交换管理系统配置的文件共享及获取流程, 启动中心文件服务, 实时监听各应用单位上传文件数据, 并提供智能安全下载接口供各应用单位实时下载所需要的文件内容。
(5) 运行状态监听服务: 该进程随启动而启动, 不需要 web 控制, 属于一个被动监听进程, web 控制台向该进程发送相关参数, 通过返回信息获取该适配器正在运行的状态, 以及正在运行的进程数量及名称。
3.2.3.4交换网络体系建设
公共服务平台在实际落地式实施过程中, 会碰到各种网络结构, 会导致业务系统、 平台系统之间数据无法互通, 该文档针对实际碰到的各种网络情况提出数据共享、 对接解决方案。
3.2.4.1定义
单向专网: 各业务部门所在的专有网络, 并且该网络与政务网仅可以单向互通, 即由专网向政务网单向互通;
双向专网: 各业务部门所在的专有网络, 并且该网络与政务网完全相通;
政务网: 政务办公所在网络, 俗称政务外网;
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps27.jpg
1 、 单向专网安全性要求较高, 与政务网隔离或者仅能够单向访问政务网, 而政务网无法访问专网内的数据及服务;
2、 双向专网与政务网之间安全性要求较低, 可通过专线或者直接将业务系统部署在政务网内, 可与政务网内系统直接实现数据及服务的互联互通;
3、 政务网与互联网之间为单向访问网络, 政务网可单向访问互联网, 而互联网无法访问政务网内的数据及服务;
3.2.3.4.2 专网与政务网
双向专网
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps28.jpg
专网与政务网说明:
1 、 针对各业务部门准备接入平台的共享前置机;
2、 双向专网业务系统可直接将需要共享的数据或文件同步至该部门对应的共享前置服务器;
3、 平台通过目录、 交换、 数据服务等功能将数据落地至需要的共享服务器或通过服务中心对外提供服务;
单向专网一(单向网闸)
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps29.jpg
专网与政务网说明:
1 、 针对各业务部门准备接入平台的共享前置服务器;
2、 在专网内准备共享前置服务器;
3、 准备专网向政务网的单向网闸;
4、 业务系统将需要共享的数据同步至专网共享前置服务器;
5、 单向网闸将需要共享的数据实时同步至政务网共享前置机;
6、 平台通过目录、 交换、 数据服务等功能将数据落地至需要的共享服务器或通过服务中心对外提供服务;
单向专网二(反向代理)
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps30.jpg
专网与政务网说明:
1 、 针对各业务部门准备接入平台的共享前置服务器;
2、 在专网内准备共享前置服务器;
3、 准备政务网向专网的反向代理服务器, 并且仅允许对应的共享前置服务器访问特定端口服务, 并将反向代理服务指向业务系统共享数据服务;
4、 业务系统包装需要共享的数据服务部署至专网共享前置服务器;
5、 政务网共享前置服务器部署与专网数据服务系统对接的数据服务系统, 并配置通过反向代理访问专网数据共享服务;
6、 平台中心在需要使用该部分数据时, 调用政务网前置服务获取该业务部门共享数据;
单向专网三(数据摆渡)
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps31.jpg
专网与政务网说明:
1 、 针对各业务部门准备接入平台的共享前置服务器;
2、 在专网内准备共享前置服务器;
3、 准备专网向政务网的数据摆渡机;
4、 摆渡机在没有联通网络(专网与政务网) 的情况下将专网共享数据同步至政务网共享前置服务器;
5、 平台通过目录、 交换、 数据服务等功能将数据落地至需要的共享服务器或通过服务中心对外提供服务;
3.2.3.4.3 政务网与互联网
单向互通(代理中间件)
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps32.jpg
政务网与互联网说明:
1 、 公共服务平台管理中心部署于政务网;
2、 将面向于公众的平台服务中心部署于互联网;
3、 在互联网中部署平台代理中间件;
4、 平台发布的安全性要求较低的数据通过平台直接交换至平台服务中心, 公众访问该部分数据时, 平台服务中心直接返回相应数据;
5、 平台发布安全性较高的数据则直接保存至平台管理中心, 公众访问该部分数据时, 由服务中心向平台代理中间件发送请求, 由管理中心将数据推送至平台代理中间件, 再有平台代理中间件返回给服务中心;
单向互通(反向代理)
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps33.jpg
政务网与互联网说明:
1 、 公共服务平台管理中心、 平台服务中心部署于政务网;
2、 在互联网部署反向代理服务器, 由反向代理服务器通过与政务网建立的安全通道与平台进行交互;
双向互通
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps34.jpg
政务网与互联网说明:
1 、 公共服务平台管理中心、 平台服务中心部署于政务网;
2、 针对平台服务中心所在服务器通过双网卡解决政务网、 互联网访问问题;
3、 该方案可快速完成平台部署, 安全性完全交由防火墙处理, 对于防火墙能力要求较高;
3.2.4 数据整合服务系统
数据整合服务系统的作用体现在两个方面, 一方面通过数据加工、数据整合、数据关联等功能, 能够动态配置实现各类不同主题的信息处理, 在建筑物库、 口库、 法人库等基础数据库的基础上, 通过进行清洗、 转换、 集成, 构建业务应用所需的业务数据库, 充实公共服务数据库, 提升数据的价值, 实现数据向信息的智慧城市公共信息的转变; 另一方面, 在新智慧应用的建设中, 支撑业务数据库及公共服务数据库的指标项扩展, 这些指标项的扩展也会充实基础数据库的指标项及数据内容。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps35.jpg
数据整合模型如下图所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps36.jpg
a) 整合配置
以图形操作模式配置数据整合参数, 实现进行清洗、 转换、 比对、 数据导出、数据拆分等数据整合规则的动态配置。
b) 整合组件管理
系统以组件形式对清洗、 转换、 比对、 导出、 拆分等数据处理过程进行封装,同时提供这些整合组件的注册、 发布、 撤销、 查询等整合组件管理功能。
c) 整合流程管理
实现对整合实施过程的申请、 配置、 审核、 执行等过程的流程化管理, 并允许在流程过程中进行回退、 修改等操作。
d) 整合结果信息查询
提供整合结果信息的查询统计功能, 无需定制开发, 可动态根据不同的整合主题进行相应结果信息的查询。
e) 整合结果订阅
应用接入单位可针对整合结果, 按需进行结果集数据的订阅, 在订阅审核通过后, 系统按预设的规则将接入单位要求的数据交换到指定位置。
f) 整合过程信息统计分析
动态设定统计口径, 对数据整合过程进行统计与分析, 如清洗数据量、 处理过程失败记录、 处理成功数等。
3.2.4.1 数据整合服务内容
这部分工作内容主要是, 技术人员按照业务的需求, 建立业务模型, 理清业务流程, 然后利用数据处理工具制定数据处理规则, 开展配置数据采集、 转换、映射、 过滤、 交换、 清洗、 比对、 加载入库服务等工作, 对配置好的交换和处理服务还需要反复多次执行模拟、 调试、 测试、 修改、 执行等任务, 以保证数据正确可靠的从发送地到达接收地。
以下列出部分数据处理服务工作
3.2.4.1.1数据梳理
根据给定的数据表对照关系文件查找两边数据表, 定位发送端数据表和接收端数据表的结构, 需要交换的内容以及结构是否一致, 字段类型是否相同, 是否需要进行数据转换, 如果是文件入库, 文件是否符合格式, EXCEL 文件入库, EXCEL文件是否符合模板定义, 梳理 EXCEL 文件和数据表的对照关系。 其它内容包括:
l 找出源端数据表和目的端数据表差异;
l 制定源数据表和目的数据表字段类型转换规则;
l 制定 EXCEL 文件中的列和数据表中字段对应规则;
l 制定模板生成 EXCEL 文, 对经常变化的 excel 文件采用制定转换策略;
l 分析数据处理量, 制定服务器资源需求;
3.2.4.1.2 数据转换
根据给定数据转换规则进行数据转换, 这个主要涉及源数据表或者目的数据表的单个、 多个字段, 在进行数据转换的时候首先需要确定数据转换的可行性。
在转换过程中会有复杂的转换, 比如字符串向数字转换, 比如字符串或者数字向时间类型转换, 在遇到由可能出现错误的转换中需要预先定义转换规则, 以及遇到不能转换数据的时候要如何处理。 在数据转换中需要和用户进行沟通, 确认转换规则的正确性。
数据转换例子:
l 字符串转日期: 字符传 201612 转换后 2016-12-00(遇到不可转换的值需有用户提供处理方法)
l 字符转数字: 字符串 233 转换后 233(遇到不可转换的值需有用户提供处理方法)
3.2.4.1.3 定义交换服务
根据用户的业务需求定义数据交换服务, 比如需要在转换后将多张数据表整合成一张数据表, 按照一定的先后顺序进行整合, 在整合的同时替换掉一些码表的字段内容, 比如将表A和表B 整合到表C 在整合的到表C 的时候替换掉源表A和表B 的个别字段为新的编码表的内容, 如果原有内容在编码表中查询不到则不进行替换。 遇到这个业务需求就需要对该业务进行分析:
l 该业务在执行的时候有无顺序
l 用户提供的业务需求是否可以转换为交换服务
l 工作量评估
3.2.4.1.4数据分析
分析数据的正确性, 是否可以顺利入库, 在交换服务中经常由于数据格式不对, 字段长度不对, 等数据质量问题导致数据交换出现问题, 造成数据缺少或不全, 提前进行数据分析可以避免数据长度, 类型等数据表上的问题, 在数据交换的过程中进行数据分析, 可以对交换中产生的异常数据分析出原因。
具体分析内容如下
l 分析核对两边数据表的对应关系中的字段类型, 长度
l 分析核对量表数据库的编码格式, 不同的编码格式需要进行传唤
l 分析核对数据的最大长度和目的类型, 不同的编码格式可以保存的长度不同, oracle 数据库如果为 UTF-8,则 VARCHAR2(4000)可保存 1333 各汉字。
l 分析数据中是否存在不可解读的数据
l 分析给出的非结构化数据文档是否符合模板要求
3.2.4.1.5数据抽取
会遇到数据库链接的各种问题, 需要确认数据库的链接方式, 数据库的限制,在数据进行数据增量抽取时是否对数据库的链接做了限制, 如: 当进行数据库数据抽取时在 Resultset 处于活动状态时是否允许删除数据。 就目前碰到的情况而言有些单位的数据库允许删除, 有些单位的数据库不允许删除。
l 数据库连接数量是否足够
l 数据库服务器的资源是否足够, 资源不足将不能满足连接的创建会影响
数据交换服务
l 数据库是否做了特殊限制, 比如连接数量限制, 用户权限限制
l 运行交换服务的前置机的资源是否足够(内存和硬盘), 资源不足将会影响数据的抽取
3.2.4.1.6 数据清洗
清洗规则需要预先定义, 在定义清洗规则的同时需要收集用户需求, 在需求确定后方可根据用户的需求定义数据清洗规则, 当然系统内预制的规则除外。
重复的数据: 将重复数据记录的所有字段导出来, 让客户确认并整理。
l 有特殊要求的数据清洗对清洗规则进行评估, 服务是否可以做到;
l 用户的清洗规则需要转换成存储过程或服务;
l 转换后的存储过程和服务能否达到预期目的。
3.2.4.1.7 数据过滤
l 过滤不符合要求的数据: 将过滤的结果交给业务主管部门, 确认是否过滤掉还是由业务单位修正之后再进行采集;
l 不完整的数据: 如法人的名称、 法人单位的区域信息、 业务系统中主表与明细表不能匹配;
l 错误的数据: 业务系统不够健全, 在接收输入后没有进行判断直接写入数据资源湖; 如数值数据输成全角数字字符、 字符串数据后面有一个回车操作、 日期格式不正确。
3.2.4.1.8 数据查错
数据的质量直接影响交换的效果, 数据查错需要设计相关的服务进行。 需要经历, 设计服务、 配置服务、 调试服务以及最终运行服务, 最后查询服务运行后的结果。
l 查看服务的运行日志, 根据日志中的错误信息进行排查
l 查看核对中的错误数据, 根据错误数据进行排查
l 利用适配器 SQLMonitorChannel 入库数据, 如有异常数据会记录下来,利用平台提供的接口可以排查数据错误
3.2.4.1.9 服务设计
根据不同的交换需求设计不同的服务, 允许创建触发器的服务和不允许创建触发器的服务的配置方式是有根本区别的, 同时根据不同的服务配置资源, 减少因为资源问题导致的服务错误。
l 确定是同构交换还是异构交换
l 确定数据库给予的权限
l 确定服务的功能(单纯交换还是带有业务)
l 确定服务中数据表的数量(单表/多表)
l 评估数据交换量, 决定每个服务交换的数据表的数量
l 确定两端数据库的编码格式以及转码方式
l 确定业务需求(一对一, 多对一, 一对多)
3.2.4.1.10 服务配置
根据设计好的服务进行配置, 简单的同构或者异构交换可以采用数据处理工具进行配置, 根据业务的复杂程度, 平均配置完成一对数据表的交换时间不等。
3.2.4.1.11 服务调试
服务配置完成后需要调试后方可在实际环境中运行, 调试服务何以有多个方
l 配置好服务后利用工具命令运行服务, 利用打印信息调试服务
l 配置好服务后部署到交换平台, 利用服务后面的错误信息以及通道监控
调试服务
l 配置好服务后部署到桥接上面, 利用运行日志对服务进行调试。
3.2.4.1.12 数据映射
创建表之间的字段映射、 生成交换表、 触发器、 存储过程、 初始化临时表、如果表结构变化, 需要重新生成交换表、 触发器、 存储过程, 生成映射关系文件。
数据映射分为同步映射和异步映射, 同步映射拖拽一次即可映射全表, 异步映射需要每个字段进行映射。
3.2.4.1.13 服务测试
服务配置完成后需要测试交换的正确性, 测试服务可以在源端任意初始化一条数据, 利用平台的通道监控和异常日志测试服务是否能正常运行。
3.2.5 目录管理服务系统
基于政务信息资源目录服务, 建立政务信息资源交换共享门户网站, 通过该网站, 对政务数据中心已有的基础信息资源和共享信息资源进行梳理、 编目、 布, 供各政府部门检索、 浏览、 交换, 实现信息资源的共享。
基于目录体系的政务信息资源整合具有业务驱动、 按需整合, 满足信息整合整体性原则及标准化的优势, 可以支持在协同政务中的政务信息资源整合和共享需求, 同时可以适应政务信息资源随业务动态变化的特点, 保证整合的政务信息资源及时准确, 是实现政务信息资源整合和共享的先进手段, 是政务协同建设的基础设施。
3.2.5.1 业务功能
下图为目录管理与服务系统的业务流程图。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps37.jpg
录管理与服务系统由信息资源编目 管理子系统和信息资源目 录子系统组成,
用户可以通过信息资源编目管理子系统完成信息资源的编目及注册, 再通过信息资源目录子系统发布, 供各个应用单位提供共享服务;
整体流程包括以下四个环节:
Ø 准备: 首先由各政务部门建立共享信息库, 并建立共享信息服务系统, 提供共享信息的浏览、 查询和下载等服务;
Ø 编目: 各政务部门对共享信息的内容提取特征, 通过编目系统形成目录内容库;
Ø 注册: 由政务部门通过目录传输系统将目录内容传输到目录服务中心;
Ø 发布: 由目录服务中心对各政务部门的内容进行审核发布;
共享信息资源定位与发现流程包括两个环节:
Ø 目录查询: 用户基于浏览器等客户端查询目录服务中心目录内容, 通过目录查询可以定位共享信息。
Ø 信息获取: 用户根据目录查询得到的定位信息, 通过各政务部门的共享信息服务系统获得信息。 用户可以通过网络浏览、 查询、 下载等各种方式从共享信息服务系统获取共享政务信息资源。
目录管理与服务模型如下所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps38.jpg
(1) 共享信息服务系统
共享信息资源的主要内容包括数据集、 档案、 文件、 报告、 服务等, 具体的形式可以是数据库、 图片、 文档、 音频、 视频、 服务等。
档案、 文件、 报告等一般以单个文件为单位编目。
图片、 文档、 音频、 视频一般以独立数据文件为单位编目。
共享信息服务系统是由各应用单位基于统一的电子政务网络进行建设、 管理和维护, 其信息资源由各应用单位自身的业务信息系统提供、 产生、 发布并进行运行管理。 共享信息服务系统应具备的基本功能要求包括:
1)共享信息资源生成: 从各应用单位业务信息资源中生成本应用单位用于共享的信息资源。
2)共享信息资源发布: 提供以基于统一的电子政务网络为主的共享信息资源发布系统, 发布共享信息资源。
3)共享信息资源访问。 提供共享信息资源访问服务, 用户可以浏览、 查询、下载共享信息; 并且基于统一的电子政务网络进行共享信息资源共享。
(2) 目录能力
Ø 严格的资源权限管理, 动态权限等级设定, 使不同授权等级的人员能看到不同的资源;
Ø 符合国家相关标准, 支持核心元数据的动态扩展;
Ø 提供信息资源展示门户系统, 提供应用单位编目排行、 访问量统计排行等功能;
Ø 统一管理元数据, 提供统一标准化字段, 规范系统;
Ø 支持多级中心目录管理与访问, 支持集中式存储和分布式存储两种方式,可实现横向管理与纵向管理;
Ø 根据目录展示内容查看资源描述, 并支持目录驱动交换;
Ø 根据目录内容提供标准接口, 提供资源的二次开发支持, 为其他应用提供接口查询目录对应资源内容, 供给其他应用使用;
Ø 提供跨库数据查询功能支持, 提供查询主题动态设定, 并支持按主题便捷地查询多个异构的资源;
Ø 信息资源编目应支持各类主流数据库(Oracle、 DB2、 MSSQL、 MYSQL 等)结构化资源的编目, 同时也应支持音频、 视频、 PDF、 办公文件等非结构化资源的编目, 以及网站、 URL、 web 服务等多种信息资源的编目支持。
(3) 资源标识符管理
包括资源标识符结构管理、 资源标识符应用单位配置、 应用单位标识符中心配置、 核心元数据定义等功能。
(4) 元数据定义
编目子系统的核心元数据定义提供对核心元数据的定义管理, 包括核心元数据查询、 添加、 编辑和删除功能, 同时提供核心元数据详细信息查看的功能。
(5) 系统配置
系统配置功能主要提供基于机构、 用户、 权限和服务等方面的综合配置管理功能, 其主要包括资源权限等级定义、 系统参数管理、 机构环境管理、 用户角色管理、 分类方式管理、 服务类型查询和权限管理等功能。 在此, 权限和用户机构管理均为托管方式, 由平台运维系统中的用户管理系统进行统一权限认证。
(6) 编目信息发布
编目信息发布主要提供注册至编目中心的编目信息的发布功能(同时支持批量及指定), 在发布时可指定允许访问资源或目录的应用单位列表及资源访问权限要求, 通过编目信息发布, 可以将前置编目信息发布到全市统一的门户中供各级应用单位进行检索、 查看和申请。
(7) 编目信息撤销
针对无效的编目信息或需要进行下线的目录信息, 系统提供编目信息撤消的功能, 该功能可对已发布的编目信息进行撤消和下线, 该编目信息撤消后可重新进入待发布状态, 如需发布可以重新进行发布。
(8) 编目状态同步
编目状态同步主要提供平台门户与后台数据的手动同步功能, 系统提供自动同步检测的功能, 能够自动检测目录状态不一致的状况, 通过选对相应的编目数据手工进行同步, 可实现目录状态的同步修正更新。
(9) 交换互动
提供目录驱动交换功能, 资源使用方通过目录方式获取资源信息后, 通过平台提供的申请流程向平台管理者与资源拥有方进行申请, 得到管理者与资源拥有方同意后, 由平台自动开始按配置的规则进行信息资源的交换与共享。
目录系统提供数据交换驱动入口, 调用对交换系统提供的相关接口, 实现与交换系统的互联互通, 并能对交换系统业务数据及各类服务提供资源编目功能。
(10) 查询统计
查询统计功能提供编目中心各种服务状态的统计, 如编目信息评价、 访问量统计等信息, 编目信息评价主要提供各应用单位对已发布编目信息的评价信息查询功能, 访问量统计能够根据各应用单位对该编目信息的浏览数量进行统计。 程信息查询提供编目信息在编目中心的过程信息记录。
(11) 信息服务
信息服务功能主要提供目录查询和目录浏览等功能, 包括基础查询和自定义高级查询功能, 支持多种查询方式联合, 并以树形分层方式展示相关编目信息的详细内容。
(12) 特殊权限审批
在发布时可指定允许访问资源或目 录的应用单位列表及资源访问权限要求,只有被允许的单位或个人才能访问特定的资源。
当出现特殊原因或业务需要, 某些单位和个人希望在某个时间段内访问原先不能访问的资源时, 可使用特殊权限审批功能, 通过流程化管理, 可在指定的时间段内暂时开放资源及目录的访问权限。
(13) 前置功能
1、 资源初始化
提供前置与平台中心之间的初始化设置, 通过初始化可以实现前置与平台中心之间的通信和目录同步, 主要包括前置节点注册、 用户权限认证等相关服务。
2、 结构化数据编目
前置编目系统提供对异构数据库等结构化数据进行手工或自动编目, 应支持主流数据库, 包括:Oracle、 DB2、 MSSQL、 MYSQL 等异构数据库。
3、 非结构化数据编目
前置编目系统除了可以对数据库等结构化数据进行编目外, 也可以对非结构化的数据进行编目, 如文件、 图片、 视频等进行编目, 通过文件交换系统实现文件的共享服务。
4、 编目信息查询
提供前置编目信息的查询服务, 支持快速查询和自定义查询, 可以通过资源标示符、 资源名称、 关键字、 分类方式、 编目日期等多种条件进行查询, 并支持查询结果的目录详细信息查看, 从而让用户快速定位信息资源位置。
5、 编目信息提交
提供前置编目信息提交至平台中心的服务, 编目信息经过提交后, 在编目中心等待审核人员进行审批, 并最终发布。 提供编目信息批量发布功能, 并能够查询已提交的编目信息。
6、 编目信息审核
编目信息审核主要提供给编目前置管理员使用, 编目信息经审核后方能向编目中心提交, 在编目信息审核后可以进行该条编目信息的查看。
7、 编目信息注册
编目信息注册主要提供前端编目信息提交至编目中心的服务, 通过编目信息注册服务, 前置编目信息会被注册至中心的信息资源目录中供多个应用单位进行目录访问和资源申请。
8、 编目信息管理
编目信息管理提供编目信息的修改和删除功能, 前置编目人员可以对编目的信息进行修改, 包括编目信息的核心元数据项、 核心表数据项、 字段数据项等内容。 修改完毕后, 可以对编目重新进行提交、 审核和注册。 同时, 前置编目人员也可以通过编目信息删除的方式删除多余的编目信息。
9、 目录传输
目录传输提供目录同步的监控和手动执行传输的功能, 其主要是针对系统参数管理中的参数进行手动执行传输, 通过目录传输, 将前置子系统修改的参数与编目中心系统进行同步。
3.2.5.2 技术架构
下图为目录管理与服务系统架构图:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps39.jpg
技术规范:
系统是建立在以互联网技术为核心、 Web 技术为基础的 B/ S 集成环境之上的应用系统。 以网络环境为支撑, 通过开发工具建立一个开放式查询和浏览平台, 融合 MicrosoftIIS、 Java 和 ASP.NET 等技术。
系统由三个逻辑层组成: 数据层、 业务对象层、 客户层。 数据层位于系统底层, 主要处理业务对象层对数据提出的请求和存储各类政务资料目录数据。 业务对象层为系统的核心, 处理如何访问数据以及如何将请求的数据分发到客户端。
客户层向用户提供应用的接口, 运行在 Web 浏览器环境下, 通过系统提供的功能与后台数据库交互实现各项信息查询和数据的维护。 Web 服务接口提供用户通过消息实现目录服务, HTTP 接口提供用户直接通过浏览器查询和管理目录服务。 HTTP 接口一般是目录体系中必须实现的, 而消息访问接口可以根据各自的实际情况选择实现。
系统开发平台以 Windows2003/XP+IIS+MicrosoftVisualStudio.net 框架作为平台, 在目录服务方式中, HTTP 目录访问方式采用 Java+tomcat 开发, 目录服务器端部署 JavaEjean 和 Servlet 处理用户的请求和完成与目录库的交互, 前台提供 JSP 页面作为。 http 接口, 并提供用户访问目录服务系统的界面。
功能概要:
1、 资源整理: 根据各个应用单位所要共享、 需求以及专题库所需数据进行相关整理, 把需求字段、 开放应用单位、 所属分类(概要描述) 整理形成文档, 经过相关应用单位审核通过, 然后可根据该文档所描述信息进行编目。
2、 编目及提交: 相关权限管理员登录编目系统, 选择结构化或者非结构化编目、 手工编目或者自动编目, 然后输入核心数据, 选择开放应用单位以及所属分类, 并根据文档选择相关表内字段或者相关非结构化数据,编目成功以后点击编目信息提交工程, 查询该目录信息, 并检查该目录内容是否正确, 确认无误以后, 输入提交意见, 确认提交。
3、 编目审核: 编目审核管理员查看已提交的编目信息, 根据相关法律法规、相关政策, 确认编目内容是否合法, 并输入审核意见并提交。
4、 编目注册: 编目注册管理员查看已经通过审核的编目信息, 根据编目总体格式进行判断, 确认编目 所形成的目录内容格式符合当前规定格式,并输入注册意见并提交。
5、 编目发布: 编目发布管理员查看已经通注册的编目信息, 确认此编目信息可以公开, 则输入发布意见并提交。
6、 编目修改: 编目管理员在发现任何一条编目信息存在问题时, 可以及时修改, 修改以后的编目信息, 需重新通过编目提交、 编目审核、 编目注册、 编目发布流程。
7、 编目驱动交换: 根据已经发布的编目信息, 根据需求选择目标应用单位,经过申请提交、 应用单位审核、 管理中心审核, 即可成功激活交换任务,目标应用单位即可实时获取该目录所对应的资源信息。
3.2.5.3 信息资源编目管理子系统
信息资源编目 管理子系统作为智慧城市公共服务平台信息资源目 录体系的载体, 采用一种非落地的信息共享模式, 是对交换共享模式的补充, 在目录式共享中, 各应用单位对各自共享的资源有完整的控制权, 可有效地解决交换模式中各应用单位因担心违反相关规定不愿意批量提供数据的问题。
编目管理是指编目系统根据部门共享信息资源的内容, 提取其基本特征, 照政务信息资源标识符编码、 政务信息资源分类标准、 核心元数据标准实现元数据赋值, 形成目录内容。
信息资源编目子系统包括信息资源编目、 目录内容注册资源编目
以下是编目系统的工作流程图:
3.2.5.3.1 资源编目
以下是编目系统的工作流程图:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps40.jpg
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps41.jpg
编目系统根据应用单位共享信息资源的内容, 提取其基本特征, 按照政务信息资源标识符编码、 政务信息资源分类标准、 核心元数据标准实现元数据赋值,形成目录内容。
编目系统的应遵循以下技术要求:
1)编目对象是具体的共享信息资源, 主要内容包括数据集、 档案、 法律法规、文件、 报告、 服务等, 具体的形式可以是数据库、 图片、 文档、 音频、 视频、 页、 服务等。
2)编目系统应支持自动、 机辅方式完成元数据元素的赋值。
3)唯一标识符管理功能。 按照政务信息资源标识符编码, 支持唯一标识符的分配和赋值, 包括支持后段码的自动生成和管理。
4)标准符合性检查功能。 支持信息资源元数据完整性和标准一致性检查。 元数据完整性检查的主要目 的是保证所有必选的元数据实体和元数据元素已经赋值。 标准一致性检查的主要目标是保证已填写的元数据实体和元数据元素的取值符合政务信息资源标识符编码、政务信息资源分类标准、核心元数据标准的规定。
5)信息资源分类。 按照政务信息资源分类标准, 实现对共享信息资源的分类。
3.2.5.3.2 目录注册
经过信息资源的编目之后, 生成部门目录内容, 经过部门内部审核完成确认没有问题之后, 将编目形成的元数据通过元数据注册系统向目录中心的管理机构注册。
通过目录传输系统, 实现元数据的提交, 下级目录中心将本级中心地址和核心元数据注册到上级目录中心;
目录传输系统
录传输系统实现目 录内容在应用单位目 录内容信息库与目 录服务中心的目录内容管理信息库之间的传输。 目录传输系统应遵循以下技术要求:
1)建立传输通道: 可按照数据交换服务系统要求建立应用单位与目录服务中心之间的传输通道。
2)目录内容传送: 支持各个应用单位将目录内容自动化提交、 存储到目录中心的目录内容管理信息库。
3)目录内容回退: 未通过目录服务中心审核的数据将返回给相应应用单位的目录内容信息库。
3.2.5.4信息资源目录子系统
信息资源目录子系统的建设, 以目录方式实现资源共享, 是智慧城市大数据平台实现信息资源共享的有效手段, 使用目录体系可以以更灵活的方式实现更多应用单位、 更多资源的接入与共享。
信息资源目录子系统包括: 目录管理、 目录服务
3.2.5.4.1 目录管理
目录管理系统实现对汇聚的目录内容进行自动审核和其它相关的管理工作。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps42.jpg
进行自动形式审核, 符合标准的目录内容自动进入目录内容服务信息库,按照标准要求自动发布; 未通过形式审核的目录内容, 自动回退到相关应用单位,经形式修正后重新审核。
目录生成后, 就可以提交相关人员进行审核, 确保目录的正确性。 审核功能包括: 对目录类别的审核、 对目录项审核、 对目录文字审核、 对目录流程图审核、资源目录项中标识符编码的查询显示、 数据资源目录项中标识符编码的人工修改。
审核通过之后, 进行自动发布, 供用户使用。 功能包括目录浏览、 发布、 退回。
根据资源目录分类, 采用懒加载的方式进行目录展示。
目录维护
对目录内容管理信息库、 目录内容服务信息库中的目录内容提供维护功能。
(1) 建立信息资源元数据库、 核心元数据库和目录, 并进行定时更新、 备份与恢复, 入库与出库, 对已发布的目录进行维护, 删除、 停用、 更新、重组目录等操作。
(2) 标识符前段码管理: 提供前段码分配管理功能, 为各应用单位分配并维护固定的前段码。
(3) 目录服务地址管理: 存储目录服务中心的目录服务地址, 用于目录服务中心之间的互连互通。
(4) 对目 录服务器、 行业信息专网网站及各级政府门户网站的运行进行系统监控;
(5) 根据查询日志, 统计访问系统的次数, 统计分析不同信息资源的查询次数等
(6) 用户反馈。 管理用户的反馈意见, 并和提供者进行协调。
(7) 扩展目录服务系统的分类编目 方案, 根据不同的应用需求提供多个目录索引, 并根据用户的特点提供个性化目录服务。
权限管理
给不同的用户分配不同的访问权限, 以保证用户可以正确地访问资源目录信息, 并且保护目录系统目录信息的安全。 根据用户的划分和目录服务系统安全管理的需求, 把用户分为三类: 第一类是公共用户, 可以访问公共的数据资源目录信息; 第二类是政务部门用户, 可以访问公共的数据资源目录信息和有限的交换资源目录信息; 第三类是目录服务系统管理者, 负责对目录服务系统的管理、 录信息的更新和维护等工作。 在这三个角色中分别设定几类权限等级, 此权限等级对应资源的六大安全等级(全社会、 本单位、 限制、 秘密、 机密、 绝密)。 户在使用目录服务系统时, 系统会根据用户的权限确定用户可以执行的操作和过滤, 阻止用户的非法操作, 并且会根据用户的权限和目录条目中资源保密属性过滤用户执行目录查询的结果。
3.2.5.4.2 目录服务
目录服务系统基于网络实现对目录内容的发布, 并向用户提供目录内容的查询。
目录发布
发布是管理者根据各分类的编目规则为入库资源进行分类, 发布最新入库的元数据并通过目录服务系统根据目录服务的要求, 从政务信息资源元数据库中导出注册成功的政务数据资源目录信息, 生成资源目录条目, 并导入到政务数据资源目录库中, 供用户访问。
目录内容发布: 提供目录服务接口, 查询请求解析。
用户通过数据资源目录体系查询系统向目录服务器发送目录查询请求, 目录服务器根据查询条件和用户权限将查询结果返回给使用者。
目录查询
查询是目录服务系统通过 HTTP 或者消息访问接口提供用户查询目录信息的功能。 目录查询支持用户按照分类、 单项条件和组合条件三种方式进行。 除此之外, 还可以按主题词联想查询、 快速定位、 下载公开目录、 查询资源在各个分类中的目录位置、 下载结果列表。
目录内容查询: 为了便于人机交互, 需要提供基于网络的目录内容查询功能。
其中, 目录内容检索涉及的检索串的示例参。 分类导航单个检索词的检索多个检索词的组合检索
包括多维度目录查询, 列表查询, 信息资源访问功能。
(1) 多维度目录查询
根据数据资源目录分类的不同维度进行资源目录的查询。
(2) 列表查询
通过列表的方式进行资源目录查询。
(3) 资源访问
根据目录资源权限设置, 在一定的权限范围内访问相关的信息资源。
分布式目录服务访问
分布式目录访问主要针对的是对物理上分布存储的目录内容进行检索, 在逻辑上形成统一的目录服务。
基本的分布式目录服务是两层架构, 由目录服务网关和目录服务器组成, 下图所示。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps43.jpg
目录服务网关代理对多个节点的访问。 对于查询系统来说, 多个节点的目录服务网关提供的是一个统一的目录服务。
查询系统与目录服务网关、 目录服务网关与目录服务器之间的通讯遵循目录服务接口的技术规定和要求。
资源定位链接
资源定位链接是对资源目录条目中包含的获取资源的信息进行链接或访问。
如果信息资源是在网上(外网或内网) 发布的信息, 目录服务系统提供访问资源的 URL 链接; 如果资源所属的部门还没有提供在线访问或交换服务的方式, 用户可以通过目录条目中的资源负责单位信息和资源的使用限制信息, 离线方式获取资源。
3.2.5.5 目录管理与服务中心管理架构
政府数据资源目 录体系管理架构包括政府数据资源目 录体系使用和管理的三个角色和六项活动, 下图。 三个角色是政府数据资源目录的提供者、 使用者和管理者。 六项活动包括规划、 编目、 注册、 发布、 维护、 查询。
l、 信息提供者负责本级部门政府数据资源目录内容的规划和编目, 向管理者注册目录内容并负责更新, 对本部门政府数据资源目录内容设置使用权限,负责提供与目录内容相关的政府信息资源。
2、 信息管理者负责政府数据资源目录内容的注册、 发布及系统维护, 按照国家标准及相关管理办法进行资源标识符的分配、 管理和使用, 提供政府数据资源目录内容的查询服务。
3、 信息使用者可以查询政府数据资源目录内容, 对获取的目录内容在授权范围内使用。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps44.jpg   
3.2.5.6 政务信息资源管理
    政务信息资源
政务信息资源是指政务部门在履行职责过程中制作或获取的, 以一定形式记录、 保存的文件、 资料、 图表和数据等各类信息资源, 包括政务部门直接或通过第三方依法采集的、 依法授权管理的和因履行职责需要依托政务信息系统形成的信息资源等。
元数据
元数据是描述信息资源特征的数据。 其中, 核心元数据是描述数据基本属性与特征的最小集合, 一般包括信息资源的名称、 内容摘要、 提供方、 发布日期等。
政务信息资源目录
政务信息资源目录是通过对政务信息资源依据规范的元数据描述, 按照一定的分类方法进行排序和编码的一组信息,用以描述各个政务信息资源的特征, 以便于对政务信息资源的检索、 定位与获取。
概述
政务信息资源目录是实现政务信息资源共享、 业务协同和数据开放的基础,是各政务部门之间信息共享及政务数据向社会开放的依据。 政务信息资源目录编制工作包括对政务信息资源的分类、 元数据描述、 代码规划和目录编制, 以及相关工作的组织、 流程、 要求等方面的内容。
3.2.5.6.1政务信息资源目录
政务信息资源目录分类
政务信息资源目录分类包括资源属性分类、 涉密属性分类、 共享属性分类和层级属性分类等。
政务信息资源目录的资源属性分类
政务信息资源目录按资源属性分为基础信息资源目录、 主题信息资源目录、
部门信息资源目录等三种类型。
基础信息资源目录是对国家基础信息资源的编目。 国家基础信息资源包括国家人口基础信息资源、 法人单位基础信息资源、 自然资源和空间地理基础信息资源、 社会信用基础信息资源、 电子证照基础信息资源等。
主题信息资源目录是围绕经济社会发展的同一主题领域, 由多部门共建项目形成的政务信息资源目录。 主题领域包括但不限于公共服务、 健康保障、 社会保障、 食品药品安全、 安全生产、 价格监管、 能源安全、 信用体系、 城乡建设、 区治理、 生态环保、 应急维稳等。
部门信息资源目录是对政务部门信息资源的编目。 部门信息资源包括: 党中央、 全国人大常委会、 国务院、 全国政协、 最高人民法院、 最高人民检察院的政务部门信息资源, 省(自治区、 直辖市)、 计划单列市以及其下各级政务部门信息资源。
政务信息资源目录的涉密属性分类
政务信息资源目录按照信息资源涉密属性, 分为涉密政务信息资源目录和非涉密政务信息资源目录。
涉密政务信息资源目录和非涉密政务信息资源目录的梳理、 编制、 管理、 用等, 应分别依托国家数据共享交换平台(政务内网)、 国家数据共享交换平台(政务外网) 开展。
涉密政务信息资源目录和非涉密政务信息资源目录, 应当按照本指南的资源属性分类、 元数据、 目录代码等要求分别编制。
政务信息资源目录的共享属性分类
政务信息资源目录按共享类型分为无条件共享、 有条件共享、 不予共享等三种类型。
可提供给所有政务部门共享使用的政务信息资源对应目 录属于无条件共享类。
可提供给相关政务部门共享使用或仅能够部分提供给所
有政务部门共享使用的政务信息资源对应目录属于有条件共享类。 不宜提供给其他政务部门共享使用的政务信息资源对应目录属于不予共享类。
政务信息资源目录的层级属性分类
政务信息资源目录按其编制层级分为部门政务信息资源目录、 国家政务信息资源目录。
部门政务信息资源目录由政务部门参照本指南的相关要求编制。
国家政务信息资源目录由国家发展改革委组织汇总编制。
3.2.5.6.2 政务信息资源元数据
政务信息资源元数据包括核心元数据和扩展元数据。其中, 核心元数据包括:
(1) 信息资源分类
参照相关国家标准规定的基本原则和方法, 对政务信息资源进行类、项、目、细目的四级分类。
(2) 信息资源名称
描述政务信息资源内容的标题。
(3) 信息资源代码
政务信息资源唯一不变的标识代码。
(4) 信息资源提供方
提供政务信息资源的政务部门。 原则上, 中央政务部门细化到内设司局或所属行政事业单位, 地方政务部门细化到内设机构和所辖政务部门。
(5) 信息资源提供方代码
提供政务信息资源的政务部门代码。 信息资源提供方细化到内设司局或机构的, 其代码仍使用政务部门代码。 代码采用《国务院关于批转发展改革委等部门法人和其他组织统一社会信用代码制度建设总体方案的通知》中规定的法人和其他组织统一社会信用代码。
(6) 信息资源摘要
对政务信息资源内容(或关键字段) 的概要描述。
(7) 信息资源格式
对政务信息资源存在方式的描述。
(8) 信息项信息
对结构化信息资源的细化描述, 包括信息项名称、 数据类型。
(9) 共享属性
对政务信息资源共享类型和条件的描述, 包括共享类型、 共享条件、 共享方式。 共享类型, 包括: 无条件共享、 有条件共享、 不予共享三类。
共享条件, 无条件共享类和有条件共享类的政务信息资源, 应标明使用要求,包括作为行政依据、 工作参考, 用于数据校核、 业务协同等; 有条件共享类的政务信息资源, 还应注明共享条件和共享范围;
对于不予共享类的政务信息资源, 应注明相关的法律、 行政法规或党中央、国务院政策依据。 共享方式, 获取信息资源的方式。 原则上应通过共享平台方式获取; 确因条件所限可采用其他方式, 如邮件、 拷盘、 介质交换(纸质报表、 子文档等) 等方式。
(10) 开放属性
对政务信息资源向社会开放, 以及开放条件的描述, 包括是否向社会开放、开放条件。
(11) 更新周期
信息资源更新的频度。 分为实时、 每日、 每周、 每月 每季度、 每年等。
(12) 发布日期
政务信息资源提供方发布共享、 开放政务信息资源的日期。
(13) 关联资源代码
提供的任一政务信息资源确需在目录中重复出现时的关联性标注, 在本元数据中标注重复出现的关联信息资源代码。
3.2.5.6.3 政务信息资源分类码
(1) 信息资源“类”, 即信息资源的一级分类, 用 1 位阿拉伯数字表示。 采6.1.1 政务信息资源目录的资源属性分类” 规定的分类方法, “1” 代表基础信息资源类, “2” 代表主题信息资源类, “3” 代表部门信息资源类。
(2) 信息资源“项”, 即信息资源的二级分类, 共 2 位, 原则上用阿拉伯数字表示。 如, 基础信息资源类中的人口、 法人信息资源等分类; 主题信息资源类中的公共服务、 全民健康、 全民社保等分类; 部门信息资源类中的党中央、 全国人大常委会、 国务院、 全国政协、 最高人民法院、 最高人民检察院, 以及省级地方(含计划单列市) 等分类。
(3) 信息资源“目”, 即信息资源的三级分类, 共 3 位, 原则上用阿拉伯数字表示。
(4) 信息资源“细目”, 不定长度, 原则上用阿拉伯数字表示, 供信息资源提供方进行具体的信息资源分类。“细目” 可根据需要设置多级分类。
3.2.5.6.4 资源标识符结构管理
政务信息资源顺序码, 采用不定长度, 原则上以 1 为起始、 连续的阿拉伯数字表示。
政务信息资源分类码与政务信息资源顺序码的组合, 形成完整的政务信息资源代码。
政务信息资源代码结构见下图:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps45.jpg
3.2.5.6.5 政务信息资源目录编制责任分工
基础信息资源目录由各基础信息资源库的牵头建设部门负责编制和维护; 题信息资源目录由主题信息化共建工程、 公共服务主题事项等的牵头部门负责编制和维护; 部门信息资源目录由各政务部门负责编制和维护(以下以“责任部门”代表各类信息资源目录编制维护的负责单位)。
国家政务信息资源目录由国家发展改革委组织汇总编制; 国家政务信息资源目录的日常维护由国家数据共享交换平台建设运行管理单位(以下简称“共享平台管理单位”) 具体负责。
3.2.5.6.6 政务信息资源目录编制流程
政务信息资源目录编制流程包括: 前期准备、 目录编制与报送、 目录汇总与管理、 目录更新四个过程。
前期准备
组织准备
各责任部门应明确政务信息资源目录编制工作的领导机构和工作机制, 负责政务信息资源目录的组织规划、 编目审查、 目录报送等工作。 各责任部门应明确政务信息资源目录的组织实施机构, 负责具体目录规划制定、 信息资源调查、 息资源目录编制和维护更新等工作。
目录规划
各政务部门按照中共中央办公厅、 国务院办公厅《关于推行地方各级政府工作部门权力清单制度的指导意见》 等文件要求, 结合本部门“三定方案” 确定的政务职权、 工作依据、 行使主体、 运行流程、 对应责任等, 在梳理本部门权责清单的基础上, 梳理部门政务信息资源, 并按照本指南要求, 重点从政务信息资源“类”、“项”、“目”、“细目” 分类的角度, 制定本部门政务信息资源目录规划。
基础信息资源和主题信息资源的目录规划制定工作, 由牵头部门负责, 在所有参与单位范围内开展。
资源调查
依据政务信息资源目录规划, 各责任部门组织开展资源调查工作, 梳理部门、所属机构(单位) 或共同参与单位的政务信息资源, 结合已建信息系统中的信息资源, 细化完善目录规划, 全面掌握政务信息资源情况。
3.2.5.6.7 目录编制与报送
政务信息资源目录的编制
各责任部门根据在目录规划、 资源调查阶段形成的政务信息资源目录规划和资源情况, 按照政务信息资源目录元数据要求, 编制生成基础类、 主题类和部门类的政务信息资源目录。
政务信息资源目录的报送
各责任部门应按要求, 在对基础类、 主题类和部门类的政务信息资源目录进行复核、 审查后, 及时报送本级政务信息资源共享主管部门。 报送的信息资源目录为目录编制工具导出的统一格式文件, 或者 et、 xls、 xlsx 等电子表格文件。 各责任部门应同时完成政务信息资源目录在目录管理系统中的在线填报, 做好相关数据对接, 保障国家数据共享交换平台按照信息资源目录顺利调取相关的信息资源。
3.2.5.6.8 目录汇总与管理
政务信息资源目录的审核汇总
国家发展改革委负责国家政务信息资源目录的审核和汇总工作, 在审核各责任部门提交的政务信息资源目录后, 汇集整合形成基础类、 主题类和部门类的国家政务信息资源目录。 各级政务信息资源共享主管部门负责本级政务信息资源目录的审核和汇总工作。
在审核汇总过程中, 如发现政务信息资源目录不符合要求, 则退回责任部门整改; 如发现有重复采集的数据内容, 由本级政务信息资源共享主管部门负责协商明确该数据内容的第一采集部门, 并将相关信息更新至本级政务信息资源目录。
政务信息资源目录的管理维护
共享平台管理单位负责建设完善国家数据共享交换平台目录管理系统, 为各责任部门接入共享平台提供技术支持, 承担国家政务信息资源目录的注册登记、发布查询、 维护更新等日常管理工作。
3.2.5.6.9目录更新
各责任部门应对本单位发布的政务信息资源目录进行及时更新维护。
3.2.6 接口服务系统
    接口服务系统的作用是将汇聚在城市大数据中心的数据与数据的需求方(主要是业务系统) 隔离出来, 避免数据资源直接与外部系统打交道, 从而起到保护数据的作用。 接口与服务系统通过统一接口层接入内部的数据资源, 这些数据资源可以是数据库、 文件、 接口或其它形态的数据资源, 这些数据资源由资源服务系统的统一管理, 并通过多种方式与外部系统联接, 以接口的方式向外部系统提供数据格, 外部系统有效地隔离在内部系统之外。
一个大型的应用系统中存在多种接口程序, 用来协调、利用各系统中的功能。服务就是利用关联查询、 批量比对、 全文检索、 统计分析、 数据挖掘分析等多种技术实现的, 为各种信息应用功能开发所普遍需要的服务接口。 系统中的各种服务接口都要进行详细信息的登记, 哪些单位使用、 调用格式、 状态、 责任信息、功能描述、 开发方信息、 版本信息。
3.2.7 信息资源管理系统
信息资源管理系统是大数据资源存储区域, 里面存放着组织结构完整的、 义明确的、 可被直接使用的标准化、 权威化数据。 这个区域存放的数据具有完整性、 正确性、 唯一性、 完备性以及数据结构的灵活性特点。 这个区域集中存放着所有可被共享使用的存量数据集, 以及未来新加入的增量数据集及各种非结构化数据。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps46.jpg
信息资源池的建设内容主要是建设四大数据库, 包含部门政务资源库、 基本信息共享库、 主题信息资源库、 政务公开资源库。 包括数据集、 文本、 图片、 频、 视频等多种类型的电子化信息资源, 系统支持针对信息资源池数据的查看、下载等功能
3.2.7.1 部门政务资源库
是指由部门提供的业务应用数据, 包含通过数据共享交换平台采集到的各委办局可对外共享的原始数据, 原始数据的数据格式可以是结构化、 非结构化和半结构化数据。 库中数据表根据不同的部门所提供信息源的不同而不同。 :工商局共享信息库中的数据表主要包括: 企业法人单位基础信息数据表、 企业法人单位扩展信息数据表、 个体工商户信息数据表、 部门公文信息数据表等。 企业法人单位基础信息数据表中主要包括: 企业名称、 法定代表人姓名与身份证号、 营业执照注册号、 企业组织机构代码、 登记时间、 年检时间、 注销时间、 企业登记地址、 企业状态等信息项。
3.2.7.2 基本信息共享库
基本信息共享库是用于数据整合后的四大库信息包括: 人口库数据、 法人库数据、 经济库数据、 空间地理库数据;
3.7.2.3 主题信息资源库
根据各种专题综合应用而建立的围绕具体应用及服务事项的实现而规划建设的信息库。 通过专题应用信息库可进一步提高各协同部门间信息资源准确共享的实际效益, 方便各种特定综合类业务应用的实现, 并能有利于提高多部门间共享信息的准确性、 完整性及时效性。
l 政府决策信息, 如国家和地方的政策、 法规条例、 决策咨询、 战略发展研究报告(包括各职能机构和院所历年的研究成果) 和阶段性的总体规划等;
l 为社会服务的信息, 如国际国内重大政治新闻、 经济运行分析、 热点透视、社情民意动态、 税收征管、 统计报表、 市场供求信息、 社会与经济预测信息、金融财经信息、 科技与人才信息, 等等;
l 各政府组成部门的工作职能、 各种公文、 会议情况、 总结报告、 记录数据、办公文档、 机关行政管理信息、 经验介绍、 驻外办事处工作流信息等政府间交流信息;
l 整个城市的各类资源要素储备和分布状况, 行政组织及人力资源调配预案,对自然灾害和意外事故的处理重大突发事件(维护城市稳定方面的信息: 发事件、 重大案件、 大规模群众集访和应用早期掌握的信息解决弱势群体困难, 做好群众工作) 的应急预案数据库。
3.2.7.3 政务公开资源库
是指基于目录信息库, 可用于公众服务平台数据开放的数据的资源。
3.2.8 运维管理服务系统
运维管理服务系统是功能平台的功能支撑, 提供系统的公共功能组件, 为门户的应用开发提供功能支持, 它融合了用户管理、 权限管理、 运行监控、 数据字典、 日志管理, 系统配置等核心功能, IT 部门的服务供给、 业务快速上线、 业务稳定运行提供持续保障能力。
智慧城市大数据平台用户分布在各个应用单位, 甚至会出现跨区域的不同应用单位。 另外, 智慧城市大数据平台资源的使用者不仅仅是自然人, 也包括各类业务应用。 不同的应用单位, 不同的用户, 对资源有不同的访问权限, 因此, 要将各类机构、 应用及用户进行统一的管理, 才能将资源的提供者、 管理者、 使用者三类角色进行责任和义务的划分, 规范资源的提供、 管理与使用。
3.2.8.1 机构管理
机构管理提供整个平台的机构维护管理功能, 包括机构的查询、添加、编辑、删除, 详细信息查看和机构锁定/解锁等操作, 锁定的机构将变为不可用状态,重新解锁后方能生效。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps47.jpg
允许设置组织管理员, 各级管理员管理自己的组织、 用户和资源, 上级管理员能管理下级的组织、 用户和资源。 组织新增、 修改: 对组织的属性进行管理。
组织属性的字段按照国家标准(GB/T20091-2006)。
设置管理员: 即设置单位管理员, 允许设置非本组织下的用户为本组织的管理员, 解决某用户不在某组织下, 但是却要管理该组织的问题。 超级管理员设置某组织管理员选择范围为所有用户; 单位管理员设置下级单位管理员选择范围为该单位管理员管辖的用户。
权限设置: 即对组织权限的管理, 对组织分配权限, 子组织可以根据实际需求选择是否继承上级组织的权限, 超级管理员能分配所有组织的权限, 管理员只能将自己拥有的, 并且允许再次分配的权限分配给管辖的组织。
查看用户: 即查看组织下的所有用户, 包括所属的用户和附属的用户。
组织排序: 在同级组织中进行排序。
3.2.8.2 权限管理
具备完善的授权管理机制, 能满足复杂的权限控制需求, 可以对用户、组织、角色等授权, 可以通过权限继承与过滤和分级授权等机制方便地实现实际的授权需求。 授权管理能够基于组织、 角色、 用户的访问控制策略, 对组织、 用户和角色进行灵活授权, 使同组织、 同角色用户具有相同的权限。 授权管理能够采用逐级授权方式, 分为超级系统管理员和管理员进行分级管理。 超级系统管理员能管理(包括添加、 删除、 配置、 修改等) 管理员, 同时具有管理员的管理能力。 理员能对系统中各个业务功能域进行分域管理, 同时根据业务需求进行业务角色定制, 并给角色分配相应的资源及权限, 并对用户的权限进行管理(包括添加、撤销、 配置、 修改等)。 授权具体权限体系为: 参照现实中的权限体系, 分为部门权限、 岗位权限、 特殊权限三种。 权限管理: 权限的定义是指对权限名称、 限分类的定义, 对权限的功能进行对应关系。 权限授权: 对角色、 组织、 用户进行授权。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps48.jpg
3.2.8.3 用户管理
用户管理提供统一的用户管理服务, 包括用户的查询、 添加、 编辑、 删除和详细信息查看及用户状态修改。 用户状态分为正常、 注销、 锁定和未审核四种状态, 由统一的管理员进行用户的授权和管理。
提供有效的开户方式, 通过指定管理员新增、 修改、 删除用户解决用户身份真实性问题, 建立无虚假信息的用户资料库。 本系统可设置三级管理员, 一级为超级管理员, 可设置省级部门、 市管理员; 二级为市级部门、 县区管理员, 这些管理员可以管理本单位的用户, 同时可以根据单位情况, 在本单位下设立三级管理员; 三级管理员拥有的权限和用户管理范围由二级管理员分配, 但不能超过二级管理员拥有的权限和范围。 允许一个用户属于多个组织, 用户由所属组织和附属组织的管理员进行管理。
用户管理: 用户的新增修改: 对用户的基本信息、 组织信息、 角色权限、 细信息、 扩展属性进行管理。
用户的导入、 导出: 就是用户按照一定的文件格式从系统中导入或导出。
统一角色管理: 系统支持向资源同步用户的角色, 前提是用户的角色与资源角色有对应的关系。
权限设置: 对用户进行授权, 授权模型按照角色授权、 个人直接授权和组织授权的权限并集继承。
用户同步: 对用户进行自动或手动向资源进行同步, 超级管理员能同步所有用户和资源, 部门管理员只能同步其所管辖的用户到其所管辖的资源。
访问控制: 管理员决定用户访问资源的权限。
用户排序: 对用户在某一组织中进行排序。
3.2.8.4 密码管理
密码管理功能提供密码的维护和管理功能, 支持密码修改和密码重置, 通过向注册邮箱发送限时密码重置地址的方式, 确保系统的安全性。
3.2.8.5 访问控制
管理员管理角色、 组织、 用户能访问哪些资源。 其中对组织用户访问资源的控制, 支持分级控制, 超级管理员对组织进行访问控制时选择资源指所有资源,管理员只能选择所管辖范围内的资源。
3.2.8.6 核心元数据管理
核心元数据中包含 6 个必选的元数据实体和元数据元素, 分别是: 资源名称、资源摘要、 资源负责方、 资源分类、 资源标识符、 元数据标识符, 下图是核心元数据组成图:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps49.jpg
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps50.jpg
资源名称
定义: 所描述的资源的一种大概的或描述性的题目
英文名称: resourcetitle
数据类型: 字符串
值域: 自由文本
短名: resTitle
注解: 必选项; 最大出现次数为 1
资源出版日期
定义: 发布资源的日期
英文名称: dateofpublication
数据类型: 日期型
值域: GB/T7408-2005 执行, 格式为 CCYY-MM-DD
短名: pubDate
注解: 可选项; 最大出现次数为 1
资源摘要
定义: 资源内容的简单说明
英文名称: abstract
数据类型: 字符串
值域: 自由文本
短名: abstract
注解: 必选项; 最大出现次数为 1
信息资源提供单位
定义: 对资源的完整性、 正确性、 真实性等负有责任的应用单位的名称和地址信息
英文名称: PointOfContact
数据类型: 复合型
短名: IdPoC
注解: 必选项; 最大出现次数为 N
资源提供方地址
定义: 与负责单位联系的物理地址
英文名称: address
数据类型: 字符串
值域: 自由文本
关键字说明
定义: 关键字种类和参考资料
英文名称: DescripriveKeywords
数据类型: 复合型
短名: DescKeys
注解: 可选项; 最大出现次数为 N
1.关键字
定义: 用于描述资源主题的通用词、 形式化词或短语
英文名称: keyword
数据类型: 字符串
值域: 自由文本
短名: keyword
注解: 必选项; 最大出现次数为 N
2.词典名称
定义: 正式注册的词典名, 或类似的权威关键字资料名称
英文名称: thesaurusname
数据类型: 字符串
值域: 自由文本
短名: thesaName
注解: 可选项; 最大出现次数为 1
信息资源分类
定义: 资源的分类信息
英文名称: ResourceCategory
数据类型: 复合型
短名: TpCat
注解: 必选项; 最大出现次数为 N
1.分类方式
定义: 分类标准名称
英文名称: categroystandard
数据类型: 字符串
值域: 见表 G.3 资源分类代码表
短名: cateStd
注解: 必选项; 最大出现次数为 1
2.类目名称
定义: 用于描述资源主题的通用词、 形式化词或短语
英文名称: ResourceCategory
数据类型: 复合型
短名: TpCat
注解: 必选项; 最大出现次数为 N
3.类目编码
定义: 类目名称对应的编码
英文名称: categorycode
数据类型: 字符串
值域: 自由文本, GB21063.4Y2007 附录中各分类类目表的“代码”列
短名: cateCode
注解: 必选项; 最大出现次数为 1
在线资源链接地址
定义: 可以获取资源的网络地址
英文名称: online
数据类型: 字符串
值域: 自由文本, RFC2396 规定
短名: onLineSrc
注解: 可选项; 最大出现次数为 N
信息资源标识符
定义: 信息资源的唯一不变的标识编码
英文名称: resourceID
数据类型: 字符串
值域: 见《智慧城市公共信息平台-信息标识编码要求》
短名: resID
注解: 必选项; 最大出现次数为
服务信息
定义: 资源所提供的服务的基本信息
英文名称: ServiceInformation
数据类型: 复合型
短名: ServInfo
注解: 可选项; 最大出现次数为 1
1.服务地址
定义: 可以访问服务的网络地址
英文名称: serviceURL
数据类型: 字符串
值域: 自由文本
短名: servURL
注解: 必选项; 最大出现次数为 1
2.服务类型
定义: 服务所属的类型
英文名称: serviceType
数据类型: 字符串
值域: 见表 G.4 服务类型代码表
短名: servType
注解: 必选项; 最大出现次数为 1
元数据标识符
定义: 元数据的唯一标识
英文名称: MetadataIdentifier
数据类型: 字符串
值域: 自由文本
短名: mdId
注解: 必选项; 最大出现次数为 1; 必须是第一个著录项目、 标识符须唯一、由字母(含下划线(_) 短划线(-) 点(.) 斜线(/) 逗号(, ) 和空格()) 或数字组成, 一般由系统自动随机产生元数据语种
定义: 元数据使用的语言
英文名称: Metadatalanguage
数据类型: 字符串
值域: GB/T4880.2-2000 执行
名称(拼音)排序的 3 字母语种代码”中“GB/ T4880. 2/ B 目录代码”代码组
短名: mdLang
注解: 可选项; 最大出现次数为 1
元数据维护方
定义: 对元数据负责的人或单位的名称和地址信息
英文名称: MetadataContact
数据类型: 复合型
短名: MdContact
注解: 可选项; 最大出现次数为 N
1.元数据维护单位
定义: 负责单位名称
英文名称: organisationname
数据类型: 字符串
值域: 自由文本
短名: rpOrgName
注解: 必选项; 最大出现次数为 1
元数据维护方地址
定义: 与元数据联系人或联系单位联系的物理地址
英文名称: address
数据类型: 字符串
值域: 自由文本
短名: cntAdd
元数据更新日期
定义: 更新元数据的日期
英文名称: Metadatadatestamp
数据类型: 日期型
值域: GB/T7408-2005 执行, 格式为 CCYY-MM-DD
短名: mdDateSt
核心元数据属性集的编码规则如下:
第一层代码只有一位阿拉伯数字。 其取值为“1”, 表示核心元数据。
第二层是核心元数据元素和元数据实体, 采用三位阿拉伯数字。 该编码结构分为二层: 第一层采用一位阿拉伯数字, 核心元数据取值为 1; 第二层代码采用三位阿拉伯数字, 利用递增顺序码的方法进行编码。 例如, “资源名称”的编码为“1.001”, “资源出版日期”的编码为“1.002”。
第三层是元数据实体所包含的元数据元素, 采用五位阿拉伯数字。 该编码结构分为三层: 第一层采用一位阿拉伯数字, 核心元数据取值为 1; 第二层代码采用三位阿拉伯数字, 利用递增顺序码的方法进行编码, 为该元数据元素所属元数据实体的编码; 第三层代码采用两位阿拉伯数字, 利用递增顺序码的方法进行编码。 例如, “资源负责单位”的编码为“1.004.01”。 如下图所示:
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps51.jpg
3.3 平台应用
3.3.1 数据共享
    通过大数据平台, 公安、 交管、 城管、 政务、 教育、 医疗、 旅游等各单位之间可以有效的共享数据和交互数据, 在有访问权限的情况下, 可以方便的查询到相关数据。
    file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps52.jpg
3.3.2 数据开放
数据开放就是政府向社会公布自己所拥有的, 并经过脱敏的数据。 包括天气数据、 GPS 数据、 金融数据、 教育数据、 交通数据、 能源数据、 医疗数据、 政府投资数据、 农业数据等。 这些原始数据本身并没有明显的商业价值, 但经过一些公司加工之后, 可以产生巨大的商业价值。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps53.jpg
3.3.1 数据开放系统架构
政务数据活化数据目录, 在政务数据共享与开放应用中, 是以 API 作为数据和服务的载体, 无需数据库开放、 无需数据字典, 从业务系统应用层面生成数据访问接口, 以接口为着眼点“活化” 生成数据共享目录, 实现对全市各单位政务信息数据快速、 动态、 自动、 活化地采集。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps54.jpg
政府开放数据的主要范围:
政府收集和制造的科学数据。 例如天气数据, 政府资助的医疗研究数据。 些数据都可以作为公共资源进行使用。
政府运行的数据, 例如政府支出或大型项目运行数据。 开放数据一方面可以增加民众对政府的信任, 另一个方面可以给一些公司带来商业机遇。
监管行业的数据。 这些数据由企业提供给政府, 并且经过政府二次加工。 些宏观数据对于产业规划, 企业的投资战略都有很大影响。
3.3.1.1 数据开放平台应用架构
城市中存在着大量数据, 其运行的各个方面如公共设施、 交通、 教育、 医疗、环境保护、 经济运行等构成了信息的来源。 这些数据处于割裂和沉睡的状态并分散在各类型的部门和机构单位。 智慧城市作为城市发展的高级阶段, 需要活化碎片化数据并充分挖掘潜在价值, 建设能实现数据共享、 交换和开放以及系统协同的平台。 正因为数据共享和活化的重要性, XX 认为智慧城市应当搭建数据开放平台, 将政府开放数据和其他涉及公共信息的数据进行统一的开发和运营。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps55.jpg
公共信息服务门户, 主要提供数据目录、 开放浏览检索和下载服务, 进一步开放统一格式的数据接口 API, 基于数据的智能应用和个性化的用户交流和定制功能等。 在数据层面, 则提供数据申请、 数据发布、 数据交换和数据分析服务,这些数据服务通过底层统一的数据中心和通信服务实现。
数据共享和活化的基础是研究数据开放的原则和边界, 包括开放的内容、 式和对象。 根据开放的不同对象, 内容和方式也可能不同, 而其核心是在个人隐私、 数据安全、 社会效率之间找到合适的均衡点。 政府数据开放需要完善的数据开放安全体系和标准规范体系来保障数据开放的安全性和规范性.
3.3.2 数据服务
数据服务包含三种接口, 即数据资源基础服务接口、 资源服务接口(发现接口、 资源接口)、 数据资源管理服务接口。 其中, 基础接口是将资源服务接口和管理接口中基础性的操作定义成一个公共接口。 3 类接口实现了数据资源的发现功能、 检索功能和管理功能。
基础接口: 提供会话管理功能和服务自描述功能, 包含有目录服务初始化接口、 目录服务终止接口和服务自描述接口。
发现接口: 提供数据资源元数据检索功能和数据资源元数据检索结果提取功能, 包含有目录检索接口以及目录检索结果提取接口。 这些接口本身并不提供资源, 而是提供资源基本信息和如何去获得这些资源的元数据。
资源接口: 根据发现接口获得数据资源元数据, 定位、 查找资源具体内容的接口, 包含资源内容检索接口及资源内容结果提取接口。
管理接口: 提供元数据管理的功能, 包含数据资源元数据管理接口。
3.3.3 数据可视化
基础库可视化包括了人口、 法人、 经济、 空间地理信息还包括了数据共享交换数据的可视化展示;
3.3.3.1人口可视化
人口信息通过采集公安、 民政、 人社、 公积金、 卫计等部门的数据, 形成以公安人口基本信息为核心的人口信息库, 再者我们可以看到全市总人口信息、 市男女比例以及不同年龄段人群的分布。以及全市医疗、参保、住房人口等信息;
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps56.jpg
3.3.3.2 法人可视化
法人信息是源于各法人审批单位, 如工商、 国税、 地税、 质监等部门, 根据社会统一代码形成统一、 标准、 唯一的法人库。 从中我们看出当地产业分布情况以及不同规模、 性质的企业信息;
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps57.jpg
3.3.3.3 经济可视化
经济信息是以统计局及发改委提供的宏观数据为主体, 将分散的指标数据汇总形成城市级的总指标数据, 包括当地的各产业的生产总值、 社会保障资金、 政收入支出、 人均可支配收入信息等
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps58.jpg
3.3.3.4 数据共享交换可视化
展示数据交换共享的可视化展示包括交换数量、 目录数量、 接口数量、 局委办开放数量、 使用数量等等。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps59.jpg
4.章 政策标准保障体系
政策标准保障体系建设是大数据平台建设与运营最重要、 最基础的工作之一,旨在有目的、 有目标、 有计划、 有步骤地规范化智大数据平台的建设与运营。 照国内外以及行业、 地方的相关标准, 根据实际需要补充制订与大数据平台有关的建设要求, 形成一套完整、统一的建设要求体系, 在大数据平台建设与运营中,充分发挥指导、 规范、 协调和优化作用, 确保项目的顺利实施和系统运行安全,发挥预期效能。
4.1 政策标准保障体系
在国际、 行业信息化标准体系的框架内, 结合我国电子政务和现代城市管理信息化、 标准化的相关成果, 突出智慧城市信息业务特点和需求, 建设健全大数据平台建设规范化体系。
政策标准保障体系的建设, 按照 GB/T13016-1991《标准体系表编制原则和要求》 中的有关规定, 注重与现行信息技术有关的国家标准、 行业标准和国际标准的相互衔接, 又充分考虑大数据平台不断发展对标准提出的更新、 扩展和延伸的要求, 应遵循以下原则:
科学性, 是大数据平台应用系统和技术系统安全、 可靠、 稳定运行的根本保障。
完整性, 将大数据平台建设所需的各项建设要求分门别类地纳入相应的体系表中, 并使这些要求协调一致, 相互配套, 构成一个完整的框架。
系统性, 体现各个建设要求之间内部联系和区别, 使建设要求体系做到层次合理、 分明, 标准之间体现出相互依赖、 衔接的配套关系, 并避免相互间的交叉。
先进性, 建设要求体系所包括的标准应充分体现等同采用或修改采用国际标准的精神, 达到大数据平台的标准与国际、 行业标准的一致性或兼容性。
预见性, 在编制体系时, 既要考虑到目前的信息技术水平, 也要对未来信息技术的发展有所预见, 使建设要求体系能适应大数据平台各项应用技术的迅猛发展。
可扩充性, 考虑智大数据平台建设的发展对建设要求提出的更新、 扩展和延伸的要求, 建设要求体系并非一成不变, 而是随着电子政务、现代城市管理业务、信息技术的发展和相关国际标准、 国家标准、 行业标准的不断完善而进行充实和更新。
4.2 建设规范框架
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps60.jpg
建设规范说明:
应用单位接入要求提出了应用单位接入智慧城市大数据平台所需的环境要求、 技术要求、 管理要求等, 只有遵循且满足应用单位接入要求的应用单位允许接入公共新平台;
信息资源分类要求、 元数据要求、 信息标识编码要求提出了建立城市公共数据库及智慧城市大数据平台的信息资源指标项建设要求, 通过此三类要求的制定与执行, 将为实现城市公共数据库有序管理与使用奠定基础;
数据交换与整合要求明确了如何以信息资源分类要求、 元数据要求、 信息标识编码要求为基准, 在智慧城市大数据平台中进行信息交换以及信息资源整合加工等操作所需的技术要求与管理要求;
目录管理与服务要求明确指出如何以信息资源分类要求、 元数据要求、 信息标识编码要求为基准, 对信息资源进行精确编目, 实现对目录信息的有效管理,同时, 目录管理与服务要求说明了不同地域的目录系统如何通过标准的服务规范实现系统间的互联互通;
接口与服务要求明确了如何通过接口或服务实现对公共基础数据、 公共业务数据及公共服务数据的访问, 以及如何基于接口和服务进行平台应用系统的开发,其服务对象主要为软件厂商和开发人员。
4.3 平台建设规范组成
Ø 信息资源分类规范
包括智慧城市大数据平台信息资源的分类原则和方法, 为智慧城市大数据平台提供分类方案, 为智慧城市大数据平台的建立和维护提供规范性依据,主要包括: 分类基本原则、 信息资源分类体系、 分类依据、 编码方法和代码结构、 分类示例等。
适用于智慧城市大数据平台数据服务、 公共数据库的建立和管理工作。
使用对象为智慧城市大数据平台的建立者、 管理者,其他相关方也可参考使用。
详见《附件一: 智慧城市公共信息平台-信息资源分类要求》。
Ø 信息标识编码规范
包括信息资源标识码的组成约定、 管理与分配规范, 主要包括: 标识符的结构、 前段码、 后段码、 标识符的管理与分配等。
适用于智慧城市大数据平台信息资源标示体系的建立。
使用对象为智慧城市大数据平台的建立者、 管理方和使用方,其他相关方也可参考使用。
详见《附件二: 智慧城市公共信息平台-信息标识编码要求》。
Ø 元数据规范
包括基本元数据规范定义和描述信息资源所需的基本元数据的数据项集合、各数据项语义定义和著录规则等,主要包括: 信息资源的标识、 内容、 管理、 维护的描述信息等。
适用于智慧城市大数据平台信息资源体系的建立。
使用对象为智慧城市大数据平台的建立者、 管理方和使用方,其他相关方也可参考使用。
详见《附件三: 智慧城市公共信息平台-元数据要求》
Ø 目录管理与服务要求
包括智慧城市大数据平台目录管理与服务系统的技术架构、 编目工作的流程及管理规范等, 主要包括: 目录管理与服务系统的技术架构、 目录编制的工作内容、 目录编制的工作流程、 目录编制的主要功能要求等。
适用于智慧城市大数据平台中目录管理与服务系统的建立和编目工作指导。
使用对象为智慧城市大数据平台的建立者、 管理方和使用方,其他相关方也可参考使用。
详见《附件四: 智慧城市公共信息平台-目录管理与服务要求》。
Ø 数据交换与整合规范
包括智慧城市大数据平台数据交换与整合的技术规范及技术要求。 主要包括:
交换技术总体架构、 数据交换方式、 数据交换流程、 数据清洗与比对、 数据整合加工等各组成部分的技术规范。
适用于智慧城市大数据平台数据交换服务的建立和管理工作。
使用对象为智慧城市大数据平台的建立者、 管理者及使用者,其他相关方也可参考使用。
详见《附件五: 智慧城市公共信息平台-数据交换与整合要求》。
Ø 应用单位接入规范
包括应用单位接入所涉及的技术要求及技术管理要求。 内容包括: 前置环境配置要求、 前置环境设置规范、 安全技术规范、 前置环境技术管理规范等。
适用于智慧城市大数据平台数据交换服务的建立和管理工作。
使用对象为智慧城市大数据平台的管理者及使用者,其他相关方也可参考使用。
详见《附件六: 智慧城市公共信息平台-应用单位接入要求》。
Ø 平台接口与服务规范
包括使用智慧城市大数据平台进行应用开发所涉及的服务与接口调用的技术要求及技术管理要求。 内容包括: 总体规范、 业务接口设计、 服务提供方式、开发使用范例等等。
适用于基于智慧城市大数据平台进行智慧应用开发的所需的设计和开发工作。
使用对象为智慧城市大数据平台的智慧应用的开发者,其他相关方也可参考使用。
详见《附件七: 智慧城市公共信息平台-接口与服务要求》。
4.4 规范建设内容
4.4.1 管理制度建设
管理制度本身是由人来制定和执行的, 定应尽量做到科学全面, 符合实际情况, 使人们在接受制度管理时, 能够乐于接受。 信息资源共享交换体系的建设涉及资源提供方、 资源管理方、 资源使用方、 平台管理运维单位、 平台建设单位等其他相关部门及人员, 管理对象包括信息资源、 平台软件系统。 信息资源共享交换体系自订管理制度是信息资源能够长效共享交换的关键因素, 包括信息资源管理维护制度、 技术平台管理维护制度两类。
4.4.1.1项目建设管理制度
项目建设制度是在平台建设期间为建设方、 承建方的工作提供指导性意见的制度信息资源共享项目可以分为资源建设、平台建设和应用(服务)建设三大类,与原来以部门为中心的建设不同, 大都是跨部门的建设需要项目的计划、 投资、立项、 招投标、 建设、 验收、 运行维护、 外包(特许经营)、 项目成果、 试点示范等全项目生命周期进行管理。
本制度依循《国家电子政务工程建设项目管理暂行办法》相关章节进行制定。
4.4.1.2资源管理维护制度
资源管理维护制度涵盖信息资源目录的采集、 编目、 注册、 审核、 发布、 销、访问的整个生命周期以及资源提供方、资源需求方、资源管理方等相关涉众,包含四个方面的内容:
4.4.1.3 信息资源公开制度
本制度, 鼓励政务部门公开内部可共享信息资源, 规范约束资源提供方及时准确提供最新共享信息资源, 明确资源提供方的信息公开职责, 公开信息资源的备案制度, 奖惩考核办法等。 信息资源公开制度还需要针对信息资源公开方式、公开周期、 公开程序作详细规定。
4.4.1.4信息资源动态管理制度
信息资源目录体系管理架构包括三类角色、 六类活动, 三类角色资源目录的提供方、 管理方和需求方, 六项活动包括编目、 注册、 审核、 发布、 管理和使用。
信息资源动态管理制度的目的就是规定三类角色的职能, 以及六类活动的操作流程。
提供方的管理职责主要包括在智慧城市大数据平台中对本部门的信息资源进行编目, 设置本部门信息资源的使用权限, 注册信息资源目录, 更新信息资源目录版本已经提供与目录关联的资源的定位信息(服务地址)。
管理方的管理职责主要包括管理信息资源标识符前段码、 后段码, 审核提供者的目录注册请求, 发布目录内容, 管理目录内容以及提供目录查询服务。
需求方的管理职责主要是在授权允许的范围内对目录内容进行查找、 获取和使用。
六类活动由不同角色负责完成, 其中编目由提供方完成, 注册由提供方和管理方配合完成, 审核、 发布、 管理由管理方完成, 使用由需求方完成。 具体操作规程与要求, 按照信息资源目录体系第 2 部分: 技术要求(GB/T21063.2-2007)第 4章的规定执行。
本制度参考信息资源目录体系第 6部分: 技术管理要求(GB/T21063.6-2007),根据实际情况进行建设。
4.4.1.5 信息资源安全管理制度
本制度保证信息资源在采集、 存储、 备份、 访问授权、 传输、 使用等过程中的安全, 规范信息资源保密等级和使用限制。
安全管理制度规定信息资源使用权限、 使用配额的申请流程, 规范信息资源的使用限制和安全保密制度。
智慧城市大数据平台的目录日常管理釆取多人负责、 职责分离的原则, 并制定严格的操作规程。
4.4.1.6 信息资源共享查询制度
本制度明确信息资源使用方共享查询信息资源的管理流程, 获取信息资源后的备案制度等。
4.4.1.7 平台管理维护制度
平台管理维护制度对平台的日常管理维护工作进行规范。 包括共享交换中心和前置交换机的内部管理、 对外服务管理以及安全运行管理三个部分的内容。
平台管理办法
为使智慧城市大数据平台有效的运行, 必须明确资源提供方、 信息资源使用方、 平台管理运维单位、 平台建设单位等其他相关部门及人员在平台运行维护、日常管理中的责权利关系, 岗位职责等。
平台管理办法适用于干台中心的日常管理、 前置交换机的对接与管理以及智慧城市大数据平台的日常维护, 分为平台管理要求、 平台运行维护要求两大部分的内容。
平台对外服务管理办法
本办法说明技术平台为各部门应用系统提供的支撑服务, 技术平台支持的不同接入方式, 每种接入方式的特点及适用范围, 各政府部门将应用系统接入到技术平台过程中, 应该填写的表单、 所遵循的工作流程等。
平台安全运营管理制度
本制度从技术平台部署环境、 设备安全, 运行安全, 信息安全, 人员安全,运营管理, 安全审计等各方面做出规定, 全面保护技术平台安全运营。
4.4.1.8考核监督制度
考核监督制度对智慧城市大数据平台参与部门、 平台管理人员进行绩效考核。
部门考核制度
对作为智慧城市大数据平台资源提供方、 资源需求方进行考核。 考核的内容包括资源提供量、 提供服务次数、 数据质量等内容, 并设置奖励办法。
管理员考核制度
对平台管理人员的机房管理、 平台管理等日常工作进行考核, 并设置奖励办法。
4.4.2 标准规范建设
标准规范为信息资源一致性和智慧城市大数据平台各参与方的互联互通互操作提供了基本的保证, 应围绕信息釆集、 组织、 分类、 保存、 发布与使用等信息生命周期各环节建立规范和标准。
智慧城市大数据平台建设中需制订的标准规范大致如下:
4.4.2.1平台建设标准
平台建设标准规定了智慧城市大数据平台的总体架构、 硬件和网络要求、 术要求、 服务接口、 前置机接入标准等内容, 由以下几个部分组成:
4.4.2.1.1平台总体框架
规定支撑智慧城市大数据平台的信息系统、 信息库组成, 及其之间的相互关系。 信息系统主要包括: 综合管理系统、 前置管理系统、 交换传输系统、 桥接系统; 信息库主要包括: 前置交换库、 业务信息库等。 参照 GB/T21062.1-2007 的规定进行建设。
本部分内容在自建标准:《信息资源交换体系总体框架》 中进行详细规定。
4.4.2.1.2 接入规范
接入规范包含三个方面的内容。
1.交换中心环境要求: 规定承载共享交换中心各信息库、 信息系统及其交互的基础环境的要求, 主要包括硬件、 网络、 操作系统、 数据库软件、 中间件的要求。
2.前置机环境要求: 对各平台参与部门前置交换环境所需的网络、 服务器、数据库等提出配置要求, 规范前置交换机器的 IP 地址、 交换节点服务器的命名规则、 各项配置要求, 方便各部门技术人员快速搭建本单位前置交换环境。
网络环境要求:规定对各政务部门接入智慧城市大数据平台所依托的网络的要求。
本部分内容在自建标准: 《信息资源交换体系接入标准》 中进行详细规定。
4.4.2.1.3 应用接口规范
规定智慧城市大数据平台的数据交换、 数据共享和应用支撑的应用接口标准,主要包括技术要求和接口报文规范两部分。 技术要求规范了各信息系统的技术支撑环境的功能组成及要求、 各信息系统实现互联互通的技术要求; 接口报文规范规范了交换数据格式、 数据类型、 表达方式等内容, 并包含通信模型的规定。 GB/T21062.2―2007 以及国内大型数据交换项目的成功经验进行建设.
智慧城市大数据平台应用接口使用接口报文来表示, 主要由报文头、 报文体两部分组成.其中, 报文头包含一些基本的信息, 比如报文唯一识别号、 参考报文号、 资源编号、 资源版本、 源节点代码、 目源赋予一个唯一不变的标识符。 本部分规定了信息资源标识符的编码方案。 标识分为前端码、 后段码两个部分, 参考GB/T21063.5 一 2007 进行建设。
4.4.2.2 安全保障规范
安全保障标准为智慧城市大数据平台安全方案建设提供技术指导, 标准涉及物理安全、 操作系统安全、 网络安全、 应用安全、 公钥基础设施等方面, 由以下几个部分组成。
4.4.2.3 物理安全技术要求
本部分涉及智慧城市大数据平台的配套部件、 设备和设施的安全性能、 所处的环境安全以及整个平台的安全
4.4.2.4 操作系统安全技术要求
本部分包含为实现所需安全等级的操作系统应当釆取的安全措施, 关于信息安全等级, 参照 GB/T17859—1999 的规定。 本标准参考 GB/T20272—2006 进行建设。
4.4.2.4.1 网络安全技术要求
本部分包含对网络设备的技术要求, 如交换机、 路由器、 防火墙。
本标准参考 GB/T21050-2007.GB/T18018-2007、 GB/T21050—2007 等规范进行建设。
4.4.2.4.2公钥基础设施技术要求
在智慧城市大数据平台中, 公钥基础设施提供鉴别、 加密、 完整性和不可否认服务。本标准对公钥基础设施的在线证书状态协议、数字证书格式、证书管理、密钥备份与恢复、 交叉认证、 认证机构的组件的建设提供指导。
参考 GB/T197137-2005、GB/T20518-2006.GB/T21053—2007 等规范进行建设。
4.4.2.5 数据标准建设
智慧城市大数据平台涉及到多个应用系统的整合, 数据结构复杂, 将在调研各个挂接服务和各个客户端的基础上, 建立平台本身的模型, 在建立模型的过程中, 应遵循以下的数据标准建立规范:
4.4.2.5.1 数据元描述方法及规则
(1) 数据元描述方法
信息资源的数据元由一系列属性来描述, 这些属性包括:
1.中文名称: 数据元的中文名称。
2.定义: 描述数据元的基本内容, 给出信息资源某个特的概念和说明。
3.英文名称: 数据元的英文名称, 一般使用英文全称
4.数据类型: 描述数据元的数据类型, 对数据元的有效治愈及运行的有效操作进行了规定。 例如整型、 浮点型、 布尔型、 字符串、 期、 时间等, 其中日期、时间使用特定格式的字符串来表示, 参照 GB/T7408—2005 执行。
5.值域: 说明数据元可以取值的范围
6.短名: 数据元的英文缩写。 短名同时作为在报文规范里的 XML 元素的名称。
7.约束:说明数据元是否必须选取的属性, 包括必需/可选。
8.最大出现次数: 说明数据元的最大出现次数。 不限制出现次数则使用“N”表示。
9.注解: 对约束、 最大出现次数进行说明
10.示例: 数据元示例
(2) 短名命名规则
短名是数据元的一个关键属性, 因此在对每一个数据元命名时应采用相同的规则, 来保证短名的一致性和合理性。
命名规则参考 GB/T19488.1-2004 的规定进行, 需要遵守唯一性规则、 语义规则、 语法规则, 具体如下:
1.短名应由构成指标项名称的各个成分(即对象类词、 特性词、 表示词和相关限定词)的英文单词转化而来。
2.短名可以使用英文单词的全拼、 缩写词、 缩略词或其他的截断表示法。 这些表示法尽量与常人的认知一致, 最好不要引起歧义。
3.短名应采用 Camel-Case 拼写法, 首字母使用小写。
4.字段名不应包括任何空格、 破折号、 下划线或分隔符等。
5.字段名不应使用复数形式的英文单词, 除非该单词本身就是复数形式。
4.4.2.5.2 目录核心元数据
目录核心元数据是描述信息资源特征所必须的数据元, 主要包含资源名称、资源分类、 资源编码、 资源提供方、 资源的时间空间范围、 资源使用限制、 资源秘密等级等元数据项。 详细内容参照 GB/T21063.3—2007 的基础上在自建标准:
《信息资源目录体系核心元数据》 中进行规定。
4.4.3 标准规范索引
本节包含智慧城市大数据平台执行、 参考的国家、 地方性标准, 以及自建标准。
5.章 安全保障体系
针对平台可能存在的安全漏洞和安全需求, 通过安全防护体系和安全管理体系的建设, 实现保障智慧城市大数据平台的整体安全的目标。
5.1 安全体系架构
智慧城市大数据平台安全保障体系包括安全防护体系和安全管理体系两大部分。 其中安全防护体系包括: 系统安全、 应用安全和数据安全; 安全管理体系包括安全策略管理规范、 安全组织模型、 安全规章制度。
file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml3464\wps61.jpg
5.2 安全防护体系机制
5.2.1 系统安全
系统安全包括系统运行安全、 系统信息安全设计、 信任服务体系、 权限管理设计, 从各个层次来保证系统的安全性。
5.2.2 运行安全
设备接入控制
各接入系统的权限(资源提供、 资源需求部门) 通过身份认证和用户分配的方法(和 IP 绑定) 进行接入控制。
服务器负载均衡
负载均衡是建立在智慧城市大数据平台网络结构之上, 用以扩展服务器带宽和增加吞吐量, 加强网络数据处理能力, 提高网络的灵活性和可用性。 主要完成以下任务: 解决网络拥塞问题, 服务就近提供, 实现地理位置无关性; 为平台提供更好的访问质量; 提高服务器响应速度; 提高服务器及其他资源的利用效率;
避免了网络关键部位出现单点故障。 平台设计中数据库服务器和应用服务器都釆用负载均衡和容错设计。
系统备份与恢复
对平台中重要的业务数据、 操作日志、 关键数据、 数据库以及操作系统进行备份, 备份系统选配相应的数据备份与恢复软件, 以及数据备份服务器、 磁带库等设备, 通过定义备份策略, 如全备份、 增量备份、 差异备份等, 定时将系统中的数据备份到备份介质, 以防止系统出现故障后(如数据误删除、 病毒感染、自然灾害等) 能够及时地恢复数据, 保证系统运行。 数据备份的容量一般以在线数据的 2~4 倍计算, 因此配置的磁带库容量应大于 15TB.磁盘都采用 RAID1 热备份和 RAID5 备份, 避免数据丟失.在存储设备配置上考虑了平台数据存储和平台应用服务器存储互备的冗余设计. 具体来说, 可以在平台数据库存储和平台应用服务器存储都安装远程镜像软件实现 I/0 级别的数据镜像, 系统的任何写操作都会同时写入两个存储设备( 平台数据库存储和平台应用服务器存储), 分别实现平台的中心数据库存储和应用服务器存储之间的容灾备份, 当任何一个存储设备发生故障都不会影响业务的正常运行.
信任服务体系
通过与 CA 中心接口, 所有由智慧城市大数据平台所签发的设备和平台管理用设备都经过 CA 认证后接入系统, 所有平台内部管理人员都发 KEY 进行接入认证。
权限管理设计
因智慧城市大数据平台参与角色众多, 必须要有完整的权限管理体系对用户进行管理。 用户管理集中管理访问系统的用户和权限, 管理用户信息包括用户的详细信息、所属的部门和相应权限。内部管理用户权限比较复杂, 在权限管理上,系统要支持数据特权、 机构权限、 客户端权限、 流程权限、 模块使用特权等全面的权限定义, 并且可以根据 IP 地址和时间段控制系统的访问。 各种权限可以组合为角色, 角色可以嵌套。 通过权限管理工具, 用户可以方便的进行用户权限配置。
应用安全
通过配置入侵检测、 CA 身份认证等安全设备和安全措施为平台的应用安全提供全方位的保护。
入侵防御
入侵防御系统是安全系统重要组成部分, 可以对流经的数据包进行数据分析,过滤掉含有攻击指令和操作的数据包, 保护智慧城市大数据平台网络及应用系统的安全。 提供对内部攻击、 外部攻击和误操作的实时保护。 入侵防御主要系统功能包括: 引擎集中管理、 实时入侵侦测、 防火墙互动开放接口、 报表统计和数据库维护、 策略库的在线升级支持等功能。
CA 身份认证
采用简单的“用户名+口令” 的方式认证用户, 这种模式的身份认证和访问控制体系安全存在极大的安全隐患, 必须要通过建立一套完整的从安全谁到权限分配管理的认证系统。 CA 认证就能够很好的解决了各种系统的认证问题, CA 提供了一种机制, 即利用 CA 的证书来验证用户证书合法性来判断用户的身份, 但由于个人用户数字证书可以公开, 因此, 仅仅利用 CA 来认证用户, 可能存在漏洞。 所以需要建立和 CA 配套的系统, 如资源授权管理系统、 用户认证授权等系统, 以实现身份安全认证和资源的安全访问控制。 平台通过与 政府 CA 中心接口, 所有由 智慧城市大数据平台所签发的设备和平台管理用设备都经过 CA 认证后接入系统, 所有平台内部管理人员都发 KEY 进行接入认证。
5.2.3 数据安全
数据安全加密传输( VPN )
考虑到数据传输的安全性, 各接入部门到智慧城市大数据平台的数据进行VPN 加密传输。接入部门和平台两端防火墙插卡设备之间运行 IPSecVPN 协议, 保证数据在传输过程中的端到端安全性。
数据交换过程的安全保障
平台数据交换过程的安全保障主要指信息在交换过程中不能被非法篡改、 能被非法访问、 数据交换后不能抵赖等功能。 平台业务系统在传递消息的过程中可以指定是否采用消息内容的校验, 校验方法是由发送消息的业务系统提供消息的原始长度和根据某种约定的验证码生成规则(比如从 MD5 校验规则) 生成的验证码。
数据交换接口安全设计
平台提供的消息传输接口支持不同的安全标准。 对于对安全性要求比较高的业务系统来说, 在调用平台的 WebService 接口时使用 HTTPS 协议, 保证了传输层面的安全; 而对于安全性不那么重要, 只想通过很少的改动使用平台功能的业务系统来说, 可以单的通过 HTTP 方式调用平台的 WebService 接口进行消息的传输。
数据审计与防护
智慧城市大数据平台业务应用系统通过配置数据库审计产品来对数据进行审计与防护, 一方面能及时发现数据库非法访问行为并产生告警, 实现对数据库系统安全状况的全面审计;另一方面能够对数据库的非法或越权操作进行追溯和定位, 为事后找出非法或越权用户, 提供快捷方法和证据。 数据库审计包括分别部署在平台网络的数据库审计和安全防护软件, 主要考虑在保障数据库安全的同时不影响数据库的运行效率, 所以釆用和数据库服务器并联方式(即旁路方式)进行部署。
5.3 安全管理体系机制
在智慧城市大数据平台安全保障体系建设中, 仅仅靠技术手段难以防范所有的安全隐患, 还需要建立相应的安全管理体系。 安全管理是整个安全建设的核心环节。 一个有效的安全组织会在安全策略的指导下, 在安全技术和安全产品的保障下, 保证日常的安全保障工作简明高效。 安全管理体系主要包括: 安全策略、安全组织和安全制度。 为了加强对客户网络的安全管理, 确保重点设施的安全,应该加强安全管理体系的建设。
5.3.1 安全策略
安全策略是管理体系的灵魂, 要做到全面、 灵活、 实用, 必须在对信息系统进行细致的调查、 评估之后, 结合 智慧城市大数据平台的业务流程, 制定出符智慧城市大数据平台实际情况的安全策略体系。 安全策略体系包括安全方针、主策略和子策略和 智慧城市大数据平台日常管理所需要的制度。 安全方针是整个体系的主导, 是安全策略体系基本结构的最高层, 它指明了安全策略所要达到的最高安全目标及其管理和适用范围在安全方针的指导下, 主策略定义了 智慧城市大数据平台安全组织体系及其岗位职责, 明确了子策略的管理和实施要求,它是子策略的上层策略, 子策略内容的制定和执行不能与主策略相违背。 子策略是安全策略体系基本结构的最低层, 也是用于指导组成安全保障体系的各项安全措施正确实施的指导方针。 另外, 为了管理员工安全行为, 根据策略体系制定了必要的安全管理制度。
5.3.2 安全组织
由于智慧城市大数据平台信息化程度非常高, 信息安全对于整个 智慧城市大数据平台系统的安全建设非常重要。 因此, 建立具有管理权的适当的信息安全管理委员会来批准信息安全方针、 分配安全职责并协调组织内部信息安全的实施。
建立和组织外部安全专家的联系, 以跟踪行业趋势, 监督安全标准和评估方法,并在处理安全事故时提供适当的联络渠道。 另外应鼓励多学科的信息安全方法的发展, 如: 管理层、 用户、 行政人员、 应用软件设计者、 审核人员和保安人员以及行业专家(如法律和风险管理领域) 之间的协作。 作为一个网络安全组织, 渗透到 智慧城市大数据平台的各个网络相关部门。 很多人员都会直接或者间接地参与网络安全工作。 这些人可能包括:
高层管理人员: 以高层管理的身份, 负责整个 智慧城市大数据平台的网络安全的成功。
网络安全委员会: 由相关领导组成的委员会, 对于网络安全方面的重大问题做出决策, 并支持和推动网络安全工作在 智慧城市大数据平台范围内的实施。
网络安全管理者: 以一个专门的网络安全中心门的领导者的身份, 负责整个智慧城市大数据平台的组织和系统的安全; 负责网络安全的整体协调工作; 负责网络安全的曰常管理。
网络专家组: 聘请业内专家作为 智慧城市大数据平台的支持资源。
技术提供者: 系统管理人员、 网络管理人员等支持组织和功能人员: 审计人员、 物理安全人员、 灾难恢复和意外处理人员、 质量保证人员、 培训人员等。 户: 信息的用户、 系统的用户等。
5.3.3 安全制度
智慧城市大数据平台是一个要求安全性要求非常高的单位, 所以安全的制度的建立要求也很严格。 由管理层负责制定切实可行的日常安全保密制度、 审计制度、 机房管理、 操作规程管理、 系统维护管理等, 明确定义日常安全审计的例行制度、 实施日程安排与计划、 报告的形式及内容、 达到的目标等。 技术层指安全保密、 安全审计、 操作规程、 系统维护等流程的建立, 明确定义安全审计所涉及的过程及技术要求, 包括: 用户确认制度和签字验收制度、扫描的实施技术要求、安全修补方案制定原则、 安全修补的实施原则及技术要求等。 确定安全审计服务范围, 包括: 确定需要进行审计的网段、 在需要审计的网段内, 确定需要进行安全审计的网络设备、 主机系统、 应用系统列出需要审计的服务清单等。
智慧城市大数据平台建成后, 需要针对各系统制定完善的运作体系, 保证系统的安全运行。

楼主热帖

黑锐吧资源网 - 论坛版权1、本站内容为会员分享发布到黑锐吧资源网,本主题所有言论和图片纯属会员个人意见,与本论坛立场无关。
2、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责。
3、视频教程自学网展示的内容只做学习和交流使用,版权归原作者所有,请在下载后24小时之内自觉删除。
4、本站发布的内容若侵犯到您的权益,请联系自学网站长删除,本站将及时予与删除并致以最深的歉意!
5、黑锐吧资源网管理员和版主有权不事先通知发贴者而删除本文。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网站编辑

1万

主题

1万

帖子

1万

积分

网站编辑

Rank: 8Rank: 8

积分
17186
最新资源
  • 机器深度学习及其应用_视频教程免费下载
  • 李江南Web全栈 完整版本_视频教程免费下载
  • 数据分析 SQL语言入门到进阶 完整资料_视频教程免费下载
  • 尚硅谷 大数据全套课程 126G_视频教程免费下载
  • 小程序开发从入门到精通视频课_视频教程免费下载