BookRecord5:智慧城市大数据与人工智能
📌

BookRecord5:智慧城市大数据与人工智能

Tags
⭐⭐⭐
Created
Dec 9, 2021 03:20 PM
Last Edited
Last updated January 7, 2022
Property

智慧城市

人工智能技术集成创新体系研究的重点是云计算、区块链、物联网、大数据、人工智能等新一代信息技术的集成创新,对经济发展、社会进步、高质量发展等方面具有重大而深远的意义。发展人工智能技术集成创新和深度融合应用是赢得科技竞争主动权的重要战略思维,是推动科技跨越发展、产业优化升级、生产力整体跃升的重要战略资源。 人工智能具有多学科综合、高度复杂的特征。通过人工智能技术集成创新体系研究,统筹谋划,协同创新,稳步推进,以增强原创能力作为重点,以关键核心技术为主攻方向,夯实新一代人工智能发展的基础。 人工智能技术集成创新体系研究是以新一代信息技术的集成创新和深度融合应用为基础。紧紧围绕经济社会发展需求,充分发挥新型智慧城市所产生的海量数据和巨大市场应用规模的优势,以需求导向、市场拓展的科技发展路径,积极创新人工智能技术集成创新的产品和服务,实现人工智能技术集成创新的产业化,形成科技创新和产业应用互相促进的可持续发展。 人工智能技术集成创新体系研究的重点,以“新经济”推动高质量发展为导向。国家授予浙江省、河北省(雄安新区)、福建省、广东省、重庆市、四川省六个试点省市“国家数字经济创新发展试验区”,与“新经济”高质量发展遥相呼应,是发展以数字经济为代表的“新经济”的重要部署,彰显了以“新经济”助推高质量发展的方向。“新经济”则是以互联网、知识经济、新一代信息技术为代表,以满足社会民生需求为核心的新产业、新技术、新产品和新商业模式。从根本上讲“新经济”的出现主要得益于云计算、区块链、物联网、大数据、人工智能等新一代信息技术革命性的推进,是人类经济发展史中前所未有的科技型、创新型经济。“新经济”可分成四种具体形态,即:数字经济、智能经济、共享经济和体验经济。把握新一代人工智能发展的特点,通过人工智能与经济和产业的高度融合发展,为高质量发展提供新动 能。围绕建设现代化数字经济体系,以供给侧结构性改革为主线,通过人工智能技术集成创新体系研究,发挥人工智能在新一代信息技术集成创新中的重要作用。构建数据驱动、人机协同、跨界融合、共创分享的智能经济形态,充分发挥人工智能在产业升级、产品开发、服务创新等方面的技术优势。通过人工智能与经济和产业的深度融合应用,以人工智能技术集成创新推动各产业变革,在中高端消费、创新引领、绿色低碳、数字经济、共享经济、现代供应链、人力资本服务等领域培育新增长点、形成新动能。推动智能化信息基础设施建设,提升传统基础设施智能化水平,形成适应“新经济”、智能社会需要的基础设施体系。 人工智能技术集成创新体系研究的重点,以人工智能同保障和改善民生的深度融合应用为出发点。从保障和改善民生、创造美好生活的需要出发,推动人工智能在民生日常工作、学习、生活中的深度运用,创造更加智能的工作方式和生活方式。以民生领域的突出矛盾和难点,以及涉及人工智能在教育、医疗卫生、体育、住房、交通、助残养老、家政服务等领域的深度应用,创新智能服务体系。通过人工智能与社会治理的深度融合应用集成创新研究,开发适用于政府服务和决策的人工智能系统,实现政务信息资源整合和公共需求精准预测,推进智慧城市建设,运用人工智能提高公共服务和社会治理水平。 人工智能技术集成创新体系研究,就是将新一代信息技术与人工智能技术进行深度融合和集成创新。通过智慧城市、大数据、人工智能“三位一体”的深度融合应用,实现新型智慧城市在政务、民生、治理、经济的全领域、全社会、全行业可持续发展的“新经济”高质量发展的战略思维。 智慧城市的基本理念是:在一个城市中将政府信息化、城市信息化、社会信息化、产业信息化“四化”融为一体,通过网络化、物联化、智能化技术应用,整合整个城市所涉及的综合作理与公共服务信息资源,包括地理环境、基础设施、自然资源、社会资源、经济资源、教育咨源、旅游资源和人文资源等,以数字化的形式进行采集和获取,并通过智慧城市大平台和大数据进行统一的存储、优化、管理、展现、应用。实现城市综合管理和公共服务信息的互联互通、数据共享交换、业务功能协同。为科学化建设新型城镇、促进智慧城市和信息消费,建设美丽城市、智慧城市、可持续发展城市提供强而有力的手段和支撑。 我国智慧城市的建设始于政府信息化。智慧政府的核心是电子政务内外网和公共协同服务平台的建设,其目的就是通过电子政务促进政府管理的改革和创新。政府管理创新从本质来讲就是以国家之力来推动我国政府信息化建设,以提高我国政府的管理能力和服务能力,提升国家在国际社会中的竞争力。从这个意义上讲,推动电子政务促进政府管理创新,促进政府信息化建设意义重大。 智慧城市实施智慧政府信息化应以网上行政审批、网上电子监察、网上绩效考核为突破口,以建设电子政务外网为基础,以在一个城市范围内建立政府公共服务体系为目标,重点实现政府各业务单位和部门之间的信息互联互通与数据共享,以此来大力推进政府信息化的建设和发展。 实现智慧政府信息化的重大意义是: ① 推动政府信息化,可以促进我国的改革开放和加快我国经济更好地与世界经济融为一体。通过构建政府信息化,推动电子政务,改变政府管理机制,提高政府管理的透明度、公开性,提高政府管理的效率等,可以使政府管理存在的问题得到更多解决,这对提升政府管理水平和服务能力,对政府管理适应我国改革开放带来的一系列的挑战意义重大。 ② 通过推动政府信息化构建电子政府,可以提高政府决策的科学性、及时性、有效性,从而减少大量的重复建设,减少大量的财政资金浪费,这对于政府管理意义重大。 ③ 通过推动政府信息化构建电子政府,可以真正提高公共服务的质量,提高政府的服务水平,增强政府的服务能力,促进管理型政府向服务型政府的转化。推动政府信息化,给企业、公众在网上提供一站式的服务、在线服务,不仅可以大大地减少政府的办事时间,而且能够提高它的公开性、透明度,这对于改善政府的公共服务、改善政府和公众的关系、提升政府的形象意义重大。 ④ 通过推动政府信息化、打造电子政府,可以实现资源共享,降低政府的行政管理成本。电子政务的核心就是:信息互联互通,数据和资源共享,网络融合,管理与服务协同。通过对信息的有效管理、高效处理,提高信息资源的共享程度,可以给国家降低大量的管理费用和节省人力。 ⑤ 通过推动政府信息化,构建电子政府,能够提高公务人员的整体素质。增强政府信息化,电子政务的支持,开阔视野,改变观念,提高信息化技能,这对提高我国政府公务员的整体素质具有深远意义。
 
由“技术孤岛”、“资源孤岛”形成的“信息孤岛”。
基于信息栅格、云计算、物联网、大数据等新一代技术创新应用
必须改变以往智慧城市先建信息孤岛再消除信息孤岛“少慢差费”重复建设的传统模式。我们在粤桂新型智慧城市建设(见本书第6章“城市智慧大脑”案例)中提出了先建“三中心一平台”(网络中心、数据中心、运营中心、系统集成平台)信息基础设施,通过统一的信息基础设施,将各个已建、在建、未建的业务系统(平台)统一部署和综合集成在“三中心一平台”上。通过“三中心一平台”为新型智慧城市提供云计算 3S服务(laaS、PaaS、SaaS),采用边缘计算和物联网技术提供本地化实时监控和运营操作的建设创新模式。该创新模式可以效消除信息孤岛,打通数据壁垒和避免重复建设,大大节省建设费用,大大缩短建设周期,一种实现大数据和人工智能深度融合应用的“多快好省”可持续的建设创新模式。
综合管理和公共信息的互联互通、数据共享、业务协同。
notion image
 
以数据集中和共享为途径,建设全国一体化的国家大数据中心,推进技术融合、业务融合、数据融合,实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。
“信息栅格”被称为第三代互联网技术是当今全球网络化、信息化研究和应用的方向。
第一代互联网实现了计算机硬件的联通
第二代实现了网页的互联
第三代试图实现网上所哟资源全面互联互通
智慧城市云存储技术应用包括以及大数据平台、二级平台城市基础设施监控与管理主题数据库、城市地下管网监控与管理主题数据库、城市社会民生服务主主题数据库、城市基础设施可视化应用主题数据库。
智慧城市新技术应用
  • 信息栅格技术应用
  • 云计算技术应用
  • 大数据技术应用
  • 无线网通信技术应用
  • 自动化技术应用
  • 人工智能技术应用
  • 地理空间信息(GIS)技术应用
  • 建筑模型(BIM)技术应用
智慧城市采用面向资源集成的技术架构(SOA)
区块链技术与信息栅格集成:应用“信息栅格”在互联网和物联网各种链路互联互通的机制,实现区块链哥哥分布式节点之间(P2P)的互联互通,为区块链的系统集成应用和协同工作提供通路与带宽的保证。
 
大数据资源中心
“大数据资源中心”具有以下功能: ① 海量数据存储和处理的整机柜云处理一体机平台。数据存储一体机为海量数据处理提供智慧城市海量数据管理功能,它能满足智慧城市多业务级平台大数据资源存储和海量数据处理能力,提供存储、检索和挖掘功能,响应快速、高可靠、易扩展,可以满足移动通信数据处理、城市级视频监控等领域内的广泛应用。 ② 支持混合数据库架构模式;关系数据库与分布式处理平台分别处理不同类型;支持多类型业务数据的查询,统计,分析:支持深度数据挖掘和商业智能分析业务;移除/增加&件节点后,仍能均匀地向各处理节点分发任务数据:并发多个查询任务,均能正常下发执行且正常返回结果,并发多个查询任务耗时差别均匀:能够根据各台硬件处理节点负载状态均衡分配查询任务,多次查询条件、数据范围相同情况,100%返回相同正确结果;软硬区平台能够保障长时间连续 7×24 小时无故障运行;所有周期任务均能够正常执行,且执行性果无误;平台系统无单点故障,任意节点宕机,系统仍可继续正常进行数据处理和应用查询。且不影响结果准确性;系统支持灵活的扩展后端节点规模数量;处理性能、安全可靠性随着点规模增加呈线性上升;支持 Web 访问:支持 WebServices 接口;提供 Web 界面对分布式系统进行监控;支持查看、下载索引文件和元数据文件。 ③ 大数据云存储一体机单机内含多台管理节点,包括 2U 标准机架式,双路 IntelE5 6 核处理器,128GB 缓存,2×1Gb 数据接口,2×10Gb 数据接口,2×500G SATA7200RPM 企业盘,1+1冗余电源,1×机架角轨套件,内嵌控制器管理软件,负责数据的管理、维护、计算资源分配、负载均衡、在线扩展等。 ④ 大数据云存储一体机单机内含多台处理节点:2U 标准机架式,双路高性能 64位处理器,128GB缓存(DDR4),2×10Gb 数据接口,1+1 冗余电源,内置 48TB(12×4TB)共12个 3.5"SAS/SATA 存储容量,2×机架角轨套件,内嵌存储节点管理软件,负责存储节点数据管理、高速存储处理,高可用,高可靠。 ⑤ 采用分布式云存储架构,支持存储系统在线 PB 级 Scale-out 扩展,其性能随存储节点数量增加线性扩展,支持任意 1 个磁盘或节点失效而不影响系统的使用以及数据的完整性。 ⑥ 支持 Windows,Linux 等操作系统中挂接为一个海量磁盘,用户使用和操作本地文件系统相同: 一能够在主元数据服务器故障情况下自动切换至备用元数据服务器; 一元数据日志本地持久化,可根据元数据日志恢复元数据; 一支持元数据日志异机备份,可根据备份日志恢复元数据; 块数据默认为1:1 备份,系统可任意损坏一个存储节点,数据完整可靠,服务不间断,数据不丢失; 一系统整体吞吐量随系统规模增加呈线性增长; 一能够在不停止服务的情况下进行扩容或收缩规模,在线增加或减少存储节点; 一支持 FTP 服务访问; 一支持 NFS 访问方式; 一可支持 CIFS 访问方式; 一存储节点可兼作服务节点,对外提供数据访问服务; -负载自动均衡,根据空间利用情况进行负载均衡; 一并发访问时流量自动分担至不同的存储节点; 一自动监控设备的运行状态。
 
数据孤岛是指相互之间在数据链上不关联、数据不共享、不交互及不支撑的信息与业务流程和应用弧线脱节的数据库系统。
  • 历史遗留问题
  • 效益优先问题
  • 缺乏整体规划
  • 系统之间差异性
  • 数据结构之间的差异性
 

大数据资源管理存在的问题

  • 集中式数据库易受攻击
  • 部门壁垒影响信息互联与数据共享
  • 人工采集数据工作量大
  • 适应需求变化能力低
  • 安全问题制约数据共享
 

基于“信息栅格”发数据资源管理方法

  1. 大数据与大平台栅格化改造
  1. 建立映射机制
  1. 建立元数据管理机制
  1. 提供按需服务接口
 
C/S和B/S结构相结合的模式。
  • OLTP 面向联机业务处理
  • OLAP 联机分析处理
 

数据挖掘

数据预处理

数据清洗

  1. 缺失值
    1. 删除法
    2. 替换法
    3. 插补法
  1. 异常值

数据集成

数据变换

  1. 简单函数变换
  1. 规范化
  1. 连续属性离散化
    1. 等宽法
    2. 等频法
    3. 维聚类

数据归约

  1. 属性规约
    1. 合并属性
    2. 逐步向前后选择
    3. 逐步先后选择
    4. 决策树规约
    5. 主成分分析
  1. 数值规约

数据分析

  1. 聚类分析
notion image

可视化

notion image
 
notion image
 
notion image
 
notion image