摘要
- 建立了各类数据中心,完成了油气田互联网、物联网等建设,为数据数字化和数据共享提供了保障。
- 产生了数据“孤岛”和“碎片化”的问题。
- 数据治理是近年来提出了解决数据“孤岛”问题的一个数据治理工程,是将在 IT思维条件下建立的数据,要用 DT 思维来重新构建,将数据“盘活”,实现更便捷的数据访问。
研究内容
研究方法
结论
正文
- 地球物理勘探就是利用电、磁、重力和波等的物理性质,采集地下储层数据。
- 它遵循“采、存、管、用”的规律。
- 当企业把所有的数据都装入计算机系统后,又有一个新的 2:8 定律产生了,这就是业务人员每天要用大量的时间在各种数据库中获取数据,在获取到数据后又要对各种标准、格式的数据进行解释、解析、关联、清洗、整理,需要占用人们大约 80%的时间和精力,最终还是只剩下 20%的时间来研究业务问题。
- 自上个世纪末,我们快速地进入数字化的时代,新理念、新思想、新技术层出不穷,包括物联网+、移动互联网、云计算、大数据技术、人工智能等等,我们从数字化时代,智能化时代,又跨入了大数据时代,现在又跨入了“大物运移智”以及场景时代。
- 数据“碎片化”,就是没有将数据作为一个整体来建设,换句话说就是没有做到“顶层设计”。
- 这些数据分散,专业性强,结构复杂,我们要利用大数据技术完成油气田这样的数据的分析挖掘,利用经典的算法已经无法解决了,只有研究油气田大数据的思想方法才行。
- 许多公司选择了把“数据湖”作为收集存储所有数据的手段。而且业务人员需要清楚湖里有什么数据,并且能够高效快捷地访问到恰当的数据并进行业务分析,否则,即使“数据湖”再大,无法利用起来依然没有意义。但是既想让用户方便快速地找到想要的数据,同时又想做好数据库权限管理,这并不容易。
- 其数据内容主要有:①井筒数据:包括钻井、录井、试油、岩石分析等数据;②测线数据:地震采集参数及测量数据;③探区数据:探区基础地质构造特征的数据;④油田储量数据:储量和储量参数数据;⑤测井曲线数据;⑥地震勘探剖面数据;⑦井采油数据;⑨井注水数据等。
- 数据建设是一个十分艰巨的任务与课题,而数据应用更是一个重大课题。
- 数据治理的目的主要是发现数据在建设中存在多期次、多商家、多数据库和数据标准不统一的现象,很多油田公司开始组织技术人员对数据进行专项整理。
- 数据治理的核心是让数据快速增值,就是数据资产创造价值。数据治理的难度在于数据格式太多,以我们现在的技术和条件难以“统一化”,而且需要确保数据的准确性、高质量和数据安全,以及能够实时便利分享。
- 科学问题,就要用科学的方法来研究。数据治理的科学方法,就是从研究数据入手,按照数据的三大规律,即“数据从哪来,到哪去”规律;数据“采、传、存、管、用”规律和数据“转化”规律来进行研究。
- 数据治理的核心技术是实施元数据管理,同时也是需要首先解决的关键 IT 技术。元数据能够为更好地实施数据质量管控、数据集成应用等方面做好技术规范工作,并为实现数据治理的最终目标建立稳固的基础。
- 在构建数据库的工作中,大约 70%的工作量都花费在 ETL 阶段。数据源中有很多不规范的数据,这些数据我们称之为“脏数据”,而“脏数据”在进入数据库前必须得到清洗。
- ElasticSearch
创新点
- 设计了一套具有“零编程、流程化、节点操作、场景式、可视化”特点的用于数据治理工作的软件系统。