Ieas
- 微服务、多源空间数据融合引擎和分布式高性能计算关键技术,构建了一套超大规模多源空间数据管理及计算框架。
- 高效率、高并发、高可用需求,解决数据异构、共享融合多、服务响应慢等问题。
数据管理技术
- 分布式文件管理
- NoSQL数据库
- 关系型数据库
HDFS
- 基于HDFS的数据存储分析快,但查询慢.
- 在HDFS数据节点的存储格式上引入Parguet文件格式.
数据存储服务
- MySQL、MongoDB、Elasticsearch等,为了提高查询性能,都会在数据写入时建立相应的索引。而存放在HDFS、AWS S3上的大数据是直接以文件形式存储的.
- 分布式哈希表(Distributed Hash Table,DHT)是分布式存储与传输的关键技术.
存储方式
- 冷数据
- 温数据
- 热数据