📌

Res3:数据管理技术

 
🍀
Ieas
  • 微服务、多源空间数据融合引擎和分布式高性能计算关键技术,构建了一套超大规模多源空间数据管理及计算框架。
  • 高效率、高并发、高可用需求,解决数据异构、共享融合多、服务响应慢等问题。
 
🔔
数据管理技术
  • 分布式文件管理
  • NoSQL数据库
  • 关系型数据库
notion image
 
💡
HDFS
  • 基于HDFS的数据存储分析快,但查询慢.
  • 在HDFS数据节点的存储格式上引入Parguet文件格式.
 
➡️
数据存储服务
  • MySQL、MongoDB、Elasticsearch等,为了提高查询性能,都会在数据写入时建立相应的索引。而存放在HDFS、AWS S3上的大数据是直接以文件形式存储的.
 
  • 分布式哈希表(Distributed Hash Table,DHT)是分布式存储与传输的关键技术.

存储方式

  • 冷数据
  • 温数据
  • 热数据