实验环境
- Ubuntu20.04
- HBase
- MongoDB
- Cassandra
- PostgreSQL
- MySQL
测试工具
- YCSB
- 目前支持Cassandra，MongoDB，HBase，Redis
- sysbench
- 目前支持Oracle，MySQL，PostgreSQL
- Apache JMeter
- 主要用于测试Web应用程序，但也可以用于数据库压力测试。
- HammerDB
- 专门用于测试关系型数据库（如Oracle、SQL Server、MySQL）性能的工具
- Apache Benchmark (ab)
- ab是Apache HTTP服务器自带的工具，用于测试Web服务器的性能。它可以通过HTTP请求模拟数据库负载。
- Tsung：
- Tsung是一个开源的多协议分布式压力测试工具，可以用于模拟大量用户和复杂场景。
测试内容
- 上传测试
- 单节点访问：取 1M 点所需的平均时间的相对比较
- 并发访问：来自不同客户端的多个 1M 点并发请求的响应时间
- 测试10个，100个并发用户性能
测试参数
- CPU性能
- 磁盘IO
- 调度程序性能
- 内存分配及传输速度
- POSIX线程性能
- 数据性能（OLTP基准测试）
设计一个合适的数据模型来表示和组织来自不同场景和来源的各种异构数据，如传感器数据、地质数据、生产数据等。包括层次结构、实体关系模型或者图数据模型等。
多源数据的整合涉及到数据清洗、标准化、映射等工作。
基于设计好的数据模型和整合的数据，需要构建一个高效的数据库系统来存储和管理煤矿大数据。涉及到选择合适的数据库管理系统、数据存储优化、索引设计等。
考虑如何确保数据在存储、传输和使用过程中的安全性，避免数据泄露和滥用。
煤矿多场多源异构时空大数据中发现潜在的模式、规律和关联，以支持决策和优化煤矿生产和管理。
煤矿数据通常是时空数据，涉及到时间和空间维度的信息。研究人员需要考虑如何有效地处理和分析这些时空数据，以获取有价值的信息和见解。
目标是构建煤矿多场多源异构时空大数据模型与数据库，以实现煤矿数据的集成分析、智能化管理和价值挖掘。具体来说，课题涉煤矿大数据的特征、处理要求和挑战
大数据分析平台的技术架构，包括数据采集、存储、管理、服务等系统的设计和实现。
煤矿大数据处理的关键技术包括数据集成、分析、挖掘、可视化等方法和工具的研究和应用。
煤矿大数据模型的构建基于多场多源异构时空数据的煤矿智能化数据模型及复杂巨系统耦合技术体系的提出和验证。