数据库
MySQL NotePostgreSQLHBaseRedisMongoDBMongoDB TestCassandraElasticSearchNeo4j数据湖IcebergYCSBYCSB EorrorJMeter分布式存储非分布式存储单机文件系统的挑战分布式存储选型参考：其他FTP服务
.svg%3Ftable%3Dblock%26id%3Da6cbd7d7-29c3-4edd-86ec-991c0ff9d13a%26cache%3Dv2&w=256&q=75)
关系型数据库
MySQL Note
PostgreSQL
列式数据库
HBase
键值数据库
Redis
Redis Note0:命令
Redis Note2:性能测试工工具redis-benchmark
Redis Note4:Redis为什么单线程的这么快
Redis Note6:Redis-Key—List
Redis Note8:Redis-Key—Hash
Redis Note10:三种特殊数据类型—Geospatial地理位置
Redis Note12:三种特殊数据类型—Bitmaps
Redis Note14:Redis实现乐观锁
Redis Note16:Python连接Redis
Redis Note18:Redis配置文件
Redis Note20:持久化之AOF操作
Redis Note22:Redis伪集群环境搭建
Redis Note24:主从模式搭建+哨兵
Redis Note26:Docker搭建Redis一主二从三哨兵
Redis Note28:Redis的Slot槽
Redis Note30:Java使用Redis
Redis Note3:De
Redis Note1:安装
Redis Note3: 基础知识（命令）
Redis Note5:Redis-Key—String
Redis Note7:Redis-Key—Set
Redis Note9:Redis-Key—ZSet
Redis Note11:三种特殊数据类型—Hyperloglog
Redis Note13:Redis事务
Redis Note15:Java连接Redis—Jedis
Redis Note17:SpringBoot整合Redis
Redis Note19:持久化之RDB操作
Redis Note21: Redis发布订阅
Redis Note23:主从模式搭建
Redis Note25:Redis缓存穿透和雪崩
Redis Note27:一致性Hash算法
Redis Note29:Redis Cluaster高可用集群
Redis Note31:Python使用Redis
Redis Note3:De (1)
文档型数据库
MongoDB
.png%3Ftable%3Dblock%26id%3D6b6b1114-ab5a-454d-a6a3-39a801f01c31%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D96af513f-636f-4c9f-91e7-4afb30380d4c%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D576842ff-e431-440f-8a02-6ddf876d19f0%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3Ddc598b0b-3580-4aae-b2fa-40a1f525d6a2%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D49a97aca-017b-448d-a5de-cf1bcbdc1e41%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D49652a97-1cf3-44a0-9819-a6618fcbee4d%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D9ff834be-dae7-47f0-bf3f-9967ff6b13e5%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D70526465-dd7c-42d0-8fc6-75c816f0e51d%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D1a180d50-89de-408d-a196-3a6818826ba6%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D65fea84c-ffed-432f-8a23-5a0b1feb8a48%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D2bd5228d-244e-423d-82f7-d9fbf702614e%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3Dcf8302fb-3655-4cd2-909c-70122b7c1cd9%26cache%3Dv2&w=3840&q=75)
MongoDB Test
.png%3Ftable%3Dblock%26id%3D1b10b9e4-db56-4346-bc9f-94ec4c4a0b2e%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D6134ebca-24e1-44b9-806e-0633ed5b9b81%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D2f0cde15-bfcc-42c8-8f81-568b9aa40c04%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D59f6f899-7fa8-45b7-baa7-5a49c7a2da79%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D468c32f8-4675-47ee-a463-f3b81e4f5c5a%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3Dbedd05a7-5fc0-4028-9851-407927a0eec8%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D81de5f83-8a08-4da6-aaf4-939f5d333de9%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D6636bf7e-c467-49ab-a96f-a522b54c56ec%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3Db417c15b-75aa-405f-aa8e-9bc63483ef2b%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D0d810665-00fc-4e83-8438-5c8119a990ad%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3D8e9a38e3-2aef-4e8d-ab73-cd9ff4515649%26cache%3Dv2&w=3840&q=75)
.png%3Ftable%3Dblock%26id%3Da289fd76-ee18-42eb-b1ad-7b2b500bee53%26cache%3Dv2&w=3840&q=75)
Cassandra
ElasticSearch
ElasticSearch1:简介
ElasticSearch3:开启远程访问
ElasticSearch5:Kibana可视化平台
ElasticSearch7:使用docker-compose一键启动ES&Kibana服务
ElasticSearch9:索引操作
ElasticSearch11:文档操作
ElasticSearch13:高亮查询
ElasticSearch15:分词器
ElasticSearch17:中文分词器IK
ElasticSearch19:过滤查询
ElasticSearch21:ES集群
ElasticSearch22:Docker搭建集群ES
ElasticSearch24:K8S搭建ES
ElasticSearch2:De(10)
图数据库
Neo4j
时序数据库
数据湖
数据湖
Iceberg
Iceberg1: 数据湖Iceberg技术在小米的落地与场景应用
其他
数据库测试
一、基准测试，无实际业务场景压测方法
- YCSB工具压测
二、有实际业务场景压测方法
- jmeter
YCSB
YCSB Eorror
YCSB Eorror (1)except subprocess.CalledProcessError, err:YCSB Eorror (2)./bin/ycsb.sh: 205: mvn: not foundYCSB Eorror (3)SLF4J: Failed to load class”org.slf4j.impl.StaticLoggerBinder".YCSB Eorror (4)com.datastax.driver.core.exceptions.InvalidQueryException: ANY ConsistencyLevel is only supported for writesYCSB Eorror (5)YCSB Eorror (6)JMeter
分布式存储
文件系统 | 开发者 | 开发语言 | 开发协议 |
GFS | Google | ㅤ | 不开源 |
HDFS | Apache | Java | Apache |
Ceph | 加州大学圣克鲁兹分校Sage Weil | C++ | LGPL |
TFS | Alibaba | C++ | GPL V2 |
GlusterFS | ZRESEARCH | C | GPL V3 |
GridFS | MongoDB | C++ | ㅤ |
非分布式存储
直连存储 （DAS）：存储和数据直连，拓展性、灵活性差。
中心化存储（NAS、SAN）：设备类型丰富，通过网络互连，具有一定的拓展性，但是受到控制器能力限制，拓展能力有限。同时，设备到了生命周期要进行更换，数据迁移需要耗费大量的时间和精力。
单机文件系统的挑战
绝大多数文件系统都是单机的，在单机操作系统内为一个或者多个存储设备提供访问和管理。随着互联网的高速发展，单机文件系统面临很多的挑战：
- 共享：无法同时为分布在多个机器中的应用提供访问，于是有了 NFS 协议，可以将单机文件系统通过网络的方式同时提供给多个机器访问。
- 容量：无法提供足够空间来存储数据，数据只好分散在多个隔离的单机文件系统里。
- 性能：无法满足某些应用需要非常高的读写性能要求，应用只好做逻辑拆分同时读写多个文件系统。
- 可靠性： 受限于单个机器的可靠性，机器故障可能导致数据丢失。
- 可用性：受限于单个操作系统的可用性，故障或者重启等运维操作会导致不可用。
分布式存储
选型参考：
- 适合做通用文件系统的有：Ceph，Lustre，MooseFS，GlusterFS；
- 适合做小文件存储的文件系统有：Ceph，MooseFS，MogileFS，FastDFS，TFS；
- 适合做大文件存储的文件系统有：HDFS，Ceph，Lustre，GlusterFS，GridFS；
- 轻量级文件系统有：MooseFS，FastDFS；
- 简单易用，用户数量活跃的文件系统有：MooseFS，MogileFS，FastDFS，GlusterFS；
- 支持FUSE挂载的文件系统有：HDFS，Ceph，Lustre，MooseFS，GlusterFS。
其他
FTP服务
FTP服务器（File Transfer Protocol Server）是在互联网上提供文件存储和访问服务的计算机，它们依照FTP协议提供服务。 FTP是File Transfer Protocol(文件传输协议)。顾名思义，就是专门用来传输文件的协议。简单地说，支持FTP协议的服务器就是FTP服务器。