Henggao’s HomePage
Henggao’s HomePage/
BigData
BigData
Search
BigData
BigData

BigData

大数据学习记录！
大数据学习记录！
HadoopHiveKylinSparkFlinkFlink errorsZookeeperKafkaKafka 调优Others
大数据知识体系
大数据知识体系
🔔
BigData Note1:大数据体系架构
🔔
BigData Note3:大数据框架图
🔔
BigData Note5:大数据组件
🔔
BigData Note7: 工作流任务调度DolphinScheduler
🔔
BigData Note:
🔔
BigData Note2:框架版本
🔔
BigData Note4:大数据组件Presto
🔔
BigData Note6:任务调度 Apache Airflow
🔔
BigData Note8: 工作流调度Azkaban
计算框架
计算框架

Hadoop

BigData9:Hadoop
BigData9:Hadoop
BigData12:HBase
BigData12:HBase
Hadoop1:Ubuntu安装Hadoop
Hadoop1:Ubuntu安装Hadoop
Hadoop3:DataNode日志报错
Hadoop3:DataNode日志报错
Hadoop5:HDFS如何存储大量小文件
Hadoop5:HDFS如何存储大量小文件
Hadoop2:HDFS常用命令
Hadoop2:HDFS常用命令
Hadoop4:HDFS Web报错Permission
Hadoop4:HDFS Web报错Permission
Hadoop
Hadoop

Hive

Hive1:简介
Hive1:简介
Hive3:hive使用
Hive3:hive使用
Hive5:Metastore server、hiverserver与beeline
Hive5:Metastore server、hiverserver与beeline
Hive7:元数据服务
Hive7:元数据服务
Hive9:文件存储
Hive9:文件存储
Hive11:
Hive11:
Hive13:
Hive13:
Hive2:搭建
Hive2:搭建
Hive4:hive-site.xml
Hive4:hive-site.xml
Hive6:python连接hive
Hive6:python连接hive
Hive8:Hive可集成的数据库
Hive8:Hive可集成的数据库
Hive10:
Hive10:
Hive23:
Hive23:

Kylin

Kylin1:简介
Kylin1:简介
Kylin2:De
Kylin2:De

Spark

🔔
BigData10:Spark
💥
BigData17:Structured Streaming
Spark1:简介
Spark1:简介
Spark3:GPU加速Spark大数据分析处理
Spark3:GPU加速Spark大数据分析处理
Spark5:Spark Shell使用
Spark5:Spark Shell使用
Spark7:Python使用Spark
Spark7:Python使用Spark
Spark9:Pyspark使用sql
Spark9:Pyspark使用sql
💥
BigData7:Spark Streaming
BigData5:Spark SQL
BigData5:Spark SQL
Spark2:Demo2
Spark2:Demo2
Spark4:集群搭建
Spark4:集群搭建
Spark6:spark sql使用
Spark6:spark sql使用
Spark8: Linux中使用pyspark
Spark8: Linux中使用pyspark
Spark10:
Spark10:

Flink

Flink1:简介
Flink1:简介
Flink3:Flink部署方式
Flink3:Flink部署方式
Flink5:Standalone模式部署
Flink5:Standalone模式部署
Flink7:Yarn 模式
Flink7:Yarn 模式
Flink9:Python使用Flink(Windows)
Flink9:Python使用Flink(Windows)
Flink11:Flink Table API示例(Windows)
Flink11:Flink Table API示例(Windows)
Flink13:PyFlink实现实时数据从Kafka消费到MySQL(Windows)
Flink13:PyFlink实现实时数据从Kafka消费到MySQL(Windows)
Flink15:Linux集群上从Kafka向MySQL发数据
Flink15:Linux集群上从Kafka向MySQL发数据
Flink15:Flink时间语义
Flink15:Flink时间语义
Flink17:Run 相关参数
Flink17:Run 相关参数
 
Flink2:流处理框架对比
Flink2:流处理框架对比
Flink4:Local模式部署
Flink4:Local模式部署
Flink6:Standalone HA 模式
Flink6:Standalone HA 模式
Flink8:Flink on k8s
Flink8:Flink on k8s
Flink10:Windows本机实现Flink接收kafka生产者数据
Flink10:Windows本机实现Flink接收kafka生产者数据
Flink12:Python实现Windows环境跑Flink从Kafka向MySQL发数据
Flink12:Python实现Windows环境跑Flink从Kafka向MySQL发数据
Flink14:集群下使用Python文件（Linux）
Flink14:集群下使用Python文件（Linux）
Flink16:Flink知识点
Flink16:Flink知识点
Flink18:
Flink18:
Flink20:
Flink20:
 

Flink errors

Flink error1:Windows下pylink报错
Flink error1:Windows下pylink报错
Flink error3: Linux集群报错2
Flink error3: Linux集群报错2
Flink error2:Linux集群报错1
Flink error2:Linux集群报错1
 
分布式协调系统
分布式协调系统

Zookeeper

Zookeeper0:Zookeeper工具
Zookeeper0:Zookeeper工具
Zookeeper2:搭建
Zookeeper2:搭建
Zookeeper4:Java第三方客户端—Curator
Zookeeper4:Java第三方客户端—Curator
Zookeeper6:ZK实现分布式锁
Zookeeper6:ZK实现分布式锁
Zookeeper8:ZK客户端监听
Zookeeper8:ZK客户端监听
Zookeeper10:ZAB协议
Zookeeper10:ZAB协议
Zookeeper12:Zookeeper中NIO与BIO的应用
Zookeeper12:Zookeeper中NIO与BIO的应用
Zookeeper14:集群搭建
Zookeeper14:集群搭建
 
Zookeeper1:简介
Zookeeper1:简介
Zookeeper3:数据模型和命令使用
Zookeeper3:数据模型和命令使用
Zookeeper5:Python使用Zookeeper—kazoo
Zookeeper5:Python使用Zookeeper—kazoo
Zookeeper7:watch机制
Zookeeper7:watch机制
Zookeeper9:伪集群搭建
Zookeeper9:伪集群搭建
Zookeeper11:主从数据同步原理
Zookeeper11:主从数据同步原理
Zookeeper13:CAP理论与BASE理论
Zookeeper13:CAP理论与BASE理论
Zookeeper15: (1)
Zookeeper15: (1)
 

Kafka

Kafka0:Kafka资源
Kafka0:Kafka资源
Kafka2:Kafka基础架构
Kafka2:Kafka基础架构
Kafka4:Topic命令
Kafka4:Topic命令
Kafka6:Kafka生产者
Kafka6:Kafka生产者
Kafka8:Kafka分区策略
Kafka8:Kafka分区策略
Kafka10:Kafka数据可靠性
Kafka10:Kafka数据可靠性
Kafka12:数据有序
Kafka12:数据有序
Kafka14:服役、退役节点
Kafka14:服役、退役节点
Kafka16:Kafka_Broke_Leader选举
Kafka16:Kafka_Broke_Leader选举
Kafka18:分区副本分配
Kafka18:分区副本分配
Kafka20:增加副本因子
Kafka20:增加副本因子
Kafka22:Kafka文件清除策略
Kafka22:Kafka文件清除策略
Kafka24:Kafka消费者
Kafka24:Kafka消费者
Kafka26:分区的分配以及再平衡
Kafka26:分区的分配以及再平衡
Kafka28:消费者Roundrobin分配
Kafka28:消费者Roundrobin分配
Kafka30:Offset位移
Kafka30:Offset位移
Kafka32:手动提交offset
Kafka32:手动提交offset
Kafka34:按时间消费
Kafka34:按时间消费
Kafka36:数据积压（消费者如何提高吞吐量）
Kafka36:数据积压（消费者如何提高吞吐量）
Kafka38:Kafka-Eagle监控页面
Kafka38:Kafka-Eagle监控页面
Kafka40:Python库confluent_kafka使用
Kafka40:Python库confluent_kafka使用
Kafka4:Demo
Kafka4:Demo
Kafka4:Demo (1)
Kafka4:Demo (1)
Kafka1:Kafka简介
Kafka1:Kafka简介
Kafka3:Kafka安装
Kafka3:Kafka安装
Kafka5:生产者与消费者命令
Kafka5:生产者与消费者命令
Kafka7:重写Producer和Consumer
Kafka7:重写Producer和Consumer
Kafka9:提高生产者吞吐量
Kafka9:提高生产者吞吐量
Kafka11:数据去重
Kafka11:数据去重
Kafka13:Kafka Broker
Kafka13:Kafka Broker
Kafka15:Kafka副本
Kafka15:Kafka副本
Kafka17:Leader和Follower故障处理细节
Kafka17:Leader和Follower故障处理细节
Kafka19:Leader Parttition自动平衡
Kafka19:Leader Parttition自动平衡
Kafka21:Kafka文件存储
Kafka21:Kafka文件存储
Kafka23:高效读写数据
Kafka23:高效读写数据
Kafka25:消费者API
Kafka25:消费者API
Kafka27:消费者Range分配
Kafka27:消费者Range分配
Kafka29:消费者Sticky分配
Kafka29:消费者Sticky分配
Kafka31:自动提交offset
Kafka31:自动提交offset
Kafka33:指定offset
Kafka33:指定offset
Kafka35:漏消费和重复消费
Kafka35:漏消费和重复消费
Kafka37:Kafka-Eagle监控安装
Kafka37:Kafka-Eagle监控安装
Kafka39:kafka-Kraft模式
Kafka39:kafka-Kraft模式
Kafka41:Proudcer生成json
Kafka41:Proudcer生成json

Kafka 调优

Kafka tips1:Kafka硬件配置选择
Kafka tips1:Kafka硬件配置选择
Kafka tips3: Kafka启动后自动关闭问题
Kafka tips3: Kafka启动后自动关闭问题
Kafka tips2:Kafka报错
Kafka tips2:Kafka报错
Kafka tips2:Demo (1)
Kafka tips2:Demo (1)
Python KafkaConsumer.assign方法代码示例
本文整理汇总了Python中 kafka.KafkaConsumer.assign方法 的典型用法代码示例。如果您正苦于以下问题：Python KafkaConsumer.assign方法的具体用法？Python KafkaConsumer.assign怎么用？Python KafkaConsumer.assign使用的例子？那么恭喜您 ...
Python KafkaConsumer.assign方法代码示例
https://vimsky.com/examples/detail/python-ex-kafka-KafkaConsumer-assign-method.html
🎁
BigData8:数据源管理—Kafka
🌟
BigData16:Kafka
 
📌
Others

Others

大数据技术基础
大数据技术基础
🪢
BigData21:Kylin
BigData Other2:MinIO
BigData Other2:MinIO
BigData Other4:Apache Drill
BigData Other4:Apache Drill
BigData Other (3)
BigData Other (3)
📌
BigData18:Storm
BigData Other1:Hue使用
BigData Other1:Hue使用
BigData Other3:Dremio
BigData Other3:Dremio
BigData Other 5:zabbix
BigData Other 5:zabbix
 
🔔
BigData Notes
📌
BigData Notes0:Data
⭐
Jul 20, 2022 02:00 AM
📌
BigData Notes1:分布式文件系统
⭐
Jul 20, 2022 02:10 AM
📌
BigData Notes2:存储类型与存储方式
⭐
Dec 2, 2021 09:20 AM
 
 
Copyright 2022 Henggao Geng