一、转换与操作
1.1、Transformation
- map()
- filter()
- flatMap()
- mapPartitions()
- mapPartitionsWithIndex(func)
- sample()
- 数据采样
- union()
合并两个RDD
- intersection()
两个RDD交交集
- distinct()
去重
- groupByKey()
按Key分组
- sortByKey()
按Key排序
- join()
- cogroup
- cartesian()
1.2、Action
- reduce()
累加、计数
- collect()
RDD转化为数组
- count()
统计RDD中元素个数的算子
- foreach()
遍历RDD每一个元素
- collectAsMap()
- first()
- top()
- lookup()
- take()
返回数组
- takeSample()
- takeOrdered()
- saveAsTextFile()
- saveAsSequenceFile()
- saveAsObjectFile()
- countByKey()
- foreach()