博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark使用java代码实现foreachPartition
阅读量:5167 次
发布时间:2019-06-13

本文共 810 字,大约阅读时间需要 2 分钟。

如果数据太大直接用dataframe转list内存会不够,所以可以通过foreachPartition遍历读取

System.setProperty("hadoop.home.dir","h:\\hadoop2.3.7");string mastor="local"string name="wordcount"+system.currentTimeMillis()sparkSeesion spark=sparkSeesion.builder().appName(neme).master(mastor).getOrCreate();Data
dataset=spark.read().json("src/j.json") Dataset
jsons=dataset.toJSON(); JavaRDD
rdd=json.javaRDD(); rdd.foreachPartition(new VoidFunction
>() {
              @Override  public void call(Iterator
iter) throws Exception {           while(iter.hasNext()) {               String next=iter.next();               System.out.println("获取"+next);           }                        }  });          

参考https://blog.csdn.net/wyqwilliam/article/details/81142324

转载于:https://www.cnblogs.com/xiandong/p/10419312.html

你可能感兴趣的文章
How to Choose the Best Way to Pass Multiple Models in ASP.NET MVC
查看>>
【算法】求二叉树各路径结点之和并找出最大值的路径
查看>>
c 字符串 函数
查看>>
12.5 站立会议
查看>>
SQLServer数据库的一些全局变量
查看>>
Centos-本机网络连接、运行端口和路由表等信息-netstat
查看>>
胡适阅读
查看>>
Java中日期的转化
查看>>
小程序弱网环境卡顿怎么办?一招迅速提升小程序运行速度
查看>>
管线【十八】
查看>>
重温设计模式 - 建造者模式
查看>>
Android开发 LevelListDrawable详解
查看>>
数组与字符串相互转换的方法总结
查看>>
Firefly安装说明 与 常见问题
查看>>
WP8:在Unity中使用OpenXLive
查看>>
Unity3d 接入 移动MM支付SDK(2.3) 全攻略
查看>>
ubuntu搭建svn服务器并htpp访问版本库并svn与web同步
查看>>
老系统如何引入更新的编码规范
查看>>
开发的模式总结
查看>>
Redis对象的数据结构基础理解
查看>>