Spark算子 - JAVA版本
admin
2024-03-19 22:09:45
0次
第1关：Transformation - map
任务描述
本关任务：使用 Spark 的map算子按照相关需求完成转换操作。
相关知识
为了完成本关任务，你需要掌握：如何使用map算子。
map
将原来RDD的每个数据项通过map中的用户自定义函数f映射转变为一个新的元素。
图中每个方框表示一个RDD分区，左侧的分区经过自定义函数f:T->U映射为右侧的新RDD分区。但是，实际只有等到Action算子触发后，这个f函数才会和其他函数在一个Stage中对数据进行运算。
map 案例
List list = Arrays.asList(1, 2, 3, 4, 5, 6);
System.out.println(“init:” + list);
JavaRDD rdd = sc.parallelize(list);
JavaRDD map = rdd.map(x -> x * 2);
System.out.println(“result :” + map.collect());
输出：
init :[1, 2, 3, 4, 5, 6]
result :[2, 4, 6, 8, 10, 12]
说明：rdd1的元素（1 , 2 , 3 , 4 , 5 , 6）经过map算子(x -> x*2)转换成了rdd2(2 , 4 , 6 , 8 , 10)
编程要求
根据提示，在右侧编辑器begin-end处补充代码，完成以下需求：
需求1：使用map算子，将rdd的数据(1, 2, 3, 4, 5)按照下面的规则进行转换操作，规则如下:<
相关内容
热门资讯
AI做攻略、“双向奔赴”……国...
本文转自：人民网人民网记者 许维娜今年国庆假期，AI（人工智能）成了不少年轻人的“旅行搭子”。行前做...
合肥的这个“梗”， 翻篇了
社交平台的评论区，曾长期流传一句专属于合肥的黑色幽默。有人问合肥哪里好玩，本地网友半开玩笑地回复：合...
7万+旅游中高层都在的群，今天...
做旅游这行，资源卡位、渠道互通、项目落地——往往就差一个“对的机会”。我们的行业社群已聚集70,00...
一场帐篷音乐节，如何让井研从“...
帐篷音乐节现场封面新闻记者 周洪攀10月的研溪湿地，晚风里裹着柑橘的清甜与民谣的回响。夜幕降临，10...
白鹤翩翩落星愿，上海迪士尼度假...
10月9日，世界候鸟日前夕，上海迪士尼度假区星愿公园的湖风里多了一分白鹤的灵动。三座白鹤雕塑正式揭幕...
成都锦江边赏初秋枫叶飘飘
目前，成都锦江边国华街枫叶树红了。近年来，国华街附近的几条街都栽种了红枫树，是城区较集中看枫叶的点位...
GBTA：商务旅行正在复苏，但...
亚太正在成为全球商务旅行增长的重要引擎。在经历疫情后的快速反弹之后，全球商务旅行正在进入一个新的增长...
从景区焕新到节赛引流 邹城双节...
齐鲁网·闪电新闻10月9日讯 中秋、国庆“双节”假期，邹城市文化和旅游局提前谋划、周密部署，立足自身...
江山如此多娇 且看石楼今朝
金秋十月，黄河岸畔秋意盎然，丰收盛会喜迎国庆。本次石楼国庆文旅活动以“江山如此多娇，且看石楼今朝”为...
海南国庆假期接待游客475.4...
2026年国庆假期，海南接待游客475.40万人次，较2025年增长13.1%，较2024年增长15...