首页 | 新闻 | 新品 | 文库 | 方案 | 视频 | 下载 | 商城 | 开发板 | 数据中心 | 座谈新版 | 培训 | 工具 | 博客 | 论坛 | 百科 | GEC | 活动 | 主题月 | 电子展
返回列表 回复 发帖

Hadoop - MapReduce(5)

Hadoop - MapReduce(5)

MapReduce - 编程在线练习处理
  • select:直接分析输入数据,取出需要的字段数据即可
  • where: 也是对输入数据处理的过程中进行处理,判断是否需要该数据
  • aggregation:min, max, sum
  • group by: 通过Reducer实现
  • sort
  • join: map join, reduce join
Third-Party Librariesexport LIBJARS=M
Y
LI
B/commonslang
2.3.jar,<other
j
ars
u
sed

b
y

r
emote
c
omponents
>had
oopjarprohad
oop0.0.1S
N
AP
S
H
OT
.jarorg
.aspress.prohad
oop
.c3.W
ord
C
ountU
sing
T
oolRunnerlibjars



LIBJARS<input_path><output_path>
hadoop jar prohadoop-0.0.1-SNAPSHOT-jar-with-dependencies.jar org.aspress.prohadoop.c3. WordCountUsingToolRunner <input_path>The dependent libraries are now included inside the application JAR file
一般还是上面的好,指定依赖可以利用Public Cache,如果是包含依赖,则每次都需要拷贝
返回列表