首页 | 新闻 | 新品 | 文库 | 方案 | 视频 | 下载 | 商城 | 开发板 | 数据中心 | 座谈新版 | 培训 | 工具 | 博客 | 论坛 | 百科 | GEC | 活动 | 主题月 | 电子展
返回列表 回复 发帖

AWS EMR 上跑 Hadoop 运用过程中遇到的问题总结

AWS EMR 上跑 Hadoop 运用过程中遇到的问题总结

遇到问题“EMR_DefaultRole is invalid.”在AWS EMR上运行Hadoop的ngram的时候,出现下面错误:

查询【1】中的log可以发现是”EMR_DefaultRole is invalid.”,这个东西没有创建,那么可以使用【2】【3】中的办法解决,如果还不能解决,那就把IAM账户添加Administer的权限。
之后就可以使用:
  aws emr create-default-roles
创建默认角色。
对于EMR的了解:【4】【5】【6】【9】
运行的时候看任务有些没有看到注意time zone,显示的任务只显示你之前设定的时区。
AWS的命令行看【7】【8】可以了解一些AWS的CLI的用法。
AWS的安装看【10】,在Ubuntu或者是OS上安装AWS的CLI。
AWS的账号注册看【11】了解AWS的注册。
AWS EMR的配置需要使用AWS的CLI进行操作,就需要进行配置。看【12】了解更多。
AWS的instance讲解【14】
Unsupported major.minor version 52.0遇到这种问题,就是你生成的java运行程序的版本和AWS上的版本不一致。比如你用java8生成的程序不能跑在AWS EMR默认的java7的平台上。
你可以把java程序改成java7的版本,但是依然会有问题,所以可以改成:
  • 1) cd $PROJ3_ROOT
  • 2) ant clean
  • 3) ant
  • 4) Reload 18645-proj3-0.1-latest.jar to aws bucket, if you already uploaded the jar file compiled with java 1.8 before.
  • 5) run the NgramCount program on EMR cluster
返回列表