首页 > 网络 > 云计算 >

使用阿里云E-MapReduce遇到的那些坑

2017-02-06

使用阿里云E-MapReduce遇到的那些坑:由于需要做实验来验证自己系统的scalability,实验室机器数又不够,所以选择用商业服务器来完成实验。

使用阿里云E-MapReduce遇到的那些坑:由于需要做实验来验证自己系统的scalability,实验室机器数又不够,所以选择用商业服务器来完成实验。 在AWS和阿里云之间选择了阿里云。在完成试验后对实验过程中遇到的那些坑进行了总结。

自己的实验主要是做一个分布式序列比对系统(DSA: Distributed Sequence Alignment System),测试其中相关算法的scalability

由于是要测性能,所以选择了独享型:ecs.sn2.large

相关配置:4核16G,CentOS release 6.5, Intel Xeon E5-2680,支持SSW2/SSE4.1/AVX指令集,但不支持AVX2

集群数量(台):5,10,15,…,45,50.每次扩容五台

软件:EMR-2.3.0:Hadoop 2.7.2, Yarn 2.7.2 and Spark 1.6.2

1.不支持Spark standalone运行模式

1.1 实验需求

实验室集群数量少,使用的是standalone模式,主要是速度比Yarn快。而且自己的DSA系统中使用了Alluxio进行加速,目前standalone模式支持比较全,standalone模式下Alluxio和Spark的数据本地化配置比较容易,而Yarn模式配置比较麻烦,官网只提供了AWS上的相关教程。

1.2 尝试解决

自己准备在阿里云的E-Mapreduce下自己安装和配置,但是发现很麻烦,scala环境都没配置,Spark也是修改过的,相关配置做了比较多的调整,每次扩容中都得自己配,自己测试。而且联系了阿里云的技术支持,说即使把Yarn关闭了系统也会自动恢复,目前也没支持standalone模式。考虑到自己的实验时间比较紧,选择了妥协,采用了从自己算法层面上做调整,尽量减少I/O开销对实验带来的影响。

目前阿里云E-MapReduce发布一年左右,很多在完善,而且商业的确实太多以Yarn运行来提高集群的利用率,只是希望能在独享机器上支持standalone模式。

2.集群脚本问题

2.1 实验需求和问题描述

在实验过程中,由于Spark调用c写的SIMD程序,需要在每个节点进行配置.一个一个节点太麻烦,想用EMR自带的集群脚本,集群节点初始化的时候就配置好,这样可以节省时间。

2.2 尝试解决

试了多次,都不行,包括参考【2】、【3】的教程。最简单的脚本都不行。也问了阿里云EMR的技术支持,得到的结论是阿里云没有配置好,单个集群需要技术支持人员手动更改,在升级或者申请后还得技术员手动更改。版本的升级得等一周后,可我实验时间只有一周……

最后没办法,只能一个一个节点运行自己写的脚本。

技术支持:鸿初(钉钉)

2.3 反馈回复

3.无法扩容

3.1 实验需求和和问题描述

实验过程中需要不断扩容节点,从5个节点到20个节点的三次扩容都没问题,但是从20个节点扩容至25个节点出问题了. 使用的是杭州地区的数据中心,心想杭州是阿里的大本营, 结果出现了扩容不了. 15分钟后还在扩容中,就开始联系EMR的支持群.因为前面几次正常的扩容一般都在5分钟左右.

3.2 尝试解决

联系技术支持人员,排查确认问题大概45分钟,到解决大概两个多小时,一直在等. 最后集群恢复了,技术支持的回复是系统问题,一般只会在多次扩容才会出现. 测试的时候估计没考虑我这种频繁扩容的情况.

另外一个问题是暂时修复后无法继续扩容.

申请杭州集群30个节点无法成功,下面描述. 最后迁移到了上海数据中心,再申请才完成.

4. 库存不够

4.1 实验需求和和问题描述

由于实验室节点有限,需要更多的计算资源.所以申请阿里云.在申请阿里云30个EMR节点的时候包括,库存不足,使用的杭州数据中心的集群.

试了两次,结果还是库存不足,没成功但是还扣了费.

4.2 尝试解决

联系技术支持, 得到的回复是机器库存不可查, 问题暂时修复不了. 没办法,只能申请其他地方的数据中心.对比之后,发现深圳配置麻烦,需要专网. 最后选择了上海数据中心,申请30个EMR节点成功,扩容也没问题.

通过完善脚本后, 启动配置到运行程序可以控制在20分钟左右,包括申请机器时初始化的5五分钟左右.还需要配置每个节点的SIMD环境,HDFS文件导入导入, lib文件的分发等.大概10个左右的步骤.

扣费还在走工单,2017.1.1申请的,今天是2017.1.24,之前回复是半个月,可能是过年吧.

5. 充值后退钱不方便

5.1 实验需求和和问题描述

由于担心集群被关,特地多充了点钱在阿里云,以防集群关机没保存配置。充值的时候提示没用完的可以退。但是用完后才发现支付宝帐号需要与发票抬头一致,我做实验是实验室报销,写学校的名字,但钱得自己垫。这比较坑。

另外申请的两个工单也还在走流程,退的是券,强烈要求下才给退的现金。

5.2 尝试解决

联系的售后工程师,得到的回复是为了安全起见,充值退钱需要与抬头一致,工单退款也很麻烦。

退款需要学校盖章证明。然后扫面或者图片发过去。

工单没下来,只能等了….

真心希望速度能快点。

相关文章
最新文章
热点推荐