2019年9月28日 晴

1,051 views
倾斜现象的可能成因:
1. 任务分配不均匀。个别节点承载的数据量过大。
2. 执行能力不均匀。比如部分机器的配置低,硬件差,硬件有故障,负载重等。
3. 个别任务失败,需要重新跑。
4. 平台存在BUG。

任务执行慢的可能原因:
1. 数据量大,或者硬件配置差,或者算力分布不均匀。
2. 提交到集群运行的代码存在效率问题,或者出现发散现象。
3. 参数不合理,导致任务数量不足,或者小文件过多导致任务数量过多、额外的开销过大,或者任务失败次数过多,或者资源不足。
4. 平台存在BUG。



若非注明,均为原创,欢迎转载,转载请注明来源:2019年9月28日 晴

关于 JackieAtHome

基层程序员,八年之后重新启航

此条目发表在 日志 分类目录。将固定链接加入收藏夹。