Я запускаю искровую работу, которая завершена на 99%. Последний 1% занимает много времени, поэтому я проверил трекер вакансий. Как показано на скриншоте, мы видим, что у некоторых исполнителей все еще есть несколько активных задач, а у некоторых нет задач. Почему Spark не перераспределяет задачи?
Кроме того, для последнего задания 1%, которое заняло много времени, это в основном связано с проблемой памяти, количеством ядер исполнителя или ...? Есть ли способ узнать, почему?
Спасибо!
Перемещение активной задачи на самом деле не поддерживается, однако вы можете включить спекулятивное выполнение, и Spark попытается запустить другую копию той же задачи на другом узле, если будет казаться, что она работает медленно.
Существует множество причин, по которым последний 1% задач может занимать гораздо больше времени. Возможно, вы захотите посмотреть на распределение ввода или вывода задачи, чтобы увидеть, возможно, у вас несбалансированные данные (наиболее распространенная причина таких отставаний). ).
Просто для дальнейшего расширения ответа @Holden. Она права, наиболее вероятная причина в том, что RDD, над которым вы работаете, имеет перекошенные разделы, поэтому вы видите, что последний 1% занимает бесконечно много времени. Один из способов отладить это — проверить размер каждого раздела, и если вы видите, что раздел намного больше, чем другие, вам нужно переразбить данные поровну.
Подробный ответ на очень похожий вопрос содержится в этом вопросе о переполнении стека.
