Я пытаюсь использовать spark-submit для выполнения моего кода Python в искровом кластере.
Обычно мы запускаем spark-submit с кодом Python, как показано ниже.
# Run a Python application on a cluster
./bin/spark-submit \
--master spark://207.184.161.138:7077 \
my_python_code.py \
1000
Но я хочу запустить my_python_code.py, передав несколько аргументов. Есть ли умный способ передать аргументы?
Да: поместите это в файл с именем args.py.
#import sys
print sys.argv
Если вы запустите
spark-submit args.py a b c d e
Ты увидишь:
['/spark/args.py', 'a', 'b', 'c', 'd', 'e']
Несмотря на то, что sys.argv является хорошим решением, я все же предпочитаю этот более правильный способ обработки аргументов командной строки в моих заданиях PySpark:
import argparse
parser = argparse.ArgumentParser()
parser.add_argument("--ngrams", help="some useful description.")
args = parser.parse_args()
if args.ngrams:
ngrams = args.ngrams
Таким образом, вы можете запустить свою работу следующим образом:
spark-submit job.py --ngrams 3
Дополнительную информацию о модуле argparse можно найти в учебнике по Argparse.
spark-submit --master somemasterurl job.py --ngrams 3 10.08.2018 Unrecognized flag --arg1, и это сводит меня с ума! (Искра 2.4.4 и Python 3.6) 27.04.2020 Вы можете передать аргументы из команды spark-submit, а затем получить к ним доступ в своем коде следующим образом:
sys.argv[1] даст вам первый аргумент, sys.argv[2] второй аргумент и так далее. Обратитесь к приведенному ниже примеру,
Вы можете создать код, как показано ниже, чтобы принять аргументы, которые вы будете передавать в команду spark-submit,
import os
import sys
n = int(sys.argv[1])
a = 2
tables = []
for _ in range(n):
tables.append(sys.argv[a])
a += 1
print(tables)
Сохраните вышеуказанный файл как PysparkArg.py и выполните приведенную ниже команду spark-submit:
spark-submit PysparkArg.py 3 table1 table2 table3
Выход:
['table1', 'table2', 'table3']
Этот фрагмент кода можно использовать в заданиях PySpark, где требуется извлечь несколько таблиц из базы данных, а количество извлекаемых таблиц и имена таблиц будут заданы пользователем при выполнении команды spark-submit.
Ах, это возможно. http://caen.github.io/hadoop/user-spark.html
spark-submit \
--master yarn-client \ # Run this as a Hadoop job
--queue <your_queue> \ # Run on your_queue
--num-executors 10 \ # Run with a certain number of executors, for example 10
--executor-memory 12g \ # Specify each executor's memory, for example 12GB
--executor-cores 2 \ # Specify each executor's amount of CPUs, for example 2
job.py ngrams/input ngrams/output
spark-submit args.py a b c d e от Aniket Kulkarni кажется достаточным, но стоит упомянуть, что у нас были проблемы с необязательными/именованными аргументами (например, --param1).
Похоже, что двойные тире -- помогут сигнализировать о том, что следуют необязательные аргументы Python:
spark-submit --sparkarg xxx yourscript.py -- --scriptarg 1 arg1 arg2
