Nano Hash - криптовалюты, майнинг, программирование

Кадр данных перераспределения Spark вызывает увеличение размера данных в 10 раз

На S3 хранятся 40-гигабайтные файлы tsv в формате gzip.

Я загружаю его с помощью

df = spark.read.csv()

и сохраните df в HDFS с помощью

df.write.parquet()

Результирующий размер после этого составляет 20 ГБ.

Но если я вызову repartition в DataFrame перед его сохранением, размер данных увеличится примерно в 10 раз.

df.repartition(num)
df.write.parquet()

Событие Я использую repartition и даю аргумент, равный существующему количеству разделов, размер данных все равно сильно увеличивается.

Это делает операцию очень медленной.

Но мне нужен шаг repartition, потому что sc.read.csv не возвращает разумно разделенный DataFrame.

Кто-нибудь знает об этой проблеме?

python parquet apache-spark pyspark
24.11.2017

  • GZip не является разделяемым кодеком в Hadoop. Вот почему вы не получаете много разделов при чтении CSV. Я не думаю, что здесь можно что-то сделать, кроме как изменить тип вашего файла или, возможно, извлечь его, прежде чем вы прочитаете его с помощью Spark. 24.11.2017
  • Вам нужно пересмотреть размер раздела при записи в паркет! Это довольно широкий ответ 24.11.2017
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..