Nano Hash - криптовалюты, майнинг, программирование

запутанное внутреннее соединение в pyspark

Я использую внутреннее соединение в оболочке pyspark следующим образом:

tab_df=ori_df.join(ori_df,ori_df.columns,'inner')

Поскольку я использую ту же таблицу для внутреннего соединения, следует ожидать, что tab_df.count() должно быть равно ori_df.count(), но tab_df.count() дает мне 0!

pyspark pyspark-sql
25.01.2017

Ответы:


1

используйте эту команду:

tab_df = ori_df.join(ori_df, ['column_name'])

pyspark по умолчанию использует внутреннее соединение

Я попытался на своем компьютере объединить две одинаковые таблицы, и это работает

Почему вы все равно хотите присоединиться к двум одинаковым столам?

25.01.2017
  • просто нужно проверить, идентичны ли две таблицы с точки зрения ее данных, спасибо за ваш ответ 25.01.2017

    • 2

    Затем вы можете использовать метод subtract() pyspark. Чтобы узнать, равны ли два кадра данных.

    23.04.2018
    Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..