Nano Hash - криптовалюты, майнинг, программирование

Как выбрать определенные строки в соответствии с другим столбцом?

Я новичок в наборе данных Spark SQL.

Ниже приведена моя таблица набора данных, состоящая из нескольких столбцов, как показано ниже.

+---+--------+--------+-----------+---------+---------+--------------------+--------+----------+----------+
|avg|badCount|effectID|globalCount|goodCount|paramType|               ratio|    tool|  toolName|totalCount|
+---+--------+--------+-----------+---------+---------+--------------------+--------+----------+----------+
|0.0|    32.0|     0.0|       84.0|     52.0|      CAT| 0.38095238095238093|    tool|  litho_c3|    1001.0|
|0.0|     0.0|     0.0|       85.0|     85.0|      CAT|                 0.0|    tool|  litho_c1|    1001.0|
|0.0|     0.0|     0.0|       75.0|     75.0|      CAT|                 0.0|    tool|  litho_c7|    1001.0|
|0.0|     0.0|     0.0|       97.0|     97.0|      CAT|                 0.0|    tool|  litho_c6|    1001.0|
|0.0|     0.0|     0.0|       86.0|     86.0|      CAT|                 0.0|    tool| litho_c10|    1001.0|
|0.0|     0.0|     0.0|       95.0|     95.0|      CAT|                 0.0|    tool|  litho_c8|    1001.0|
|0.0|     0.0|     0.0|       79.0|     79.0|      CAT|                 0.0|    tool|  litho_c9|    1001.0|
|0.0|     0.0|     0.0|       65.0|     65.0|      CAT|                 0.0|    tool|  litho_c2|    1001.0|
|0.0|     0.0|     0.0|       87.0|     87.0|      CAT|                 0.0|    tool| litho_c12|    1001.0|
|0.0|     0.0|     0.0|       82.0|     82.0|      CAT|                 0.0|    tool|  litho_c4|    1001.0|
|0.0|     0.0|     0.0|       79.0|     79.0|      CAT|                 0.0|    tool|  litho_c5|    1001.0|
|0.0|     0.0|     0.0|       87.0|     87.0|      CAT|                 0.0|    tool| litho_c11|    1001.0|
|0.0|    32.0|     0.0|     1001.0|    969.0|      CAT| 0.03196803196803197|  recipe|r_ 15 _1.1|    1001.0|
|0.0|    12.0|     0.0|      335.0|    323.0|      CAT| 0.03582089552238806|operator|     c2_o3|    1001.0|
|0.0|    10.0|     0.0|      328.0|    318.0|      CAT| 0.03048780487804878|operator|     c1_o3|    1001.0|
|0.0|    10.0|     0.0|      338.0|    328.0|      CAT|0.029585798816568046|operator|     c3_o3|    1001.0|
|0.0|    32.0|     0.0|      248.0|    216.0|      CAT| 0.12903225806451613|    mask|    mask_3|    1001.0|
|0.0|     0.0|     0.0|      263.0|    263.0|      CAT|                 0.0|    mask|    mask_2|    1001.0|
|0.0|     0.0|     0.0|      245.0|    245.0|      CAT|                 0.0|    mask|    mask_4|    1001.0|
|0.0|     0.0|     0.0|      245.0|    245.0|      CAT|                 0.0|    mask|    mask_1|    1001.0|
+---+--------+--------+-----------+---------+---------+--------------------+--------+----------+----------+

Что я хочу сделать, так это извлечь две строки с наибольшим значением соотношения в соответствии с инструментом столбца.

Например, в инструменте operator наивысшее значение коэффициента равно 0.03582089552238806 и 0.03048780487804878. Поэтому я хочу извлечь ниже две строки из трех строк в инструменте operator.

|0.0|    12.0|     0.0|      335.0|    323.0|      CAT| 0.03582089552238806|operator|     c2_o3|    1001.0|
|0.0|    10.0|     0.0|      328.0|    318.0|      CAT| 0.03048780487804878|operator|     c1_o3|    1001.0|

Таким образом, финальная таблица выглядит так, как показано ниже.

+---+--------+--------+-----------+---------+---------+--------------------+--------+----------+----------+
|avg|badCount|effectID|globalCount|goodCount|paramType|               ratio|    tool|  toolName|totalCount|
+---+--------+--------+-----------+---------+---------+--------------------+--------+----------+----------+
|0.0|    32.0|     0.0|       84.0|     52.0|      CAT| 0.38095238095238093|    tool|  litho_c3|    1001.0|
|0.0|     0.0|     0.0|       85.0|     85.0|      CAT|                 0.0|    tool|  litho_c1|    1001.0|
|0.0|    32.0|     0.0|     1001.0|    969.0|      CAT| 0.03196803196803197|  recipe|r_ 15 _1.1|    1001.0|
|0.0|    12.0|     0.0|      335.0|    323.0|      CAT| 0.03582089552238806|operator|     c2_o3|    1001.0|
|0.0|    10.0|     0.0|      328.0|    318.0|      CAT| 0.03048780487804878|operator|     c1_o3|    1001.0|
|0.0|    32.0|     0.0|      248.0|    216.0|      CAT| 0.12903225806451613|    mask|    mask_3|    1001.0|
|0.0|     0.0|     0.0|      263.0|    263.0|      CAT|                 0.0|    mask|    mask_2|    1001.0|

Обратите внимание, что инструмент recipe имеет только одну строку, поэтому он извлекает только одну строку.

Как решить мою проблему с помощью набора данных Spark?

apache-spark-sql
27.09.2018

  • Какую версию Spark вы используете? 27.09.2018
  • См. stackoverflow.com/questions/33655467/ 27.09.2018
  • @TimBiegeleisen Я использую версию 2.3.0. 27.09.2018
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..