Nano Hash - криптовалюты, майнинг, программирование

Объединение нескольких массивов в карту

У меня есть некоторые данные (образец из полной таблицы), которые выглядят так:

| prov_id | hotel_id | m_id | apis_xml | company_id | yyyy_mm_dd |
|---------|----------|------|----------|------------|------------|
| 945     | 78888    | 3910 | [5]      | 998        | 2020-05-20 |
| 1475    | 78888    | 6676 | [1,2,4]  | 37         | 2020-05-20 |
| 1475    | 78888    | 6670 | [1,2,4]  | 37         | 2020-05-20 |
| 945     | 78888    | 2617 | [5]      | 998        | 2020-05-20 |

Я хочу найти самое низкое значение apis_xml для отеля и установить связанный prov_id как "primary_prov". Я могу сделать это, объединив и отсортировав массив по возрастанию, прежде чем взять первую строку. У меня есть запрос к этому:

SELECT
    yyyy_mm_dd,
    hotel_id,
    prov_id as primary_prov
FROM(
    SELECT
        yyyy_mm_dd,
        hotel_id,
        prov_id,
        apis_xml,
        ROW_NUMBER() OVER(PARTITION BY yyyy_mm_dd, hotel_id ORDER BY apis_xml) rn
    FROM(
        SELECT
            t.yyyy_mm_dd,
            t.hotel_id,
            t.prov_id,
            t.apis_xml,
            CAST(e.apis_xml AS INT) AS api
        FROM
            my_table t
        LATERAL VIEW EXPLODE(apis_xml) e AS apis_xml
    )s
)s
WHERE rn=1

Приведенный выше запрос работает для получения primary_prov, который соответствует наименьшему значению apis_xml. Однако я хочу иметь дополнительный столбец, содержащий дополнительные значения xml для справки. Возможно, карта здесь не лучший вариант использования, но это то, что приходит на ум. Ключом будет prov_id, а значением будут значения apis_xml. Вывод будет выглядеть так, так как мне нужно сохранить одну строку для каждого hotel_id:

| hotel_id | primary_prov | detailed_prov            | yyyy_mm_dd |
|----------|--------------|--------------------------|------------|
| 78888    | 1475         | {1475: [1,2,4], 945: [5] | 2020-05-20 |

  • Каков тип данных detailed_prov? 02.06.2020
  • @GordonLinoff Я чувствую, что карта лучше всего подходит для хранения данных такого типа, но я открыт для других решений. В моем примере вывода, detail_prov будет картой с ‹int,[arr]› 02.06.2020
  • CAST(e.apis_xml AS INT) AS API — этот столбец вообще не используется. Вы упорядочиваете по всему массиву в row_number. Если правильно, то взрывать не надо 02.06.2020
  • @leftjoin хорошее место. Я думаю, что мне следует упорядочивать по API, а не по API_XML, так как primary_prov должен быть в зависимости от того, какой prov_id имеет наименьший номер API. 02.06.2020

Ответы:


1

Вы можете построить map с помощью каменного дома CollectUDAF. Прочтите инструкции по сборке JAR, добавьте jar, создайте функцию и используйте ее:

add jar /path/to/jar/brickhouse-0.7.1.jar;
create temporary function collect as 'brickhouse.udf.collect.CollectUDAF';

SELECT yyyy_mm_dd,
       hotel_id,
       primary_prov,
       collect(prov_id, prov_id_api ) as detailed_prov
  FROM
(
SELECT
    yyyy_mm_dd,
    hotel_id,
    max(case when rn=1 then prov_id else null end) over(partition by yyyy_mm_dd, hotel_id) as primary_prov, 
    collect_set(api) over (partition by yyyy_mm_dd, hotel_id, prov_id) prov_id_api, --re-assemple array to include all elements from multiple initial arrays if there are different arrays per prov_id
    prov_id
FROM(
    SELECT
        yyyy_mm_dd,
        hotel_id,
        prov_id,
        apis_xml,
        api,
        ROW_NUMBER() OVER(PARTITION BY yyyy_mm_dd, hotel_id ORDER BY api) rn
    FROM(
        SELECT
            t.yyyy_mm_dd,
            t.hotel_id,
            t.prov_id,
            t.apis_xml,
            CAST(e.apis_xml_element AS INT) AS api
        FROM
            my_table t
        LATERAL VIEW EXPLODE(apis_xml) e AS apis_xml_element
    )s
)s
)s
group by yyyy_mm_dd,
         hotel_id,
         primary_prov
02.06.2020
  • Это работает блестяще, спасибо! При создании таблицы какой тип должен быть установлен 'detailed_prov', чтобы вставка работала позже? Я хочу избежать несоответствия типов. 03.06.2020
  • что такое выход? Я не проверял это сам. Если он действительно выдает map‹int,array‹int›› Попробуйте определить этот тип. Но вместо этого он может создать карту‹String, array‹int››... Просто попробуйте сделать это. Или попробуйте CREATE TABLE AS SELECT... 03.06.2020
  • Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..