Nano Hash - криптовалюты, майнинг, программирование

Можно ли объединить несколько (›2) матриц на основе имен строк И столбцов и весового коэффициента?

У меня есть список, содержащий сотни матриц, каждая из которых имеет имена столбцов и имен строк. Каждая матрица немного отличается друг от друга — некоторые содержат определенные имена столбцов и строк, которых нет у других. У меня также есть вектор весов (от 0 до 1), который можно применить к каждой из матриц путем простого умножения.

Я пытаюсь объединить их все в одну большую матрицу, содержащую ВСЕ имена строк и ВСЕ имена столбцов. Я нашел сообщение на SO (здесь), которое помогло, когда я тестировал код только с 10 матрицами в списке. В посте пользователь только объединил две матрицы. Однако, поскольку я объединял несколько, мне пришлось обернуть свою функцию во вложенные циклы for. Однако, поскольку я сейчас запускаю код в реальном времени, он больше не работает, поскольку общая матрица слишком велика (1200+ строк на 2300+ столбцов).

Рад объяснить дальше, если это не имеет смысла из другого поста.

Трудно вставить пример кода для таких больших наборов данных, но я попытаюсь сделать пример ниже.

markov_chains is a list with many matrices
markov_chains[[1]] = 
  a b c d ...
v 1 1 1 0 
w 1 1 0 1 
x 1 0 1 1 
y 0 1 1 1 
...

markov_chains[[2]] = 
  d e aa a ...
y 1 1 1  0 
w 1 1 0  1 
v 1 0 1  1 
z 0 1 1  1 
...

но представьте, что в каждом из этих столбцов было 1000 строк и 1000 столбцов. Каждая матрица также имеет функцию взвешивания, например 0,5 для [1], 0,22 для [[2]] и т. д.

В конце концов, я пытаюсь объединить их в какую-то основную матрицу, как показано ниже:

markov_master = 
    a   b    c    d    e    ...    aa    ...    zzz
z  0.7 0.1  0.2  1.2  0.9   ...   0.1    ...     4
y   1  1.5  1.2  0.4  0.1   ...   6.5    ...     7
x  1.1 0.5  2.3  7.0  0.7   ...   2.9    ...     2
w  0.9 1.5  5.8  4.1  0.2   ...   7.9    ...    1.1
...
16.01.2020

  • Пожалуйста, включите минимальные образцы данных; другим будет намного легче помочь, если вы предоставите фактические данные, а не будете описывать, как они выглядят. 17.01.2020
  • Привет, Мориц, я добавил несколько примеров данных. Это помогает? 17.01.2020

Новые материалы

Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..