Nano Hash - криптовалюты, майнинг, программирование

Python Pandas: возврат более одного значения поля при применении функции к строке фрейма данных

Мне нужно применить несколько функций к строкам фрейма данных. Аргументы этих функций принимают значения из двух или более полей одной строки. Например:

d = {                                                                                                       
  'a': [1,1,1,1],                                                                                           
  'b': [2,2,2,2],                                                                                           
  'c': [3,3,3,3],                                                                                           
  'd': [4,4,4,4]                                                                                            
}                                                                                                           

df1 = pd.DataFrame(d)                                                                                       

def f1(x,y):                                                                                                
    return x + 2*y                                                                                          

def f2(x,y):                                                                                                
    return y + 2*x                                                                                          

df2 = pd.DataFrame()                                                                                        
df2['val1'] = df1.apply(lambda r: f1(r.a, r.b),1)                                                           
df2['val2'] = df1.apply(lambda r: f2(r.c, r.d),1)                                                           

Применяя каждую функцию по очереди, одну за другой, Панды делают отдельную итерацию по всем строкам фрейма данных. В этом примере Pandas дважды повторяет фрейм данных. В результате получаю:

In [10]: df2                                                                                                
Out[10]:                                                                                                    
   val1  val2                                                                                               
0     5    10                                                                                               
1     5    10                                                                                               
2     5    10                                                                                               
3     5    10                                                                                               

Есть ли способ применить две или более таких функций за один проход по фрейму данных? Таким образом, приложение должно возвращать значение для более чем одного поля подряд. Кроме того, этот случай включает в себя применение одной функции, возвращающей значения для более чем одного поля. Как это может быть сделано?

24.12.2016

Ответы:


1

Если ваши функции линейны или могут быть каким-то образом векторизованы, мы можем сделать много интересных вещей.

t = pd.DataFrame(dict(val1=[1, 2, 0, 0], val2=[0, 0, 2, 1]), df1.columns)
df1.dot(t)

Или еще быстрее с

pd.DataFrame(
    df1.values.dot(
        np.array([[1, 0], [2, 0], [0, 2], [0, 1]])
    ),
    df1.index,
    ['val1', 'val2']
)

введите здесь описание изображения

Или вы можете определить новую функцию для применения

def f3(r):
    return pd.Series(dict(val1=f1(r.a, r.b), val2=f2(r.c, r.d)))

df1.apply(f3, 1)
24.12.2016
  • Пробовал это на 74-мегабайтном CSV-файле на моем MacBookPro6,2, Intel Core i5, 2,53, процессоры: 1, ядра: 2, кэш-память L2 (на ядро): 256 КБ, кэш-память L3: 3 МБ, память: 4 ГБ . Под OSX EL Capitan Ver. 10.11.6. Работает намного хуже, чем поочередное применение функций. Израсходовал около 6гб общей памяти и так и не закончил, пришлось убить. Эстетически это решение выглядит великолепно, наиболее читабельно для меня. Я думаю, что это ухудшение связано с дополнительным выделением памяти, которое требуется для словаря и объекта серии. 24.12.2016
  • @zork приятно знать. Это те функции, которые вам нужны? Если это так, мы можем легко векторизовать это. 24.12.2016
  • Обновлено с некоторой полезной информацией 24.12.2016

  • 2

    Вы можете заполнить их одновременно, объединив свои функции:

    def f3(x,y,z,a):
        return x + 2*y, a + 2*z
    df3 = pd.DataFrame()
    df3['val1'], df3['val2'] = f3(df1.a, df1.b, df1.c, df1.d)
    
    24.12.2016
  • это хороший подход, однако не каждую функцию можно запустить таким образом в dataFrame. Также можно сделать это как df3['val1'], df3['val2'] = f1(df1.a, df1.b), f2(df1.c, df1.d) 24.12.2016
  • Не работает с моими реальными функциями и аргументами. Я получаю эту ошибку: '/Users/user/usr/anaconda_2.7/anaconda/lib/python2.7/site-packages/pandas/core/generic.pyc в __getattr__(self, name) 2670, если имя в self._info_axis : 2671 return self[name] -> 2672 return object.__getattribute__(self, name) 2673 2674 def __setattr__(self, name, value): AttributeError: объект 'Series' не имеет атрибута 'split' ' 24.12.2016

  • 3

    Если вы не хотите создавать новые функции, вы можете использовать однострочник ниже:

    >>> df2 = df1.apply(lambda r: pd.Series({'val1': f1(r.a, r.b), 'val2': f2(r.c, r.d)}), axis=1)
    >>> df2
       val1  val2
    0     5    10
    1     5    10
    2     5    10
    3     5    10
    
    24.12.2016
    Новые материалы

    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..

    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..

    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..

    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..

    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..

    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..

    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..