Nano Hash - криптовалюты, майнинг, программирование

Как прочитать несколько файлов и загрузить их в фрейм данных

У меня есть список CSV в папке с именем 11 в C:\1. Все данные имеют одинаковое количество столбцов.

A.csv

aa    zz    1     AA  
aab   qq    3     FF
ca    qq    5     QQ

Б.csv

aa    GG    09    VV
aab   HH    03    WW
ca    CC    0     UU

Как мне прочитать каждый файл в этой папке в кадре данных, чтобы между каждыми новыми данными, считанными из csv, был пустой столбец.

чтобы это выглядело так:

A     B     C     D     E    F     G     H     I
aa    zz    1     AA         aa    GG    09    VV
aab   qq    3     FF         aab   HH    03    WW
ca    qq    5     QQ         ca    CC    0     UU

I.e:

dfs = {i: pd.read_csv('C:\\1\\{}.csv'.format(i)) for i in ['a', 'b']}
print (dfs['a'])

Or:

import os
import pandas as pd
filelist = os.listdir(targetdir) 
df_list = [pd.read_table(file) for file in filelist]
big_df = pd.concat(df_list)


    FileNotFoundError: File b'b.csv' does not exist
python pandas csv path glob
09.12.2017

Ответы:


1

Вы можете добавить фрейм данных разделителя для каждого прочитанного файла, например:

import os
import pandas as pd

# with directory name 1, located at ~/1:
dir_name = "1"
path = "~"
dfs = []

# with files A.csv, B.csv in ~/1 (e.g. ~/1/A.csv):
for fname in os.listdir(f"{path}/{dir_name}"):

    df = pd.read_csv(f"{path}/{dir_name}/{fname}", header=None)
    spacer = pd.DataFrame([" "]*len(df))
    dfs.append(df)
    dfs.append(spacer)
master = pd.concat(dfs, axis=1)

master
     0   1  2     3  0    0   1  2   3  0
0   aa  zz  1    AA      aa  GG  9  VV   
1  aab  qq  3    FF     aab  HH  3  WW   
2   ca  qq  5    QQ      ca  CC  0  UU

Если вам действительно нужны алфавитные имена столбцов (A, B, C), которые вы указали в своем сообщении, используйте:

import string
colnames = string.ascii_uppercase
master.columns = [x for x in colnames[:len(master.columns)]]

Примечание. Путь к каталогу использует синтаксис Mac, но он должен быть достаточно простым для адаптации к Windows.

09.12.2017
  • Кажется, я получаю pandas.errors.ParserError: Ошибка токенизации данных. Ошибка C: ожидалось 1 поле в строке 4, увидел 2 09.12.2017
  • Обычно это происходит, когда вы неправильно указали разделитель для CSV-файлов или когда в файле есть дополнительные разделители, помимо тех, которые фактически разделяют столбцы. Например, способ, которым вы представили A.csv в своем исходном сообщении, с несколькими пробелами, разделяющими каждое поле, не будет работать. (Я предположил, что это было просто для презентации, поскольку вы сказали, что это файлы CSV, что означает разделение запятыми.) Проверьте свои разделители и убедитесь, что аргумент sep в read_csv верен. 09.12.2017
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..