Nano Hash - криптовалюты, майнинг, программирование

Удалить пустые строки из CSV-файла, созданного в Excel

У меня есть фрейм данных, импортированный из excel csv. Пока это работает, однако csv всегда сохраняет 49 999 строк, хотя данных всего около 10 000 строк. Все остальные строки пусты.

Как теперь выбрать только ту часть фрейма данных, содержащую хотя бы один столбец с данными? с одной строкой мне удалось это сделать:

 MyDF[length(MyDF[MyDF!=""])>0]

Но как я могу сделать это для всего фрейма данных? Я хотел бы назначить этот «вложенный фрейм данных» новому фрейму данных.

ИЗМЕНИТЬ пример данных:

Очень простой пример:

data<-matrix(c(1,2,1,NA,NA,NA),nrow=3,ncol=2,byrow=TRUE)
     [,1] [,2]
[1,]    1    2
[2,]    1   NA
[3,]   NA   NA

data2<-data[sum(!is.na(test))>0,]

не подмножество .. но почему?

r csv dataframe excel
15.01.2014

Ответы:


1

При чтении таких данных, созданных в Excel, вы должны позаботиться о NA и "", в зависимости от того, распознается ли столбец как числовой или как символ/коэффициент с помощью R. В качестве альтернативы вы можете добавить параметр na.strings = c("NA", "") при чтении ваших данных, поэтому все пробелы будут NA, и вам не нужно заботиться о "".

newdata = data[!apply(is.na(data) | data == "", 1, all), ]

!apply(is.na(data) | data == "", 1, all) внутри даст вам TRUE для строк, по крайней мере, с одним столбцом с данными. Для остальных ЛОЖЬ, поэтому их не берут.

Кроме того, при создании CSV-файла из Excel вы можете попробовать удалить все столбцы справа от ваших данных, потому что это также может искусственно создавать столбцы фантомных данных. Это работает также для удаления пустых строк внизу.

15.01.2014
  • не завершает ли дело поиск только полных строк? Но я этого не хочу, так как некоторые столбцы заканчиваются раньше других. Я хочу рядов, где хоть и только хоть! один столбец содержит данные. Как только столбец больше не содержит данных, файл завершается. 15.01.2014
  • Привет Спасибо за ваш подробный ответ. Как-то это вообще не подмножество. Я не знаю почему, хотя эти строки полностью пусты (и все символы), я попробовал это по вашему совету na.strings = c(NA,), а затем с этим: data2‹-data[sum(!is .na(data))›0,], но подмножество все равно не создается 15.01.2014
  • Можете ли вы добавить пример ваших данных? Вы можете выбрать 10 строк хороших строк и 10 строк плохих строк, а затем вставить результат dput(DF). 15.01.2014
  • Посмотрите на результат sum(!is.na(data))›0 и ответите сами. Все еще не понимаю, почему мой ответ, если он не работает для вас, работает с вашим примером. 15.01.2014
  • Извините, я допустил ошибку, ваша функция работает отлично :-) Большое спасибо за ваши усилия! 15.01.2014
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..