Nano Hash - криптовалюты, майнинг, программирование

Как разделить данные на первые 808698 строк поезда, а остальные в качестве теста?

У меня есть два набора данных: тестовый и обучающий. Я собрал их в один csv. Я хочу разделить свои данные для обучения и тестирования. Но это не должно быть случайным. Мне нужно разделить первые 808699 строк поезда, а остальные в качестве теста?

Я пытался прочитать два разных CSV, но не смог.

from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=808698,test_size=121918,random_state=1)

ValueError: train_size=808698 should be either positive and smaller than the number of samples 121921 or a float in the (0, 1) range
python scikit-learn train-test-split
20.08.2019

  • каков результат len(x) или x.shape 20.08.2019
  • Если вы действительно хотите использовать train_test_split, просто присвойте значение 121918/808698 для test_size и удалите train_size. 20.08.2019
  • простой способ по-прежнему определять набор ur вручную. например x_test=line(от 0 до 808698) 20.08.2019
  • x имеют 22 столбца @mujjiga 20.08.2019
  • Я написал x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.15,random_state=1), но все равно случайно :( @akhetos 20.08.2019
  • stackoverflow.com/questions/43838052/ 20.08.2019
  • попробуйте shuffle=False в качестве аргумента, как предлагает документ: scikit -learn.org/stable/modules/generated/ 09.06.2021

Ответы:


1

Самый простой способ — использовать train_test_split (модуль sklearn), установив для перемешивания значение False. Shuffle имеет приоритет над параметром random_state. Итак, если вы установите перемешивание как FALSE, первые n наблюдений (т.е. 90 строк) в вашем наборе данных перейдут в набор данных поезда, а последние 10 строк перейдут в набор тестовых данных. Ваш код будет:

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=121918/930616, shuffle=False)
08.06.2021

2

Если у вас есть один df, используйте iloc, чтобы разделить их в соответствии с тем, что вы хотите:

df = pd.read_csv('...')
train = df.iloc[:808699]
test = df.iloc[808699:]
20.08.2019

3

Прежде всего, когда вы читаете обучающие и тестовые файлы, проверяйте их форму по отдельности.

train/test.shape должен дать вам вывод в следующем формате: (общее количество точек данных, общее количество функций)

Форма поезда должна быть (x,y)
Форма теста должна быть (x1,y)
Окончательная форма комбинированного набора данных должна быть ((x+x1),y)

Сделайте это для их объединения: train.append(test)

Затем, наконец, вы можете разделить их на X_train, X_test, y_train, y_test в зависимости от размера объединенного фрейма данных.

20.08.2019
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..