Nano Hash - криптовалюты, майнинг, программирование

Как загрузить файл csv из корзины S3 в массив numpy

У меня есть файл csv в корзине AWS S3. Как загрузить CSV и назначить его массиву numpy?

[Используя Python 3.6/boto3]

Я пробовал различные формы, в том числе:

    s3 = boto3.resource('s3', region_name=region)
    obj = s3.Object(bucket, key)

    with io.BytesIO(obj.get()["Body"].read()) as f:
       # rewind the file
       f.seek(0)

    arr_data = numpy.load(f)

    arr_data = numpy.genfromtxt('https://BUCKETNAME.s3-eu-west-1.amazonaws.com/folder/infile.csv',dtype='str',delimiter=',')

Это тоже не работает

По сути, я пытаюсь воспроизвести в S3: arr_data = np.genfromtxt('path...input.csv',dtype='str',delimiter=',')

numpy amazon-s3 aws-lambda
29.07.2019

Ответы:


1

Мне удалось преобразовать csv в массив numpy, используя промежуточные панды... не уверен, что это то, что вы ищете. Но вот как я это сделал:

import pandas as pd
import numpy as np

data_location = 's3://<path>'
data = pd.read_csv(data_location)
data_numpy = data.value.values.reshape(-1,1)
29.07.2019
  • Спасибо, но я должен был внести ясность, не используя панд... только используя numpy. 29.07.2019
    • Новые материалы
    Кластеризация: более глубокий взгляд
    Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
    Как написать эффективное резюме
    Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
    Частный метод Python: улучшение инкапсуляции и безопасности
    Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
    Как я автоматизирую тестирование с помощью Jest
    Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
    Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
    Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
    Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
    В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
    Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
    В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..