Публикации по теме 'dask'
Оптимизация моделей Scikit-learn с использованием серверной части Ray
Авторы: Дивьянк Гарг, Аджит Патанкар, Сабьясачи Мукхопадхьяй, Субхабрата Банерджи, Пуджа Аяниле
Введение
Как описано в предыдущих сообщениях, Ray можно использовать для распределения обучения модели по кластеру машин. В предыдущем примере не было интеграции sklearn и Ray. В этом посте мы описываем тесную интеграцию sklearn и Ray и показываем, как эта интеграция приводит к повышению производительности без ущерба для точности. Эта интеграция достигается путем указания Ray в качестве..
Вопросы по теме 'dask'
Как преобразовать список фьючерсов Pandas в Dask Dataframe?
У меня есть список фьючерсов Dask, которые указывают на кадры данных Pandas:
from dask.dataframe import Client
client = Client()
import pandas
futures = client.map(pd.read_csv, filenames)
Как преобразовать их в фрейм данных Dask?...
23.11.2023
Как я могу перечислить запущенные процессы с помощью Dask?
Я начинаю работу с dask. Для моего собственного понимания (и понимания моих коллег, которым я хочу продемонстрировать dask) я хочу создать базовый фрейм данных, выполнить базовую операцию и сравнить время выполнения с реализацией только для панд....
07.12.2023
Серверная часть Numba `nogil` + dask threading не приводит к ускорению (вычисления медленнее!)
Я пытаюсь использовать Numba и Dask для ускорения медленных вычислений, аналогичных вычислению ядра оценка плотности огромного набора точек. Мой план состоял в том, чтобы написать вычислительно затратную логику в функции jit ed, а затем...
10.01.2024
Применить json.loads для столбца фрейма данных с помощью dask
У меня есть кадр данных fulldb_accrep_united такого типа:
SparkID ... Period
0 913955 ... {"@PeriodName": "2000", "@DateBegin": "2000-01...
1 913955 ... {"@PeriodName": "1999",...
02.01.2024
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..