Публикации по теме 'nlp'
Создайте свой языковой фильтр с помощью Python
Руководство о том, как создать языковой фильтр в python, полезный для цензуры нецензурной лексики и других неприемлемых вещей.
Языковой фильтр — это фильтр, в котором вы можете удалить ненужные ругательства, которые используются в контексте речи. Некоторая фильтрация необходима для сохранения подлинности веб-сайта или предоставляемой услуги.
Эта необходимая цензура может быть полезна и для различных проектов по обработке естественного языка. Вы можете использовать языковую..
Пометка явных комментариев с помощью BERT и Transformers
Цель этой статьи — пометить конфиденциальные комментарии, постоянно присутствующие на нескольких платформах социальных сетей, таких как Youtube, Linkedin и т. д., с помощью BERT и преобразователей предложений.
Одним из насущных вопросов при создании такой модели является время, необходимое для предоставления результатов. Средняя модель занимает около 1 или 2 секунд, когда она развернута с хорошо обслуживаемым сервером, состоящим из графических процессоров. Наоборот, то же самое время..
Подробные основы НЛП и практическая реализация на Python (часть 2)
Это метод преобразования слов в векторы.
Вложения Word могут быть двух типов:
На основе количества или частоты:
ПОКЛОН TF-IDF Одна горячая кодировка
Основанный на глубоком обучении
Word2Vec CBOW ПРОПУСТИТЬ ГРАММЫ
Преимущества Word2Vec :
Уменьшает разреженность Ограниченное измерение Семантическое значение улавливается
Скажем, есть 6 функций (используя словарь, мы получаем их):
Эти предварительно обученные слова определяются моделью DL, таких слов может..
BookClassifications By ML_Part 4_Flask
Эта часть посвящена использованию FLASK для развертывания системы BookClassification.
Функция прогнозирования: обработка входных данных и подготовка модели. Мы используем модель машинного обучения LightGBM, описанную в https://medium.com/@ruolanlin/bookclassifications-by-ml-part-1-a4a1911355b . Каркас фляги. Он включает в себя два файла: один файл HTML predict.html для ввода текстовых данных и показывает результат прогнозирования, другой файл app.py для обработки прогнозирования и..
Ясное объяснение моделей распространения
Недавно Hugging Face выпустила новый инструментарий для диффузора. Этот набор инструментов позволит исследователям и разработчикам разрабатывать и обучать свои собственные модели распространения. Вот почему я решил написать этот пост в блоге, чтобы объяснить основы моделей диффузии и почему они такие классные. Итак, давайте углубимся в это! 🤗
Что такое модель распространения?
Начнем с некоторых определений. Диффузоры — это генеративные модели машинного обучения. Это..
Пять подходов к управлению разговорным диалогом
Пять подходов к управлению разговорным диалогом
И какие элементы могут играть вспомогательную роль
Введение
При создании чат-бота важна разработка, управление и тонкая настройка состояния диалогового потока. Некоторые элементы диалогового ИИ действительно предназначены для использования в качестве основы диалога, другие должны использоваться в качестве поддержки или только для определенных случаев использования.
Существует 5 основных подходов к управлению беседой:..
Презентация проекта HDSC Winter ’22 Premiere: Курсы валют 2000–2019 гг.
Проект команды НЛП
Введение
Курс иностранной валюты или курс FOREX — это курс, по которому одна валюта обменивается на другую. Проще говоря, это стоимость одной валюты в другой. Валютный рынок определяет курсы FOREX, которые часто колеблются в зависимости от сделок между трейдерами. Например, обменный курс найры к доллару составляет 415,76. Это означает, что для покупки доллара требуется 415,76 найры.
Как мы, должно быть, слышали, данные — это новая нефть. Технология науки о..
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально
Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение
Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования
Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv)
Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..