Nano Hash - криптовалюты, майнинг, программирование

Проблемы с разделением текста на предложения

Я пытаюсь найти лучший подход к разбиению текста на предложения.

Я попробовал Стэнфордский НЛП и был фактически разочарован тем, насколько плохо он работал.

Например

"Who are you?" asked another man.

Он распознал два предложения: "Who are you?" и asked another man.

He said, "Nothing. Nothing at all."

Он распознал как два предложения:

He said, "Nothing. и Nothing at all.".

Я также попробовал обычную ванильную Java BreakIterator.getSentenceInstance, и она не понимает никаких сокращений. Например, г-н президент, оно разбивается на два предложения «г-н». и «Президент». Тем не менее, Стэнфордский НЛП не делил Сэмюэля Л. Джексона или Джорджа Буша-младшего на несколько предложений.

Так что я в растерянности, что еще попробовать.

stanford-nlp text-processing
05.04.2019

  • Возможно, вы пробуете крайние случаи. Как работает ваш целевой текст? 06.04.2019
  • Я не пробовал крайние случаи. Это обычный текст. 06.04.2019
  • Я имею в виду крайние случаи для модели. Возможно, его обучали на разных текстах. У вас есть конкретные тексты для разделения? Если да, можете ли вы показать пример? 06.04.2019
  • Я использую Стэнфордскую библиотеку НЛП. Это пример текста, который я пробовал: Dead. Он сказал это без эмоций. Он сказал: Ничего. Вообще ничего. Наконец он сказал: «Конечно, осложнение… но не проблема». Он долго смотрел на Корта. Знакомое лицо, сказал он. Без бороды и дождевой воды, возможно, я узнал бы тебя? Кто ты? — спросил другой мужчина. Суд не ответил. Вместо этого он сказал: «Нам нужно войти внутрь». Быстро. Исход переговоров жизненно важен, потому что нынешние уровни налогов, подписанные президентом Джорджем Бушем, истекают 31 декабря. 06.04.2019

Ответы:


1

Существует две основные методики разделения предложений:

  1. Модель на основе правил
  2. Прогнозирующая модель

CoreNLP использует класс TokenizeProcessor для разделения предложений и токенизации.

Пакет Stanford NLP использовал данные для обучения своей английской модели с помощью http://universaldependencies.org.

Кажется, что символ кавычки " является важной особенностью ваших данных.

Рассматривая один из тестовых наборов данных, мы видим только 36 случаев из 2000 предложений.

Если это показательно, похоже, что модель разделения предложений плохо представляет эту функцию, а это означает, что она, вероятно, не будет хорошо работать при разделении предложений кавычками.

Это довольно распространенное явление, и, скорее всего, вам придется обучать модель разбиения предложений на свои данные.

В качестве альтернативы может работать подход, основанный на правилах, если контекст ваших данных надежен.

06.04.2019
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..