Nano Hash - криптовалюты, майнинг, программирование

Как добавить значения в генератор при использовании биграмм в методе conditionalFreqDist в python?

Контекст: я использую NLTK для создания вероятностей биграмм. У меня есть корпус, из которого я сгенерировал биграммы. -> 'wordPairsBigram' относится к биграмме из корпуса. У меня есть предложение "Председатель компании сказал, что увеличит прибыль в следующем году". -> 'wordPairSentence' относится к биграммам в приведенном выше предложении.

Проблема: мне нужно сгенерировать вероятности биграмм. Для этого мне нужно найти условное частотное распределение образца предложения, которое я передам функции ConditionalProbDist. У меня есть следующий код, который вычисляет условную частоту биграмм предложения, доступных в корпусе.

fdListSentence1 = ConditionalFreqDist(wordBigram for wordBigram in wordPairsBigram if wordBigram in wordPairSentence1 )
print fdListSentence1.tabulate()

output:
        company   he said will year
     The    8    0    0    0    0
chairman    0    0    7    0    0
      he    0    0    0    2    0
    next    0    0    0    0    5
    said    0   21    0    0    0

Проблема Код отлично работает для всех биграмм, доступных в корпусе, и для примера предложения. Есть несколько биграмм, которые есть в примере предложения, но отсутствуют в корпусе. Они не учитываются при расчете частотного распределения.

Что мне нужно? Мне нужно частотное распределение биграмм в предложении. Если биграмма в предложении отсутствует в биграмме корпуса, мне нужно значение 0 при табулировании.

Любая помощь приветствуется. Я не знаю, как включить то, что я хочу в код.

python nlp regex nltk probability
19.02.2014

  • Вы можете опубликовать рабочий код. Теперь со всеми используемыми вами пространствами имен и верблюжьими регистрами трудно понять, что не так. 20.02.2014
  • в коде, который вы показываете Bigram, но когда вы выводите таблицу, она дает матрицу путаницы из отдельных слов. 20.02.2014
  • Привет @alvas, моя проблема не в сглаживании. Это что касается генератора. В корпусе есть биграммы. Пример предложения содержит биграммы. Нескольких биграмм в типовом предложении нет в биграмме корпуса. Код wordBigram для wordBigram в wordPairsBigram, если wordBigram в wordPairSentence1 берет пересечение биграмм слов в корпусе и образце предложения. Например, A = примеры биграмм предложения, B = биграммы корпуса. Здесь происходит следующее: A (перекресток) B. Я хочу, (A-B) U (перекресток B). Имеет ли это смысл ? или я должен объяснить больше? 20.02.2014
  • да, пожалуйста, объясните больше в посте, и я постараюсь диагностировать, что не так =) 21.02.2014
  • Хорошо. Допустим, мое предложениеBigram = (A,B,C,K,L,P) {все эти алфавиты представляют биграммы}. Биграмма корпуса имеет (A, B, C, D, E, F, G, H, A, B, C, D, G, G, B, C, A). Я хотел бы иметь частотное распределение 'sentenceBigrams'. Код «wordBigram для wordBigram в corpusBigram, если wordBigram в предложенииBigram» дает мне только (A, B, C) и частотное распределение A, B, C. Я хочу, чтобы количество частот A, B, C, а также количество частот K, L, P (они составляют предложениеBigram, которые не встречаются в корпусе) были равны 0. Помогает ли это? 25.02.2014

Ответы:


1

То, что вы пытаетесь сделать, это сгладить распределение. Существуют различные способы сглаживания, см. https://en.wikipedia.org/wiki/Сглаживание. .

Вот как выглядит один из способов аддитивного сглаживания:

from nltk.corpus import brown
from nltk.util import bigrams
from nltk.probability import ConditionalFreqDist
from itertools import chain

train = brown.sents()[:100]
test = brown.sents()[101:110]

cfd = ConditionalFreqDist()
train_bigrams = list(chain(*[bigrams(i) for i in train]))
for bg in train_bigrams:
    cfd[bg[0]].inc(bg[1])

# Or if you prefer a one-liner. 
cfd = ConditionalFreqDist((bg[0],bg[1]) for bg in list(chain(*[bigrams(i) for i in train])))


for bg in list(chain(*[bigrams(i) for i in test])):
    prob = cfd[bg[0]].freq(bg[1])
    prob = 0.0001 if not prob else prob
    print bg, prob

[выход]:

('said', 'it') 0.125
('it', 'would') 0.0001
('would', 'force') 0.111111111111
('force', 'banks') 0.0001
('banks', 'to') 0.0001
('to', 'violate') 0.0001
('violate', 'their') 0.0001
('their', 'contractual') 0.0001
('contractual', 'obligations') 0.0001
('obligations', 'with') 0.0001
('with', 'depositors') 0.0001
('depositors', 'and') 0.0001
('and', 'undermine') 0.0001
('undermine', 'the') 0.0001
('the', 'confidence') 0.0001
('confidence', 'of') 0.0001
('of', 'bank') 0.0001
('bank', 'customers') 0.0001
('customers', '.') 0.0001
('``', 'If') 0.0001
('If', 'you') 0.0001
('you', 'destroy') 0.0001
('destroy', 'confidence') 0.0001
('confidence', 'in') 0.0001
('in', 'banks') 0.0001
('banks', ',') 0.0001
(',', 'you') 0.0001
('you', 'do') 0.0001
('do', 'something') 0.0001
('something', 'to') 0.0001
('to', 'the') 0.0727272727273
('the', 'economy') 0.0001
('economy', "''") 0.0001
("''", ',') 0.205882352941
(',', 'he') 0.0001
('he', 'said') 0.0001
('said', '.') 0.166666666667
20.02.2014
Новые материалы
Кластеризация: более глубокий взгляд
Кластеризация — это метод обучения без учителя, в котором мы пытаемся найти группы в наборе данных на основе некоторых известных или неизвестных свойств, которые могут существовать. Независимо от..
Как написать эффективное резюме
Предложения по дизайну и макету, чтобы представить себя профессионально Вам не позвонили на собеседование после того, как вы несколько раз подали заявку на работу своей мечты? У вас может..
Частный метод Python: улучшение инкапсуляции и безопасности
Введение Python — универсальный и мощный язык программирования, известный своей простотой и удобством использования. Одной из ключевых особенностей, отличающих Python от других языков, является..
Как я автоматизирую тестирование с помощью Jest
Шутка для победы, когда дело касается автоматизации тестирования Одной очень важной частью разработки программного обеспечения является автоматизация тестирования, поскольку она создает..
Работа с векторными символическими архитектурами, часть 4 (искусственный интеллект)
Hyperseed: неконтролируемое обучение с векторными символическими архитектурами (arXiv) Автор: Евгений Осипов , Сачин Кахавала , Диланта Хапутантри , Тимал Кемпития , Дасвин Де Сильва ,..
Понимание расстояния Вассерштейна: мощная метрика в машинном обучении
В обширной области машинного обучения часто возникает необходимость сравнивать и измерять различия между распределениями вероятностей. Традиционные метрики расстояния, такие как евклидово..
Обеспечение масштабируемости LLM: облачный анализ с помощью AWS Fargate и Copilot
В динамичной области искусственного интеллекта все большее распространение получают модели больших языков (LLM). Они жизненно важны для различных приложений, таких как интеллектуальные..