Я пытаюсь выполнить генерацию текста на уровне слов и столкнулся с следующей проблемой:
Мой ввод выглядит так:
tokenized_seq = [[w2v_model.wv.vocab[word].index for word in w2v_data[i]] for i in range(len(w2v_data))]
x_seq = []
y_seq = []
for seq in tokenized_seq:
x_seq.append(seq[:-1])
y_seq.append([seq[-1]])
Итак, я иду по последовательности (закодированные слова usnig word2vec) с скользящим окном фиксированного размера (токенизированный _seq — это список последовательностей фиксированной длины).
Посмотрите пример:
Блок кода:
print(x_seq[0], '->', y_seq[0])
print(' '.join([w2v_model.wv.index2word[i] for i in x_seq[0]]), '->', w2v_model.wv.index2word[y_seq[0].pop()])
Выход:
[608, 1661, 1, 4260, 1, 3, 2978, 741, 0, 153, 740, 1, 12004] -> [109]
часть первая . i . — eh bien , mon prince . gênes -> et
Итак, я пытаюсь ввести все вышеперечисленное в слой Embedding.
model = Sequential()
model.add(Embedding(input_dim=vocab_size,
output_dim=emdedding_size,
input_length=avg_sent_len-1,
weights=[predtrained_weights]
trainable=False))
model.add(Bidirectional(LSTM(units=128)))
model.add(Dense(units=vocab_size, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
history = model.fit(x_seq, y_seq,
epochs=10,
batch_size=128,
validation_split=0.2,
verbose=2)
Параметры встраивания:
predtrained_weights = w2v_model.wv.vectors
vocab_size, emdedding_size = w2v_model.wv.vectors.shape
avg_sent_len — длина каждой последовательности в x_seq.
Модель компилируется хорошо, но при подгонке получаю следующую ошибку:
ValueError: Error when checking target: expected dense_40 to have shape (31412,) but got array with shape (223396,)
(31412,) равно vocab_size 223396 равно x_seq или y_seq длине (количество входных последовательностей) Итак, кто-нибудь может мне помочь?
vocab_size, но предоставленный ввод (и я думаю, что это правильный путь) - этоx_seq.shape, что не то же самое. Так что я немного смущен 02.04.2019input_shapeэтого слоя должно быть(seq_len, embedding_size), а не(vocab_size, seq_len), как вы написали в своем коде. Если это не поможет, предоставьте сообщение об ошибке, которое вы получите. 02.04.2019model.add(Bidirectional(LSTM(units=128))как в нескольких примерах, так и указать форму ввода, как вы сказали:model.add(Bidirectional(LSTM(units=128, input_shape=(len(x_seq), emdedding_size))))И оба способа не помогли. Сообщение об ошибке, которое я получаю:ValueError: Error when checking target: expected dense_34 to have shape (31412,) but got array with shape (223396,)31412, - размер словаря, 223396 - длинаx_seq(вход) 02.04.2019y_seq), а не с входами (x_seq). Ваша цель должна иметь форму(batch_size, vocab_size), где каждая из строк является одной горячей кодировкой. И вы действительно можете просто пропуститьinput_shapeслоя LSTM. 02.04.2019categorical_crossentropyкак потерю, ваши метки обязательно должны быть закодированы в горячем режиме. В качестве альтернативы вы можете использоватьsparse_categorical_crossentropy. В этом случае ваши метки должны иметь форму(batch_size, 1)и не быть закодированы горячим способом. Например, следующие фиктивные данные будут работать с разреженной категориальной кроссэнтропией:x_seq = np.random.rand(n_samples, seq_len)иy_seq = np.random.randint(0, vocab_size, n_samples).reshape((-1,1)). 02.04.2019catigorical_crossetrpyвместоsparse_categorical_crossentropy. После добавления префикса sparse в функцию активации все заработало. 03.04.2019