ByteCat

为了解决由长序列到定长向量转化而造成的信息损失的问题，人们引入了Attention机制（注意力机制）。

LSTM的一些应用案例。

LSTM全称为Long Short-Term Memory，即长短期记忆网络。它是一种特殊的RNN网络，该网络设计出来是为了解决长依赖问题。

RNN的一些应用案例。

RNN背后的想法是利用顺序的信息。

静态词向量指的是一个单词用一个唯一的词向量表示并不考虑上下文的变化，它最大的缺点是无法表达多意性。为此，诞生了动态词向量。

使用gensim加载中文预训练词向量。

使用gensim加载英文预训练词向量。

使用gensim库中的word2vec函数来训练词向量。

pytorch训练Skip-Gram模型实践。