PyTorch深度学习：从基础知识到实践

PyTorch加载部分权重与词向量的处理
在PyTorch中，模型的权重可以通过.pth文件进行保存和加载。这种保存和加载的方式让我们可以在不同的设备上轻松地复用模型，或者在训练过程中随时随地加载部分权重。这种处理方式对于大型预训练模型尤其有利，因为它们通常需要大量的时间和计算资源进行训练。
一、PyTorch加载部分权重
在PyTorch中，如果要加载部分权重，我们通常会使用torch.load()函数来读取保存的权重文件。这里的关键是使用正确的键名与正确的文件路径。例如，如果我们的模型结构是MyModel，我们可以在训练中途停止并保存当前的权重：

model = MyModel()  # 初始化模型
model.train()  # 切换到训练模式
...  # 训练过程
torch.save(model.state_dict(), 'my_model_weights.pth')  # 保存权重

然后，在之后的某个时间点，我们可以加载这些权重：

model = MyModel()  # 初始化模型
model.load_state_dict(torch.load('my_model_weights.pth'))  # 加载权重
model.eval()  # 切换到评估模式

注意，这里load_state_dict()函数是用来加载权重的，并且它需要一个状态字典作为输入，这个字典包含了模型的全部权重信息。
二、PyTorch加载词向量
在NLP应用中，词向量是非常重要的部分。PyTorch提供了很多预训练的词向量模型，如GloVe、Word2Vec和FastText等。这些词向量的模型可以直接作为嵌入层用于各种NLP任务。
加载词向量的方式通常如下：

import torch
from torchtext.legacy import data, datasets
# 使用预训练的词向量模型
TEXT = data.Field(tokenize='spacy', tokenizer_language='en_core_web_sm')
train, val, test = datasets.TREC(root='./data').splits(TEXT)
TEXT.build_vocab(train)
# 获取词向量大小
vector_size = TEXT.vocab.vectors_size
print('词向量大小：', vector_size)  # e.g., 764545, for 300 dimensions plus masking token.
# 加载预训练的词向量模型并设置为嵌入层
pretrained = torchtext.vocab.GloVe(name='glove.6b', dim=300)  # downloaded from torchtext vocab package.
TEXT.vocab.set_vectors(pretrained)  # set the embeddings for all words in the vocab to the pretrained embeddings.

这样就可以将预训练的词向量用于NLP任务了。当然，如果你有自己训练的词向量模型，也可以用类似的方式加载到你的模型中。