入门NLTK：从零开始掌握Python自然语言处理

一、NLTK简介与安装

NLTK（Natural Language Toolkit）是Python生态中历史最悠久的自然语言处理（NLP）库，由斯坦福大学与宾夕法尼亚大学联合开发，专为教学与研究设计。其核心优势在于提供标准化数据集（如布朗语料库、古腾堡计划文本）和模块化工具链，覆盖分词、词性标注、句法分析等基础任务。

安装步骤

1. 环境准备：确保Python版本≥3.6，推荐使用虚拟环境（如venv或conda）隔离依赖。
2. 安装NLTK：

   pip install nltk

3. 下载数据集：首次使用时需运行以下代码下载内置资源：

   import nltk
   nltk.download('all')  # 下载全部数据（约3GB）
   # 或按需下载（推荐）
   nltk.download(['punkt', 'stopwords', 'averaged_perceptron_tagger'])

二、基础功能演示

1. 分词（Tokenization）

分词是将文本拆分为单词或句子的过程。NLTK提供两种核心分词器：

• 词分词（Word Tokenizer）：

  from nltk.tokenize import word_tokenize
  text = "NLTK is a powerful NLP library."
  tokens = word_tokenize(text)
  print(tokens)  # 输出: ['NLTK', 'is', 'a', 'powerful', 'NLP', 'library', '.']

• 句子分词（Sentence Tokenizer）：

  from nltk.tokenize import sent_tokenize
  text = "Hello world. This is NLTK."
  sentences = sent_tokenize(text)
  print(sentences)  # 输出: ['Hello world.', 'This is NLTK.']

2. 停用词过滤

停用词（如”the”、”is”）通常对分析无贡献，需过滤：

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
stop_words = set(stopwords.words('english'))
text = "This is an example sentence with stopwords."
filtered_words = [word for word in word_tokenize(text) if word.lower() not in stop_words]
print(filtered_words)  # 输出: ['This', 'example', 'sentence', 'stopwords', '.']

3. 词干提取与词形还原

• 词干提取（Stemming）：

  from nltk.stem import PorterStemmer
  stemmer = PorterStemmer()
  words = ["running", "runs", "ran"]
  print([stemmer.stem(word) for word in words])  # 输出: ['run', 'run', 'ran']

• 词形还原（Lemmatization）（需词性标注）：

  from nltk.stem import WordNetLemmatizer
  from nltk.corpus import wordnet
  lemmatizer = WordNetLemmatizer()
  words = ["better", "running"]
  # 需指定词性（n=名词, v=动词, a=形容词）
  print(lemmatizer.lemmatize("better", pos="a"))  # 输出: good
  print(lemmatizer.lemmatize("running", pos="v"))  # 输出: run

三、核心模块解析

1. 词性标注（POS Tagging）

NLTK使用预训练的感知机模型进行词性标注：

from nltk import pos_tag
from nltk.tokenize import word_tokenize
text = "The quick brown fox jumps."
tokens = word_tokenize(text)
tagged = pos_tag(tokens)
print(tagged)  # 输出: [('The', 'DT'), ('quick', 'JJ'), ...]

标签集遵循宾州树库标准（如NN=名词，VB=动词）。

2. 命名实体识别（NER）

需结合词性标注和模式匹配：

from nltk import ne_chunk, pos_tag, word_tokenize
from nltk.tree import Tree
text = "Apple is looking at buying U.K. startup for $1 billion."
tokens = word_tokenize(text)
tagged = pos_tag(tokens)
entities = ne_chunk(tagged)
for entity in entities:
    if isinstance(entity, Tree):
        print(f"{' '.join([leaf[0] for leaf in entity.leaves()])}: {entity.label()}")
# 输出: Apple: ORGANIZATION, U.K.: GPE, $1 billion: MONEY

3. 语料库操作

NLTK内置多种语料库，访问方式如下：

from nltk.corpus import gutenberg, brown
# 古腾堡计划文本
file_ids = gutenberg.fileids()
print(gutenberg.raw('austen-emma.txt')[:100])  # 输出前100字符
# 布朗语料库（按文体分类）
print(brown.categories())  # 输出: ['advertising', 'belles_lettres', ...]
print(brown.words(categories='news')[:10])  # 输出新闻类前10词

四、实战案例：文本分类

以下是一个基于NLTK的简单情感分析流程：

1. 数据准备

from nltk.corpus import movie_reviews
documents = [(list(movie_reviews.words(fileid)), category)
             for category in movie_reviews.categories()
             for fileid in movie_reviews.fileids(category)]

2. 特征提取

from nltk import FreqDist
from nltk.collocations import BigramCollocationFinder
def extract_features(words):
    return dict([('contains(%s)' % word, True) for word in set(words)])
featuresets = [(extract_features(words), category) for (words, category) in documents]

3. 训练分类器

from nltk.classify import NaiveBayesClassifier
from sklearn.model_selection import train_test_split
# 划分训练集/测试集
train_set, test_set = train_test_split(featuresets, test_size=0.2)
# 训练朴素贝叶斯分类器
classifier = NaiveBayesClassifier.train(train_set)
print("Accuracy:", nltk.classify.accuracy(classifier, test_set))

五、进阶建议

1. 性能优化：对大规模文本，考虑使用spaCy或Gensim替代NLTK的某些功能。
2. 深度学习集成：NLTK可与PyTorch/TensorFlow结合，例如用其预处理数据后输入神经网络。
3. 自定义语料库：通过nltk.corpus.reader模块加载自有数据。
4. 并行处理：对分词等任务，可用multiprocessing加速。

六、常见问题解决

1. 数据下载失败：检查网络代理设置，或手动下载后放置到~/nltk_data/目录。
2. 编码错误：处理非英文文本时，显式指定编码：

   with open('chinese.txt', 'r', encoding='utf-8') as f:
       text = f.read()

3. 版本冲突：使用pip check检测依赖冲突，建议固定版本（如nltk==3.8.1）。

NLTK作为NLP领域的“瑞士军刀”，其模块化设计使其成为教学和研究的首选工具。通过本文的初级教程，读者已具备处理基础NLP任务的能力。后续可深入学习其概率上下文无关语法（PCFG）解析器、依存句法分析等高级功能，或结合现代深度学习框架构建更复杂的系统。