中文命名实体识别的实战代码：使用Jieba和HanLP

中文命名实体识别是自然语言处理中的一个重要任务，它旨在识别文本中的特定名词短语，如人名、地名、组织名等。在Python中，我们可以使用Jieba和HanLP这两个强大的工具来完成这项任务。

首先，确保你已经安装了Jieba和HanLP。如果还没有安装，可以通过pip进行安装：

pip install jieba
pip install hanlp

接下来，我们将通过一个简单的示例来展示如何使用这两个工具进行中文命名实体识别。

1. 数据预处理

首先，我们需要对文本数据进行预处理，包括分词、去除停用词等。Jieba是一个强大的中文分词工具，而HanLP则提供了更多的功能，如词性标注、命名实体识别等。

import jieba
from hanlp.components.ner.crf_ner import CRFNamedEntityRecognizer
from hanlp.pretrained import cws_model_v1
# 加载分词模型
segment = cws_model_v1()
# 预处理文本数据
def preprocess(text):
    words = segment(text)
    return [word.text for word in words]

2. 训练模型

HanLP提供了预训练的命名实体识别模型，我们可以直接使用这些模型，也可以自己训练模型。这里我们使用预训练模型。

# 加载预训练模型
recognizer = CRFNamedEntityRecognizer()
recognizer.load_model(model_path='./ner_model.h5')  # 指定模型路径，可以从HanLP官网下载预训练模型

3. 实体识别

现在我们可以使用训练好的模型进行实体识别了。首先，我们需要将文本分词，然后使用模型进行预测。最后，我们可以将预测结果转换为更易于理解的格式。

def recognize_entities(text):
    # 分词
    words = preprocess(text)
    # 预测实体
    entities = recognizer.predict(words)
    # 将结果转换为更易于理解的格式
    result = []
    for entity in entities:
        start_index = entity.start_index - len(words) + 1  # 调整起始位置，使其与分词结果对应
        end_index = start_index + len(entity.entity) - 1  # 调整结束位置，使其与分词结果对应
        result.append((start_index, end_index, entity.entity))  # 将结果保存为元组，包含起始位置、结束位置和实体内容
    return result

现在我们可以使用这个函数来识别文本中的实体了。