Gensim 文本处理与 Word2Vec 模型实战指南

什么是 Gensim？为什么需要它？

Gensim（Generate Similar）是一个高级 Python 库，专为文本向量化、主题建模和词嵌入模型训练而设计。它能够高效处理海量文本数据，无需将全部数据加载到内存中。该库最著名的功能包括支持 Word2Vec、FastText 和 LDA（潜在狄利克雷分配）模型。

Gensim 与其他库的不同之处在于，它专注于处理非结构化文本数据，并能处理超出内存容量的文档语料库。这使其成为分析大型文本集合（如新闻档案、学术论文或社交媒体数据）的理想工具。

Gensim 库的核心功能

词向量表示

Gensim 全面支持创建和使用词向量表示，包括 Word2Vec、FastText 和 Doc2Vec。这些模型能够将文本转换为数值向量，同时保留词语之间的语义关系。

主题建模

该库包含多种主题建模算法：

• LDA（潜在狄利克雷分配）——用于发现文档集合中的隐藏主题
• LSI（潜在语义索引）——用于降维和发现潜在概念
• HDP（层次狄利克雷过程）——用于自动确定主题数量

语料库处理

Gensim 通过流式处理实现高效的大规模文本语料库操作，使您能够分析超出内存容量的数据。

相似度计算

该库提供多种文档、词语和主题之间的相似度计算指标，包括余弦相似度和其他语义度量。

安装与基本配置

安装库

通过 pip 标准方式安装 Gensim：

pip install gensim

某些模型可能需要安装额外依赖：

pip install gensim[complete]

导入核心模块

import gensim
from gensim.models import Word2Vec, FastText, LdaModel, Doc2Vec
from gensim.corpora.dictionary import Dictionary
from gensim.corpora import MmCorpus
from gensim.similarities import Similarity
from gensim.utils import simple_preprocess

文本数据预处理

分词与预处理

Gensim 要求文档以列表的列表形式进行分词。正确的数据预处理对结果质量至关重要：

import re
from gensim.utils import simple_preprocess

def preprocess_text(text):
    """为 Gensim 预处理文本"""
    # 移除特殊字符
    text = re.sub(r'[^a-zA-Z\u4e00-\u9fff\s]', '', text)
    # 分词并转为小写
    tokens = simple_preprocess(text, deacc=True)
    return tokens

documents = [
    "Gensim 是一个用于 NLP 任务的有用库。",
    "它支持主题建模和词嵌入。",
    "Word2Vec 和 FastText 等模型都已实现。"
]

# 预处理文档
texts = [preprocess_text(doc) for doc in documents]

创建词典与语料库

# 创建词典
dictionary = Dictionary(texts)

# 过滤极端值
dictionary.filter_extremes(no_below=2, no_above=0.5, keep_n=100000)

# 创建语料库（词袋表示）
corpus = [dictionary.doc2bow(text) for text in texts]

使用 Word 模型