在自然语言处理（NLP）的领域中，文本分类和情感分析是两个非常重要且具有广泛应用的任务。文本分类旨在将文本数据分配到预定义的类别中，而情感分析则专注于确定文本所表达的情感倾向，如积极、消极或中性。Python 的 Natural Language Toolkit（NLTK）库为我们提供了强大的工具来执行这些任务。本文将介绍如何使用 NLTK 进行文本分类和情感分析。

一、NLTK 简介

NLTK 是一个用于构建处理人类语言数据的 Python 库的领先平台。它提供了易于使用的接口，可以访问大量的语料库和词汇资源，如 WordNet。NLTK 还包含了一系列用于文本处理的算法，如分词、词性标注、命名实体识别等，非常适合用于文本分类和情感分析等任务。

二、环境准备

在开始之前，确保你已经安装了 NLTK 库。如果没有安装，可以使用以下命令进行安装：

pip install nltk

安装完成后，还需要下载一些必要的 NLTK 数据包：

import nltk
nltk.download('punkt')
nltk.download('stopwords')
nltk.download('movie_reviews')  # 用于情感分析示例

三、文本分类

1. 数据准备

我们将使用一个简单的示例数据集来进行文本分类。假设我们有一个关于水果和蔬菜的文本数据集，目标是将文本分类为“水果”或“蔬菜”类别。

import random

# 示例数据
documents = [
    ("苹果是红色的，很甜", "水果"),
    ("香蕉是黄色的，很软", "水果"),
    ("胡萝卜是橙色的，很有营养", "蔬菜"),
    ("西兰花是绿色的，富含维生素", "蔬菜"),
    ("草莓是红色的，有小籽", "水果"),
    ("菠菜是绿色的，富含铁", "蔬菜")
]

# 打乱数据顺序
random.shuffle(documents)

2. 特征提取

我们将使用词袋模型（Bag of Words）来提取文本特征。NLTK 提供了方便的工具来实现这一点。

from nltk import word_tokenize
from nltk.corpus import stopwords
from sklearn.feature_extraction.text import CountVectorizer

# 预处理函数
def preprocess(text):
    stop_words = set(stopwords.words('english'))  # 这里使用英文停用词，实际应用中可根据语言调整
    tokens = word_tokenize(text.lower())
    filtered_tokens = [token for token in tokens if token.isalpha() and token not in stop_words]
    return " ".join(filtered_tokens)

# 对文档进行预处理
preprocessed_documents = [(preprocess(text), label) for text, label in documents]

# 提取文本和标签
texts, labels = zip(*preprocessed_documents)

# 使用 CountVectorizer 创建词袋模型
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(texts)

3. 模型训练与评估

我们将使用 scikit-learn 库中的朴素贝叶斯分类器来进行文本分类。

from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score, classification_report

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.3, random_state=42)

# 训练朴素贝叶斯分类器
classifier = MultinomialNB()
classifier.fit(X_train, y_train)

# 进行预测
y_pred = classifier.predict(X_test)

# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Classification Report:\n", classification_report(y_test, y_pred))

四、情感分析

1. 使用 NLTK 自带的电影评论数据集

NLTK 提供了内置的电影评论数据集，非常适合用于情感分析示例。

from nltk.corpus import movie_reviews

# 获取所有文件的文件名和对应的类别
documents = [(list(movie_reviews.words(fileid)), category)
             for category in movie_reviews.categories()
             for fileid in movie_reviews.fileids(category)]

# 打乱数据顺序
random.shuffle(documents)

2. 特征提取

同样使用词袋模型来提取特征。

# 预处理函数（这里简单处理，实际应用中可更复杂）
def preprocess_review(words):
    stop_words = set(stopwords.words('english'))
    filtered_words = [word.lower() for word in words if word.isalpha() and word.lower() not in stop_words]
    return " ".join(filtered_words)

# 对评论进行预处理
preprocessed_documents = [(preprocess_review(words), category) for words, category in documents]

# 提取文本和标签
texts, labels = zip(*preprocessed_documents)

# 使用 CountVectorizer 创建词袋模型
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(texts)

3. 模型训练与评估

继续使用朴素贝叶斯分类器进行情感分析。

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, labels, test_size=0.3, random_state=42)

# 训练朴素贝叶斯分类器
classifier = MultinomialNB()
classifier.fit(X_train, y_train)

# 进行预测
y_pred = classifier.predict(X_test)

# 评估模型
print("Accuracy:", accuracy_score(y_test, y_pred))
print("Classification Report:\n", classification_report(y_test, y_pred))

五、总结

本文介绍了如何使用 NLTK 库进行文本分类和情感分析。我们使用了词袋模型和朴素贝叶斯分类器来完成这些任务。在实际应用中，可以根据具体需求选择更复杂的特征提取方法和分类算法，如 TF-IDF、支持向量机（SVM）、深度学习模型等。NLTK 提供了丰富的工具和资源，是自然语言处理学习和实践的良好起点。希望本文能帮助你入门文本分类和情感分析领域。

以上代码示例仅为简单演示，实际应用中可能需要对数据进行更复杂的预处理和模型调优。