中文文本分类实战：TF-IDF与SVM实现高效话题分类

简介：文本分类是自然语言处理中最基础也最实用的任务之一，广泛应用于舆情监测、内容分发、客服工单流转等场景。其核心在于将非结构化的文本转换为结构化特征，再通过机器学习模型完成自动归类。在众多特征表示方法中，TF-IDF通过衡量词频与逆文档频率，有效突出文档的关键信息，配合线性支持向量机（SVM）的间隔最大化特性，能够在中小规模数据上取得高准确率与强泛化能力。相比深度学习模型，这一组合训练快、可解释性强、部署成本低，特别适合CPU环境下的实时分类需求。本文从数据清洗、中文分词、特征工程到模型调优，完整讲述了一套可复现的文本分类项目实践，并针对类别不平衡、过拟合、分词错误等常见问题给出排查方案，帮助开发者快速构建稳定可用的分类系统。 先交代一下背景，这类项目我前后做过好几个版本，最早是给一个内容平台做频道打标，后来帮朋友处理过舆情数据的粗分类，再到自己折腾着对比各种模型。整体感受是：话题文本分类这个方向，入门门槛并不高，但真正要做得可用、稳定、能上线，中间藏着不少坑。这篇博文就围绕我最近一次完整的实践来写，从数据准备、特征工程、模型选型到调参避坑，尽量把关键细节都摊开讲清楚。

1. 项目整体设计与思路拆解

1.1 业务目标与核心需求

先明确这个项目到底要干什么。话题文本分类，本质上就是把一段自然语言文本，自动判定到预先定义好的某个话题类别里。比如一条新闻“国足客场逆转取胜”，在体育频道应该归为体育；一条帖子“新款手机续航实测表现优秀”，更可能属于数码产品讨论。这类需求在内容分发、舆情监测、客服工单自动流转、社交平台话题聚合等场景里非常普遍。

我这次做的目标比较明确：给一批新闻语料做多分类，类别包括体育、财经、科技、娱乐、健康、教育六大类。数据是从公开渠道整理的中文新闻文本，单条平均长度在200到800字之间。训练集大约1.2万条，测试集3000条，类别分布基本均衡。

核心需求拆解下来有三点：

1. 准确率要过基线：不能只是“能跑”，要在测试集上稳定达到一定准确率（我给自己定的目标是F1值不低于0.85）。
2. 处理流程要可复现：从原始文本到最终分类结果，每一步都应该是清晰、可控的，不能有“玄学”成分。
3. 具备扩展性：后续如果新增类别、新增语料，能够快速适配，而不是推翻重来。

1.2 技术方案选型考量

现在做文本分类，可选的技术路线大致分三类：

这次项目我选择的是TF-IDF + 线性SVM作为主力方案，同时用朴素贝叶斯和逻辑回归做基线对比。有人可能会问，为什么不直接上BERT？原因很实际：

第一，数据量不支持。1.2万条训练数据，对于训练一个深度模型来说只是杯水车薪。虽然可以用预训练模型做微调，但效果提升未必明显，反而会引入部署复杂度。

第二，可解释性要求高。做内容分类业务，经常需要回答“为什么把这条文本分到体育类？”传统机器学习能直接给出每个词对分类决策的权重贡献，方便人工复核和后续调整规则。

第三，推理速度和部署成本。服务端如果是CPU部署，TF-IDF加SVM的模型体积只有几MB，单条文本推理耗时在毫秒级，完全满足实时分类需求。BERT类模型的体积和推理延迟都高出一个数量级。

当然，方案选型不等于“只用一种”。我在验证阶段还把Word2Vec词向量作为特征训练了神经网络分类器做对比，最终结论放到后面讲。

1.3 整体处理流程设计

整个项目的处理流程可以分成五个环节：

1. 数据采集与清洗：读取原始文本，去掉无效字符、URL、乱码等噪音。
2. 文本预处理：分词、去除停用词、词性过滤等。
3. 特征工程：把文本转成TF-IDF向量，处理n-gram特征，控制特征维度。
4. 模型训练与调优：划分训练集/验证集，训练分类器，网格搜索调参。
5. 评估与部署：在测试集上评估各项指标，导出模型，封装成可调用的接口。

这五个环节不是线性执行就完了，实际过程中会反复迭代。比如我一开始预处理阶段做了太多过滤，结果模型效果反而下降，后来又逐步放宽，才找到了合适的度。这些细节后面会展开讲。

2. 核心细节解析与实操要点

2.1 数据准备与标注策略

数据质量直接决定模型效果上限，这个道理谁都懂，但实际操作中很多人还是会在这一步图省事。

我这次用的数据是公开可获取的新闻语料。原始数据里存在几个问题：

• 编码混杂：有的文本是UTF-8，有的是GBK，还有夹杂乱码的。
• 标题与正文重复：部分数据把标题重复拼接在正文里，对分类帮助不大但会引入冗余。
• 类别标注噪声：有些文本内容模棱两可，比如“科技公司发布新款运动手表”既涉及科技也涉及体育，原始标注可能不一致。

针对这些问题，我做了以下处理：

统一的编码转换，遇到无法识别编码的文本直接丢弃，保证数据干净。

文本清洗，去掉HTML标签、URL、特殊符号、多余空格、全角半角统一。这里有个小技巧：全角字符统一转半角后再做分词，可以避免同一个字被拆成两种形式。

类别标注复核。对置信度不高的样本，我写了简单规则做辅助判断（比如包含“股市”“基金”等强特征词的文本，基本可以归为财经），人工抽检200条确认标注一致性。

提示：数据标注是整个项目里最值得花时间的一步。不要指望完全用程序自动标注，一些边界样本需要人工判断。如果预算允许，找一个同学或同事帮忙交叉标注，计算Kappa系数确认一致性，效果会好很多。

2.2 中文分词与停用词处理

分词是中文NLP无法绕开的一步。英文单词天然有空格分隔，中文没有。我选择的是jieba分词，原因很简单：社区成熟、安装方便、支持自定义词典和用户词典，对绝大多数场景够用。

import jieba text = "国足客场逆转取胜，晋级十二强赛" words = jieba.lcut(text) print(words) # ['国足', '客场', '逆转', '取胜', '，', '晋级', '十二强赛']

这里有三个细节值得注意：

第一，要不要去停用词？我一开始用的是网上常见的停用词表，但跑下来发现效果不升反降。原因在于：某些模式下，像“是什么”“如何”“为什么”这类词虽然看起来没有实义，但出现在教育类或科技类文本中的频率有微小差异，去掉后反而失去了一部分弱信号。我的最终方案是只去标点符号和数字，保留全部实词和虚词，让模型自己去学权重。

第二，自定义词典非常关键。新闻语料里有大量专有名词和网络新词，比如“新能源”“碳中和”“芯片”这些词，如果不在分词词典里，会被拆得七零八落。我在项目中加载了自定义词典，效果立竿见影。

jieba.load_userdict("custom_dict.txt") # 每行一个词，格式：词语 词频 词性（可选） # 新能源 100 n # 碳中和 100 n

第三，要不要做词性过滤？我试过只保留名词、动词、形容词，发现体育类文本里像“漂亮”“精彩”这类形容词其实是强特征，过滤掉会损失信息。最终结论是：在TF-IDF模型里，不做词性过滤，让统计特征自己去发现规律。词性过滤更适合规则模型或关键词提取场景。

2.3 特征工程与TF-IDF原理

在传统机器学习方案中，文本需要先转成向量才能送入模型。最经典的做法就是TF-IDF。

TF（词频）衡量一个词在文档中出现的次数，IDF（逆文档频率）衡量一个词在全部文档中出现的频次有多稀有。两者相乘得到TF-IDF值，表达的含义是：这个词在这篇文档中越频繁出现，同时在整体语料中越稀有，它对这篇文档的代表性就越强。

拿“科技”和“的”作为对比：

• “科技”在某一篇科技新闻里出现多次，但在全部语料中不是到处都有，所以IDF高，TF-IDF值高。
• “的”在每篇文章里几乎都出现，IDF趋近于0，TF-IDF值趋近于0，几乎不起作用。

sklearn里实现TF-IDF向量化很简单：

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer( ngram_range=(1, 2), # 使用unigram + bigram max_features=50000, # 限制特征数量 min_df=2, # 至少在2篇文档中出现 max_df=0.8 # 出现在超过80%文档中的词忽略 ) X_train_tfidf = vectorizer.fit_transform(X_train) X_test_tfidf = vectorizer.transform(X_test)

这里每个参数背后都有讲究：

ngram_range=(1, 2)：加入bigram特征可以捕捉词组信息，比如“人工智能”如果被分成“人工”“智能”两个词，单看任何一个都不够强，但组合起来就是强特征。代价是特征维度爆炸，所以一定要配合max_features限制。

min_df=2：只出现过一次的词大概率是噪音或者错词，直接丢掉。这个值对1.2万条数据比较合适，数据量更大的场景可以调到3或5。

max_df=0.8：超过80%文档都包含的词，区分度太低，丢掉可以降噪降维。

max_features=50000：控制特征矩阵大小，避免维度海啸。50000维在SVM里完全可接受，而且线性的特征空间在分类时计算成本并不高。

注意：在数据量上，max_features不是越大越好。特征过多会引入噪音，增加过拟合风险；但如果太小，又会丢失有效信息。我测试过10000、20000、50000、100000四档，50000左右的验证集效果最优。

2.4 模型选型与对比实验

我训练了三种模型做对比：多项式朴素贝叶斯（MultinomialNB）、逻辑回归（LogisticRegression）、线性SVM（LinearSVC）。

选择这三种模型的原因：它们都是线性分类器，在TF-IDF特征空间里训练速度快、效果好，而且各有侧重：

• 朴素贝叶斯：假设特征条件独立，在文本分类里通常效果好得出奇，尤其适合小数据量。但它的概率估计可能有偏差，有时候分类边界不够精确。
• 逻辑回归：可以输出概率，解释性好，正则化参数C可以调节，对特征权重的拟合比较精细。
• 线性SVM：优化目标是最大化分类间隔，在文本高维稀疏场景下非常有效，泛化能力强，是我这次的主力模型。

代码如下：

from sklearn.naive_bayes import MultinomialNB from sklearn.linear_model import LogisticRegression from sklearn.svm import LinearSVC models = { "MultinomialNB": MultinomialNB(), "LogisticRegression": LogisticRegression(max_iter=1000, C=1.0), "LinearSVC": LinearSVC(C=1.0) } for name, model in models.items(): model.fit(X_train_tfidf, y_train) accuracy = model.score(X_test_tfidf, y_test) print(f"{name}: {accuracy:.4f}")

跑出来的结果大概如下（具体数值不同数据会有差异）：

线性SVM在准确率上领先了约1个百分点，训练耗时也在可接受范围内。注意这里的耗时是在CPU上跑的，接近1.2万条训练集、5万维特征，12秒属于正常水平。

这个对比结果表明：在中小规模中文文本分类任务上，线性SVM往往是个性价比极高的选择。它的训练速度远快于深度学习模型，效果又能超过大多数传统模型。

3. 实操过程与核心环节实现

3.1 环境搭建与依赖版本

先说环境。Python版本我用的3.9，不是最新的3.12，原因是有部分NLP相关依赖对最新版本兼容性不好（比如老版本的paddle相关库）。如果你只是用jieba+sklearn，3.8到3.11都没问题，但是为了减少不必要的踩坑，还是建议用3.9或3.10。

依赖库及版本如下：

pip install jieba==0.42.1 pip install scikit-learn==1.3.2 pip install pandas==2.1.4 pip install numpy==1.26.2 pip install joblib==1.3.2

提示：这里有一个容易踩的坑——numpy版本。sklearn 1.3.x对numpy有最低版本要求，如果本机numpy版本过旧，会直接报错。建议先升级numpy再装sklearn。

3.2 数据加载与预处理代码实现

数据格式我用的是CSV，包含两列：text和label。直接看代码：

import pandas as pd import re import jieba df = pd.read_csv("news_dataset.csv", encoding="utf-8") print(df.shape) print(df["label"].value_counts())

接下来是清洗函数：

def clean_text(text): # 去除HTML标签 text = re.sub(r"<[^>]+>", "", text) # 去除URL text = re.sub(r"https?://\S+|www\.\S+", "", text) # 去除多余空白 text = re.sub(r"\s+", " ", text) # 全角转半角 text = text.replace("\u3000", " ").replace("\xa0", " ") # 去除特殊符号（保留中文、英文、数字） text = re.sub(r"[^\u4e00-\u9fff\u0030-\u0039\u0041-\u005a\u0061-\u007a\s]", "", text) return text.strip() df["text_clean"] = df["text"].apply(clean_text)

然后是分词函数。这里我把标点过滤和停用词过滤合在一起：

import jieba # 加载自定义词典 jieba.load_userdict("custom_dict.txt") STOP_WORDS = set() with open("stopwords.txt", "r", encoding="utf-8") as f: for line in f: word = line.strip() if word: STOP_WORDS.add(word) def tokenize(text): words = jieba.lcut(text) # 只保留长度大于1的词，去掉标点和单字 return [w for w in words if len(w.strip()) > 1 and w not in STOP_WORDS]

注意最后一个列表推导式里，我只去掉了长度等于1的词（含单字和标点）以及显式停用词，没有做更激进的过滤。这在项目早期看着像是“偷懒”，实际是反复实验后得出的最优解。

3.3 可视化各类别的高权重特征词

这一步非常直观地帮助我理解模型在做分类时的依据。训练完SVM后，我可以输出每个类别对应的Top特征词。

import numpy as np feature_names = vectorizer.get_feature_names_out() def show_top_features(model, vectorizer, class_names, n=15): for i, class_name in enumerate(class_names): # LinearSVC模型中，每个类别二分类的系数在第i行 coefs = model.coef_[i] top_indices = np.argsort(coefs)[::-1][:n] top_words = [feature_names[idx] for idx in top_indices] print(f"类别 {class_name}: {', '.join(top_words)}") show_top_features(svm_model, vectorizer, ["体育", "财经", "科技", "娱乐", "健康", "教育"])

输出大致是：

• 体育：比赛、球队、球员、联赛、冠军、客场、教练、篮板、进球
• 财经：股市、基金、银行、利率、投资者、货币、债券、涨跌
• 科技：芯片、人工智能、算法、数据、软件、手机、半导体、自动驾驶
• 娱乐：电影、演员、剧组、票房、歌手、人气、粉丝、综艺
• 健康：医生、患者、疾病、饮食、运动、睡眠、血压、疫苗
• 教育：学生、学校、课程、考试、教师、高考、大学、考研

看到这些词，基本就能判断模型的分类依据是合理的。如果某类别的高权重词与业务直觉严重不符，那就要回去检查数据预处理和标注是否出了问题。

3.4 模型训练流程与交叉验证

为了避免一次划分带来的偶然性，我在正式测试之前先用交叉验证评估模型稳定性。

from sklearn.model_selection import cross_val_score from sklearn.svm import LinearSVC svm = LinearSVC(C=1.0, max_iter=2000) scores = cross_val_score(svm, X_train_tfidf, y_train, cv=5, scoring="f1_macro") print(f"交叉验证F1: {scores.mean():.4f} ± {scores.std():.4f}")

这里我特意用了f1_macro作为评估指标，而不是准确率。原因在于：准确率在类别不均衡时会产生迷惑性，比如90%的数据都是“体育”，全分成体育也能有90%的准确率。F1-macro对每个类别一视同仁地计算F1后取平均，更能反映模型在小类别上的表现。

我的数据类别基本均衡，所以F1-macro和准确率相差不大。如果你处理的是不均衡数据，这里一定要用F1-macro或者按业务重要性加权的F1指标。

验证稳定后，用全部训练数据拟合最终模型，然后在测试集上评估：

from sklearn.metrics import classification_report, confusion_matrix svm_model = LinearSVC(C=1.2) svm_model.fit(X_train_tfidf, y_train) y_pred = svm_model.predict(X_test_tfidf) print(classification_report(y_test, y_pred, target_names=["体育", "财经", "科技", "娱乐", "健康", "教育"]))

分类报告会给出每个类别的精确率、召回率、F1值以及总体宏平均和加权平均。这一步非常重要，不要只看最终准确率，要逐类看指标。

3.5 参数调优：C值的网格搜索

线性SVM的核心超参数是C（正则化强度的倒数）。C越小，正则化越强，模型越简单；C越大，模型越注重拟合训练数据，可能过拟合。

我通过网格搜索在C的取值范围上寻找最优：

from sklearn.model_selection import GridSearchCV param_grid = {"C": [0.1, 0.5, 1.0, 1.5, 2.0]} grid = GridSearchCV( LinearSVC(max_iter=3000), param_grid, cv=5, scoring="f1_macro", n_jobs=-1 ) grid.fit(X_train_tfidf, y_train) print(f"最优参数: {grid.best_params_}") print(f"最优交叉验证F1: {grid.best_score_:.4f}")

我这里最终找到的最优C值是1.2左右。其实区间在0.8到1.5之间F1变化都不大，差异不到0.5个百分点，说明模型对C值不敏感，稳定性较好。

实操心得：网格搜索跑起来可能比较耗时，尤其是数据量大、特征多的时候。可以先用较小的候选集合快速摸一遍最优区间，再在最优区间附近细化搜索，这样能省下不少时间。

4. 常见问题与排查技巧实录

4.1 数据不平衡问题处理

文本分类里类别不平衡是最常见的问题之一。虽然我这次使用的数据大致均衡，但之前做舆情分类时就遇到过“负面”类数据量远低于“中性”“正面”的情况。

不平衡数据带来的后果是：模型倾向把所有样本预测为多数类，少数类的召回率极低。常见解决方案有：

方案一：重采样

• 过采样：对少数类样本复制或做同义替换，增加样本量。但简单复制容易过拟合，可以参考SMOTE等方法在特征空间内合成新样本。
• 欠采样：随机丢弃多数类样本。简单但会丢失信息，适合多数类样本量特别大的情况。

方案二：类别权重

直接在模型里设置类别权重，让模型对少数类样本的误分类施加更大惩罚。

from sklearn.utils.class_weight import compute_class_weight class_weights = compute_class_weight( class_weight="balanced", classes=np.unique(y_train), y=y_train ) class_weight_dict = dict(enumerate(class_weights)) svm_balanced = LinearSVC(C=1.0, class_weight=class_weight_dict)

方案三：换评估指标

如果类别不平衡且无法通过数据手段改善，必须换成宏平均指标评估，并接受“模型对不同类别的效果有差异”这一现实。

4.2 过拟合与欠拟合的判断与调整

过拟合在文本分类中的表现是：训练集准确率接近100%，但测试集准确率明显下降。欠拟合则是训练集和测试集表现都差。

针对文本分类，我总结了一套快速判断和调整的流程：

过拟合的典型症状与对策：

• 特征维度太高，模型记住了训练数据里的噪音。对策：增大min_df，降低max_features，增大正则化强度（即减小SVM的C值）。
• 数据量太少，模型学不到可泛化的规律。对策：增加数据，或者迁移学习用预训练模型。

欠拟合的典型症状与对策：

• 特征不够。对策：ngram_range从(1,1)升级到(1,2)，甚至(1,3)。
• 模型表达能力不足。对策：从朴素贝叶斯升级到SVM，或者引入词向量特征。
• 超参数不合适。对策：正则化太强（C太小）会欠拟合，适当增大C值。

4.3 中文分词缺陷导致的分类错误

有些分类错误根因不在模型，而在分词。

比如“长春”这个词，如果词典里没有，jieba可能把它切成“长”和“春”两个单字，在分词阶段就丢失了语义。更典型的是“机器学习”，如果被切成“机器”和“学习”，虽然还能表达大致意思，但行业术语的强指示性就被削弱了。

解决办法是持续维护自定义词典。我在每次跑完测试集后，都会把测试集里分类错误的样本拿出来，查看分词结果，把明显被切错的专有名词加入自定义词典，重新训练。

# 反复迭代的流程 1. 训练模型，跑测试集 2. 抽样看错误分类样本 3. 检查分词结果，发现切分错误的专有名词 4. 更新 custom_dict.txt 5. 重新训练，观察效果是否提升

这个循环跑两三轮，模型准确率通常会有明显提升。

4.4 推理性能优化与模型部署

模型训练完成后，最终要部署到线上服务。这里有几个性能优化小技巧：

将TF-IDF向量器与SVM模型一起持久化保存，用joblib即可：

import joblib joblib.dump(vectorizer, "tfidf_vectorizer.joblib") joblib.dump(svm_model, "svm_model.joblib")

部署时加载两个文件，然后对输入文本做同样的预处理和向量化。

关于推理性能，我实际测试了单条文本的处理耗时：

• 分词（jieba）：约2~5ms
• TF-IDF向量化：约1ms
• SVM预测：不足1ms

整体单条推理在10ms以内，完全能满足实时接口需求。

如果还想再快，有几个可选手段：

1. 对向量化后的特征做特征筛选，去掉系数小、区分力弱的特征，减少矩阵维度。
2. 模型压缩：SVM模型本身很小，如果是深度学习模型，可以用蒸馏、量化等方式压缩。
3. batch推理：处理离线数据时，不要循环单条预测，一次性把整个batch传进去预测。

4.5 常见问题速查表

5. 进阶思路与后续扩展方向

5.1 引入Word2Vec词向量做补充

TF-IDF是稀疏的统计特征，缺点是忽略了词与词之间的语义关系。比如“汽车”和“轿车”在TF-IDF空间里是完全独立的两个维度，但语义上高度相关。

我在项目后期尝试了Word2Vec词向量方案：先用语料训练Word2Vec（或者用现成的中文词向量），然后把每个文本的多个词向量取平均，得到稠密向量输入分类器。

代码如下：

from gensim.models import Word2Vec # 训练语料是所有分好词的文本 sentences = [tokenize(text) for text in df["text_clean"]] w2v_model = Word2Vec(sentences, vector_size=128, window=5, min_count=2, sg=1) def text_to_avg_vector(words, w2v_model, vector_size=128): vectors = [w2v_model.wv[w] for w in words if w in w2v_model.wv] if not vectors: return np.zeros(vector_size) return np.mean(vectors, axis=0) X_train_w2v = np.vstack([text_to_avg_vector(words, w2v_model) for words in X_train_tokens]) X_test_w2v = np.vstack([text_to_avg_vector(words, w2v_model) for words in X_test_tokens])

实测效果：词向量方案单独使用，效果不如TF-IDF+SVM，因为简单平均词向量丢失了词的权重信息。但把TF-IDF特征和词向量特征拼接起来，效果有一定提升，尤其对同义词替换的文本更鲁棒。

不过特征拼接带来的是向量维度暴增，训练耗时变长，效果提升又有限。最终线上版本还是保留了TF-IDF+SVM的方案。如果你对精度有更高要求，建议在拼接特征上做特征选择，避免无效维度拖累训练。

5.2 预训练模型的可行性分析

有人可能会问，现在都流行BERT，为什么不直接上？我前面已经提过数据量的问题，这里再补充一个对比：

• 用1.2万条数据微调BERT，需要GPU资源，单次训练约半小时，且容易出现过拟合，需要额外的早停和随机失活策略。
• TF-IDF+SVM在CPU上训练只需要十几秒，效果达到F1约0.90，BERT微调后F1大概0.93左右，差距并没有想象中巨大。
• 但如果数据量到10万条以上，或者有领域自适应需求，BERT的优势就会凸显出来。

我的建议是：根据项目阶段选择方案。MVP阶段、快速验证阶段，用传统机器学习方案把流程跑通；数据量到一定规模、精度成为瓶颈时，再切换到预训练模型微调。

如果决定走BERT路线，可以使用HuggingFace的transformers库，代码链路其实非常成熟：

from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments model_name = "bert-base-chinese" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=6)

中文场景还可以考虑chinese-roberta-wwm-ext等更强预训练模型。但要注意显存消耗，batch size需要调小，训练时间明显拉长。

5.3 实时增量更新的设计

一个经常被忽略但对业务影响极大的问题：线上模型部署后，如果出现新话题、新词、新类别，该怎么更新？

我不建议直接重新训练所有数据，更合理的做法是：

1. 定期离线全量重训：比如每周或每两周，把所有历史数据拉出来训练一次，替换线上模型。
2. 新词即时补充：业务人员在后台发现新出现的专有名词，直接加入自定义词典，无需重训模型，分词环节就会生效。
3. 新类别灰度上线：先把数据标注起来，积累到一定规模后重训模型，通过A/B测试逐步放量。

6. 项目总结与实战经验沉淀

这篇博文最后，按惯例分享几条我在这个项目里觉得最值得沉淀的经验。

第一，不要一上来就调参。先花时间把数据处理干净，把评估指标定清楚。我见过很多半路放弃的项目，不是因为模型不先进，而是数据太脏、评估混淆，根本不知道改哪个环节能提升效果。

第二，打分卡式的模型对比要有记录。我习惯在每次实验后记录当时的参数、数据版本、效果指标。这样复盘时才能准确判断“是预处理改了效果还是特征改了效果”。

第三，优先关注错误样本而非整体指标。整体指标提升0.5%可能只是巧合，但把错误样本拿出来看，往往能发现明显的规律性错误（比如某个类别容易混，或者某类词总是被分错）。解决一个规律性错误，比盲目调参有价值得多。

第四，自定义词典是一个持续积累的过程。我这次跑完项目后，custom_dict里累计加了约200个领域词。这些词都是通过错误样本反推发现的。可以说，词典质量和模型调优同等重要。

文本分类看上去是一个入门项目，但做到后面你会发现，真正决定上线效果的不是模型本身，而是对数据的理解、对错误的归因，以及一整套精益迭代的工作流。希望这篇博文能给你的项目提供一个可参考的路线，帮你少踩一些坑。

如果你在实际操作中遇到问题，欢迎留言交流，我会尽力解答。

本文还有配套的精品资源，点击获取