全文阅读：https://www.lianxh.cn/news/a9ba221282297.html

目录

• 1. 潜在语义分析
• 2. lsemantica 命令
  • 2.1 理论部分
  • 2.2 语法介绍
• 3. Stata 实例
  • 3.1 英文实例-计算论文标题相似度
  • 3.2 中文实例-计算 MD&A 相似度
• 4. 相关推文

1. 潜在语义分析

在基于词频的文本相似度分析中，主要存在以下问题：

• 同一个词汇在不同的语境中可能有不同的含义，即 “一词多义”；
• 不同词汇在不同的语境中可能表达相同的含义，即 “多词一义”。

为了解决该问题，Deerwester 等 (1990) 提出了潜在语义分析 (latent semantic analysisa, LSA)。该方法的主要特征如下：

• 它一种基于机器学习来比较单词或文本相似度的算法；
• 由于理解单词的含义和上下文很重要，LSA 通过考虑单词之间的关系和潜在的多重含义来改进相似度计算结果。

这些属性使得 LSA 有着广泛的应用场景，包括：

• 计算单词之间相似性
• 计算文本之间相似性
• 基于计算机辅助的摘要写作
• 对论文进行自动评分
• 评估语篇连贯性

虽然 Stata 中已经提供了 strdist 命令用于计算 Levenshtein 编辑距离、txttool 命令用于文本数据的清理和标记化、以及 ldagibbs 命令可以按相似主题对文本进行分类，但如果要计算文本之间的相似程度，我们还需要 lsemantica 命令。

全文阅读：https://www.lianxh.cn/news/a9ba221282297.html