Hanlp本地运行出现的问题及操作步骤分析
主要原因在最后一行,下载模型uer/albert-base-chinese-cluecorpussmall的时候失败了,下载模型需要访问huggingface.co,而访问huggingface.co需要梯子。看错误信息,好像是large_corpus_cws_albert_base_20211228_160926.zip这个文件下载失败,其实不是,这个文件是下载成功的。搜索需要下载的模型 uer
1.下载并安装Anaconda
https://www.anaconda.com/download/success
2.搭建虚拟环境
// 创建 Conda虚拟环境
conda create --name hanlp-python38 python=3.8
// 切换到新环境中
conda activate hanlp-python38
// 安装依赖并指定国内镜像
pip install hanlp[full] -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
3.编写样例代码
import hanlp
# 加戟模型
hanlp_model = hanlp.load('LARGE_ALBERT_BASE')
text = "我喜欢北京天安门广场"
worlds = hanlp_model(text)
print("分词结果:", worlds)
运行报错内容如下

看错误信息,好像是large_corpus_cws_albert_base_20211228_160926.zip这个文件下载失败,其实不是,这个文件是下载成功的。
主要原因在最后一行,下载模型uer/albert-base-chinese-cluecorpussmall的时候失败了,下载模型需要访问huggingface.co,而访问huggingface.co需要梯子。
在没有梯子的情况下,可以通过以下方式解决
首先,访问huggingface镜像网站
搜索需要下载的模型 uer/albert-base-chinese-cluecorpussmall,手动下载下来

在本地创建文件夹uer\albert-base-chinese-cluecorpussmall,把下载的文件放进去

再根据之前的打印信息,找到模型下载的位置,进而找到配置文件路径

找到配置文件config.json

修改为之前从huggingface镜像网站下载的文件路面目录

最后在项目的启动命令上,加上TRANSFORMERS_OFFLINE = 1,表示使用的本地模型

问题解决

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)