1.下载并安装Anaconda

https://www.anaconda.com/download/success

2.搭建虚拟环境

// 创建 Conda虚拟环境
conda create --name hanlp-python38 python=3.8

// 切换到新环境中
conda activate hanlp-python38 

// 安装依赖并指定国内镜像
pip install hanlp[full] -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

3.编写样例代码

import hanlp


# 加戟模型
hanlp_model = hanlp.load('LARGE_ALBERT_BASE')

text = "我喜欢北京天安门广场"

worlds = hanlp_model(text)

print("分词结果:", worlds)

运行报错内容如下

看错误信息,好像是large_corpus_cws_albert_base_20211228_160926.zip这个文件下载失败,其实不是,这个文件是下载成功的。

主要原因在最后一行,下载模型uer/albert-base-chinese-cluecorpussmall的时候失败了,下载模型需要访问huggingface.co,而访问huggingface.co需要梯子。

在没有梯子的情况下,可以通过以下方式解决

首先,访问huggingface镜像网站

https://hf-mirror.com/

搜索需要下载的模型 uer/albert-base-chinese-cluecorpussmall,手动下载下来

在本地创建文件夹uer\albert-base-chinese-cluecorpussmall,把下载的文件放进去

再根据之前的打印信息,找到模型下载的位置,进而找到配置文件路径

找到配置文件config.json

修改为之前从huggingface镜像网站下载的文件路面目录

最后在项目的启动命令上,加上TRANSFORMERS_OFFLINE = 1,表示使用的本地模型

问题解决

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐