.Net Core下跨平台开源爬虫框架——DotnetSpider2.Core
DotnetSpider,一个.NET标准网络爬虫库。是一个高效、轻量且性能优秀的爬虫框架。 Github github/dotnetcore/DotnetSpider 开发工具和环境Visual Studio 2021(15.3或更高版本).NET Core 2.2或更高版本支持的数据环境MySQLRedisSqlServerPostgreSQLMongoDBKafka项目目录
DotnetSpider,一个.NET标准网络爬虫库。是一个高效、轻量且性能优秀的爬虫框架。

Github
github/dotnetcore/DotnetSpider
开发工具和环境Visual Studio 2021(15.3或更高版本).NET Core 2.2或更高版本支持的数据环境MySQLRedisSqlServerPostgreSQLMongoDBKafka项目目录
我这里使用VS 2021打开,如果打开不成功或者编译错误请升级VS版本并且.net core为2.2或以上

同时项目中还提供了几个简单的实例,可以帮助你一步步上传并使用

下面是一个最基本的使用案例

更多案例可以到Github上下载并自行查看,Github上还提供了详细的文档。

总结
DotnetSpider 是一个轻量、灵活、高性能的的跨平台网络爬虫框架。通过使用消息队列解耦,可以方便的实现分布式功能。对爬虫感兴趣的可以到Github上详细了解。

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐

所有评论(0)