机器学习平台系列(三) - PySpark组件依赖的虚拟环境:Keras 和 Tensorflow 版本对应关系
目录1.背景介绍2.PySpark环境3.问题描述4.原因分析1.背景介绍机器学习平台底层基于大数据平台提供计算资源,在机器学习平台上主要使用 Spark MLlib 实现了共 7 类(源/目标、统计分析、数据预处理、特征工程、机器学习、工具、文本分析) 90+ 个组件(每个组件代表内置的逻辑片段),目的是减少用户重复开发工作、降低机器学习门槛。2.PySpark...
目录
1.背景介绍
机器学习平台底层基于大数据平台提供计算资源,在机器学习平台上主要使用 Spark MLlib 实现了共 7 类(源/目标、统计分析、数据预处理、特征工程、机器学习、工具、文本分析) 90+ 个组件(每个组件代表内置的逻辑片段),目的是减少用户重复开发工作、降低机器学习门槛。
2.PySpark环境
工具类组件中有【PySpark组件】,底层使用在虚拟机上通过 Anaconda 创建的虚拟环境作为每个组件实例具体执行环境。
3.问题描述
在使用 Keras(Tensorflow)中基于神经网络的降维方法 AutoEncoder 识别异常点时,出现如下错误:
4.原因分析
在虚拟机中使用 conda 命令安装 keras: "conda install -c conda-forge keras",如下图所示:

Keras 版本 Tensorflow 版本的对应关系(https://docs.floydhub.com/guides/environments/)如下图所示:

故可以使用命令 "conda install -c conda-forge keras=2.2.0" 安装指定版本的 keras。
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)