学习目标：

linux下无界面环境安装并使用chrome,chromedriver,selenium进行爬虫设计
例如：掌握linux下 python爬虫环境的搭建与测试

---

学习内容：

需要的环境：
python3
chrome
chromedriver
selenium

1、 测试Python环境（没有的话进行安装）

whereis python

whereis python 查看当前系统的python环境（可以看到我这个里面有python2、python3，这两个是不太兼容的，个人常用的是python3）

python3

这里可以看到我的是python3.6.8，打开这个命令窗口后可以按 ctl+z 或者使用命令

exit()

退出python3的编辑环境,返回Linux系统。这里根据个人喜好，可以常用不同的python环境（为了更好的匹配本教程尽量采用python3.6以上的环境，环境安装可以自行搜索教程哦！！！）

2、 安装和测试 chrome,chromedriver,selenium
在下载目录中，执行以下命令，将安装脚本下载到本地
a、在/code/env中安装chrome (以下操作均在/code/env目录下完成，可以使用pwd查看当前目录)

mkdir /code
cd /code
mkdir env
cd env
wget https://intoli.com/install-google-chrome.sh

授予可执行权限并执行sh脚本

chmod 755 ./install-google-chrome.sh
./install-google-chrome.sh

等待sh脚本执行完成，显示“
完毕！
Successfully installed Google Chrome!” 即Chrome安装成功
查看Chrome的版本信息，注意这里的版本信息，我的版本是 “Google Chrome 89.0.4389.90 ”

google-chrome --version

OK！检测到Chrome信息，安装成功！！！
使用下chrome，看看有啥效果(如果在当前文件夹中出现screenshot.png 则测试成功)

google-chrome-stable --no-sandbox --headless --disable-gpu --screenshot https://www.baidu.com/

b、安装chromedriver
在 https://npm.taobao.org/mirrors/chromedriver 中找到对应版本的chromedriver下载文件包，比如我这里的是“Google Chrome 89.0.4389.90”，那么我就去https://npm.taobao.org/mirrors/chromedriver 中找到https://npm.taobao.org/mirrors/chromedriver/89.0.4389.23，一般是版本号“89.0.4389”来找，后面两位尽量找最后的。

下载chromedriver_linux64.zip，这里“89.0.4389.23”对应上方找的的文件目录

wget https://npm.taobao.org/mirrors/chromedriver/89.0.4389.23/chromedriver_linux64.zip

# 海外源
# wget https://chromedriver.storage.googleapis.com/index.html?path=89.0.4389.23/chromedriver_linux64.zip

解压文件包

unzip chromedriver_linux64.zip

如果没有unzip命令，用yum install -y unzip zip进行安装，解压后，会多出一个文件chromedriver
修改chromedriver 执行权限

chmod +x chromedriver

连接文件,将/code/env/chromedriver链接到/usr/bin/chromedriver

ln -s /code/env/chromedriver /usr/bin/chromedriver

安装selenium

yum install Xvfb

pip3 install pyvirtualdisplay

pip3 install selenium

我们使用的python3，所以这里我们使用pip3安装pyvirtualdisplay、selenium,以免使用python2了。
至此我们的环境已经安装完成了。

3、 测试Python程序控制chrome,chromedriver,selenium
使用vi test1.py创建一个新的文件，输入以下代码：

import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
 
options = Options()
options.binary_location = '/usr/bin/google-chrome'
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
chromedriver = '/usr/bin/chromedriver'
os.environ["webdriver.chrome.driver"] = chromedriver
browser = webdriver.Chrome(chrome_options=options,executable_path=chromedriver)
 
browser.get('http://www.baidu.com/')
print(browser.title)

python3 test1.py

使用python3 test1.py运行程序，出现“百度一下，你就知道”,任务完成！！！

---

学习时间：

时间：2021年03月19日15:47:01

---

学习产出：

1、 掌握测试Python环境方法

2、 掌握安装chrome,chromedriver,selenium

3、 掌握测试chrome,chromedriver,selenium

4、 掌握测试Python程序控制chrome,chromedriver,selenium

5、Linux爬虫技术基础入门，也可以做自动化测试哦！