- 什么是代理IP?
代理IP是指通过代理服务器获取的IP地址，因为代理服务器具有隐藏用户真实IP、改变客户端访问地址、提高访问速度、突破访问限制等功能，所以使用代理IP可以实现一些数据获取的目的。
- 为什么需要设置代理IP?
在爬虫开发过程中，经常会遇到被封IP或者频繁访问同一网站被限制访问等问题。这时，使用代理IP就可以避免这些问题，保证爬虫程序正常运行。
- 如何设置代理IP?
在Python中，使用urllib库实现网页访问时，可以通过设置代理IP来实现IP轮换、反反爬虫等功能。下面，我们以爬取某个网站为例，讲解如何设置代理IP。
首先，我们需要从免费的代理IP网站上获取代理IP，这里以站大爷代理为例，代码如下：
import requests
from bs4 import BeautifulSoup
def get_proxy():
url = 'https://www.zdaye.com/free/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')
table = soup.find('table', attrs={'id': 'ip_list'})
proxies = []
for row in table.tbody.find_all('tr'):
if row.find_all('td')[4].string == 'HTTP':
proxy = ':'.join([row.find_all('td')[1].string, row.find_all('td')[2].string])
proxies.append(proxy)
return proxies上面的代码中，我们使用requests库访问站大爷代理网站，获取网页内容。然后，使用BeautifulSoup库解析网页内容，获取代理IP信息。
获取到代理IP后，我们需要测试这些代理IP是否可用，筛选出可用的代理IP。代码如下：
import requests
def test_proxy(proxy):
url = 'https://www.baidu.com'
proxies = {'http': 'http://' + proxy, 'https': 'http://' + proxy}
try:
r = requests.get(url, proxies=proxies, timeout=10)
if r.status_code == 200:
return True
else:
return False
except:
return False
def get_valid_proxies(proxies):
valid_proxies = []
for proxy in proxies:
if test_proxy(proxy):
valid_proxies.append(proxy)
return valid_proxies在上面的代码中，我们使用requests库通过代理IP访问百度网站，如果返回状态码为200，则说明代理IP可用。如果访问出现异常或者状态码不为200，则说明代理IP不可用。
获取到可用的代理IP后，我们就可以使用这些代理IP来访问指定的网站。代码如下：
import random
import requests
def get_html(url, proxies):
proxy = random.choice(proxies)
proxies = {'http': 'http://' + proxy, 'https': 'http://' + proxy}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}
try:
r = requests.get(url, headers=headers, proxies=proxies, timeout=10)
if r.status_code == 200:
return r.text
else:
return None
except:
return None上面的代码中，我们使用random库随机选择一个代理IP，然后使用requests库访问指定的网站。在访问时，需要将代理IP添加到proxies参数中，这样就可以使用代理IP来访问指定的网站了。
- 完整代码
import random
import requests
from bs4 import BeautifulSoup
def get_proxy():
url = 'https://www.zdaye.com/free/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}
r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'html.parser')
table = soup.find('table', attrs={'id': 'ip_list'})
proxies = []
for row in table.tbody.find_all('tr'):
if row.find_all('td')[4].string == 'HTTP':
proxy = ':'.join([row.find_all('td')[1].string, row.find_all('td')[2].string])
proxies.append(proxy)
return proxies
def test_proxy(proxy):
url = 'https://www.baidu.com'
proxies = {'http': 'http://' + proxy, 'https': 'https//' + proxy}
try:
r = requests.get(url, proxies=proxies, timeout=10)
if r.status_code == 200:
return True
else:
return False
except:
return False
def get_valid_proxies(proxies):
valid_proxies = []
for proxy in proxies:
if test_proxy(proxy):
valid_proxies.append(proxy)
return valid_proxies
def get_html(url, proxies):
proxy = random.choice(proxies)
proxies = {'http': 'http://' + proxy, 'https': 'http://' + proxy}
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299'}
try:
r = requests.get(url, headers=headers, proxies=proxies, timeout=10)
if r.status_code == 200:
return r.text
else:
return None
except:
return None
if __name__ == '__main__':
url = 'https://www.baidu.com'
proxies = get_proxy()
valid_proxies = get_valid_proxies(proxies)
html = get_html(url, valid_proxies)
print(html)在上面的代码中，我们首先定义了一个函数get_proxy()，用于获取代理IP。然后，定义了一个函数test_proxy()，用于测试代理IP是否可用。接下来，定义了一个函数get_valid_proxies()，用于获取可用的代理IP。最后，定义了一个函数get_html()，用于使用代理IP访问指定的网站，并返回HTML内容。
在主函数中，我们先访问西刺代理网站，获取代理IP信息。然后，使用get_valid_proxies()函数获取可用的代理IP。最后，使用get_html()函数访问百度网站，并输出返回内容。
- 总结
以上就是关于Python爬虫代理IP设置proxies的介绍，包括代理IP的概念、代理IP的设置和使用方法。在实际爬虫开发中，使用代理IP可以避免IP封禁和反反爬虫等问题，提高爬虫的效率和稳定性。