解决Max retries exceeded with url的问题

 

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: 
(Caused by <class 'socket.gaierror'>:

python脚本请求url,大量请求报错Max retries exceeded with url
解决方法:

1、增加重试连接次数:

requests.DEFAULT_RETRIES = 5

2、关闭多余的链接:

  requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。

s = requests.session()
s.keep_alive = False

3、请求时增加缓冲延时

 time.sleep(60)

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐