福利: 安卓上运行Python爬虫 (图)
linux-dash
A beautiful web dashboard for Linux
项目地址:https://gitcode.com/gh_mirrors/li/linux-dash
免费下载资源
·
1. 安装Termux
在软件市场搜索下载安装即可, 这个软件可以让你把手机当Linux电脑使用, 除了屏幕小点儿.
为了敲命令方便, 建议安装输入法: CodeBoard, 功能键几乎都有了
参考自 安卓手机运行python程序的软件:Termux
注: py是因为用了别名 alias py=‘python’
2. 安装环境
2.1 安装Python
pkg update
pkg upgrade
apt update
apt upgrade
apt install python
pip install bs4 requests
2.2 安装lxml
apt install clang
apt install libxml2 libxml2-dev libxslt libxslt-dev
pip install lxml
如果遇到报错 Python.h not found 就执行 apt install python-dev
下载对应脚本
apt install git
git clone https://github.com/Kuangcp/PythonLearn.git
cd PythonLearn/learning/Spider/scrpy_learn/55156
- 配置好一个用来存URL的redis数据库
- 可以是自己远程服务器上
- 也可以是本地
apt install redis
- 执行
redis-server
即可开启服务
运行这两个脚本前先确定redis以及下载目录配置正确, 只有这两个是需要配置的
-
然后就可以直接
py simple.py
或者先py simple.py -h
先看一下参数说明- 就会提示 起始爬取的URL, 例如
http://www.55156.com/gaoqingtaotu/xiuren/204409_22.html
- 就开始爬取URL了
- 就会提示 起始爬取的URL, 例如
-
打开 同目录下 的 download.py 配置好下载目录 然后
py download.py
, 或者直接
py download.py `pwd`
- 就在脚本旁的目录下不停的下载图片了
为了使用方便, 建议配置别名
vi ~/.bashrc
alias py='python'
alias img='py simple_path ' # 替换为simple绝对路径
alias down='py download_path' # 替换为down绝对路径
或者
cd 到脚本所在目录然后:
echo "alias img='python `pwd`/simple.py' " >> ~/.bashrc
echo "alias down='python `pwd`/download.py `pwd` '" >> ~/.bashrc
- 以后就只要启动termux
img
下载图片urldown
下载图片文件了
又发现一个问题, 因为这个软件的数据是在/data/data/目录下, 而这个目录访问是要 root的, 所以上诉脚本生成别名后, 手动修改为安卓可访问的目录即可
我的手机是 /storge/emulate/0/ 就是存储的根目录
GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支:2 个月前 )
186a802e
added ecosystem file for PM2 4 年前
5def40a3
Add host customization support for the NodeJS version 4 年前
更多推荐
已为社区贡献3条内容
所有评论(0)