Python爬虫环境搭建（Mac）
这是一篇对此教程视频的笔记。看视频太磨叽了，安装都是分成了win、linux、mac三种，再看视频的话怕是没那个耐心看。Homebrew与AnacondaHomebrew充当的角色是mac下的apt-get，是一种包管理工具。先把Homebrew安装到mac上。然后用它安装python3，最后验证p
这是一篇对此教程视频的笔记。看视频太磨叽了，安装都是分成了win、linux、mac三种，再看视频的话怕是没那个耐心看。
Homebrew与Anaconda
Homebrew充当的角色是mac下的apt-get，是一种包管理工具。先把Homebrew安装到mac上。然后用它安装python3，最后验证python3与pip3是否安装成功。
可以参考 Anaconda墙内教程。
数据库
- 安装MongoDB
brew install mongodb
验证： 开启MongoDB数据库，mongod，然后使用mongo去链接数据库。
由于之前已经安装过MongoDB，很久没有用过了，启动时出现错误，错误如下：exception in initAndListen: 29 Data directory /data/db not found., terminating
解决办法有两种： 一种是在启动时指定一个其他的db文件所在的目录：
mongod --dbpath ~/Documents/mongo/db
另一种是，创建/data/db并授予相应的权限：
sudo mkdir -p /data/db
sudo chmod ugo+rwx /data/db
成功执行后如下：
使用mongo连接：
测试几个命令：
> show dbs
admin 0.000GB
local 0.000GB
> use local
switched to db local
> db.test.insert({'a':1})
WriteResult({ "nInserted" : 1 })
- Redis 分布式爬虫中，维护爬虫队列。
brew install redis
安装完成后，输入redis-cli即可连接上redis，如果失败，可以尝试使用redis-server打开数据库服务。
redis的配置文件位置：/usr/local/etc/redis.conf 远程访问：注释掉bind 127.0.0.1设置密码：取消注释# requirepass foobared重启即可生效。
使用brew查看services
brew services list
使用brew启动/重启动service
brew services start/restart redis
- MySQL
brew install mysql
Python多版本共存配置
使用软链接对不同的版本，进行命名的简化。如生成python3.6的软链接为python，按照需求，把不同的版本链接到此文件名上。注意将软连接文件放在PATH中，或加入其中也可。
安装Python爬虫库
- requests：Python发送请求所用到的库
- selenium：模拟浏览器访问
- beautifulsoup4：解析网页
- pyquery：网页解析库。接收网页源代码，然后通过与jQuery类似的语法获取相应的数据。
- pymysql/pymongo：使用Python访问MySQL/MongoDB数据库
- django/flask：Python Web框架
其中有一个非常有意思的工具jupyter，它是一款网页端的笔记本，可以在其中运行代码等，它的启动方式是在终端输入：jupyter notebook。
