博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ubuntu18下pyspider的安装
阅读量:4294 次
发布时间:2019-05-27

本文共 722 字,大约阅读时间需要 2 分钟。

    突发奇想,想用爬虫抓取下股票价格之类的数据,万一以后有新投资品种,可以通过爬虫获得第一手数据,不用等待市场的公开接口。这样新品种也可以结合策略直接开跑了。调研了下,决定用pyspider(网络爬虫也是研究生实验室一个方向,所以略懂好一些)

pyspider安装教程

1,创建虚拟环境pyspider
conda create -n pyspider python=3.5

2,安装pyspider
source activate pyspider
pip install pyspider

3,执行pyspider
pyspider
报错:
    ImportError: pycurl: libcurl link-time version (7.58.0) is older than compile-time version (7.63.0)
    问题:版本过旧
    解决:
    pip uninstall pycurl
    conda Install pycurl(conda处理依赖更佳,这里使用pip依然是旧版)
    
再试试pyspider
    ValueError: Invalid configuration:
      - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.
    参考:https://blog.csdn.net/SiHann/article/details/88239892
    执行:
    pip install wsgidav==2.4.1
    

再试试pyspider,成功启动,成熟开源产品就是省事啊,想想vnpy的安装,都是泪。。

 

你可能感兴趣的文章
Nginx配置文件nginx.conf中文详解(总结)
查看>>
Mysql出现Table 'performance_schema.session_status' doesn't exist
查看>>
MySQL innert join、left join、right join等理解
查看>>
vivado模块封装ip/edf
查看>>
sdc时序约束
查看>>
Xilinx Jtag Access/svf文件/BSCANE2
查看>>
NoC片上网络
查看>>
开源SoC整理
查看>>
【2020-3-21】Mac安装Homebrew慢,解决办法
查看>>
influxdb 命令行输出时间为 yyyy-MM-dd HH:mm:ss(年月日时分秒)的方法
查看>>
已知子网掩码,确定ip地址范围
查看>>
判断时间或者数字是否连续
查看>>
docker-daemon.json各配置详解
查看>>
Mac 下docker路径 /var/lib/docker不存在问题
查看>>
Docker(一)使用阿里云容器镜像服务
查看>>
Docker(二) 基础命令
查看>>
Docker(三) 构建镜像
查看>>
Spring 全家桶注解一览
查看>>
JDK1.8-Stream API使用
查看>>
cant connect to local MySQL server through socket /tmp/mysql.sock (2)
查看>>