本次文章的内容均转载于我的个人微信公众号
http://weixin.qq.com/r/CymutvrEm6fkrb7V93wZ
有兴趣的同学可以关注一下!
我将本次教程分为七个部分:
- 准备工作
- 远程连接服务器以及配置MySQL
- FTP的配置工作
- anaconda2.7的下载与配置
- 创建数据库
- 写出Python文件
- 上传服务器并配置
一、准备工作
环境要求:
- Linux操作系统服务器
- MySQL数据库
- anaconda2.7
- Xshell5
- filezilla
- Navicat 12 for MySQL
首先第一个要求可能比较麻烦,毕竟服务器这种听起来很“高端”的“设备”。大家可能接触的并不多,但现在因为各类云服务器商的出现,普通人也可以很轻松的接触到服务器了,目前大家可以去租目前市面上几个大厂的学生机,价格也不是很贵,自己的电脑我觉得很难做到一天24小时一直保持开机,但是服务器完全可以很长一段时间不关机。而在系统方面,为什么不选择大家比较熟悉的Windows呢?(服务器的Windows一般是Windows Sever系统,这个和大家用的Windows系统还是有些区别的),因为学生机一般配置比较差,如果带Windows系统会比较吃力,远程连接操作起来也比较麻烦,而且目前我还没有找到一款可以在移动端可以方便远程连接Windows的软件(远程连接对于网速要求比较高),对于我们的管理非常不方便。而Linux系统大家可能比较陌生,大家在选择服务器系统的时候,可能会发现似乎没有一个叫做Linux系统的系统,但是可以看到Ubuntu,centos,deepin,debian等,这些都属于Linux操作系统,是Linux的发行版本,具体的关系解释大家可以自己去百度,这里比较推荐centos6或centos7。
二、远程连接服务器以及配置MySQL
在大家配置好服务器以后,就可以使用上面提到的Xshell5软件(可去官网下载免费学生版)来远程连接我们的服务器了,连接也比较简单,在主机处输入自己服务器的公网IP
此时证明我们已经成功的连接上了我们的服务器,接下来具体配置服务器的工作,大家可以参考
https://www.linuxidc.com/Linux/2014-12/111030.htm
中有关MySQL配置的部分和刚开始的防火墙部分(此部分很重要,如果没有配置会影响到后续的远程连接!!!),写得很详细。配置好MySQL和防火墙以后,我们的服务器上就有了自己的数据库了。
三、FTP的配置工作
这一步其实是一个非必须的步骤,因为大家大可以直接在服务器上直接开始写我们的获取数据的代码,但是考虑到大家对于Linux的熟悉程度以及对于Linux系统上编辑器Vim的使用可能不怎么熟练,所以还是选择利用FTP作为载体,将我们在本地写好的py文件直接上传至我们的服务器,不过这样做修改和调试会比较麻烦,所以建议有时间的同学还是自学一下Linux系统,对于量化来说,掌握Linux我觉得还是比较重要的,关于Linux系统里FTP的配置工作,大家可以参考这篇
https://www.linuxidc.com/Linux/2016-07/133319.htm
里面对于Linux如何配置FTP讲的非常详细。等我们在服务器上配置好vsftp,这是后我们就可以通过filezilla这个软件来远程连接我们的FTP。
此时说明我们连接成功。
四、anaconda2.7的下载与配置
如果大家按照上文中给出的链接中的教程配置MySQL或FTP等,就会发现在Linux下安装软件和Windows区别很大,一般通过yum源来安装(有点类似IOS的App Store),但是anaconda需要通过自己手动去下载安装,我这里直接给出命令:
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda2-5.1.0-Linux-x86.sh
大家直接在命令行中粘帖即可,然后回车运行即可,下载完成后,命令行中敲入Anaconda2-5.1.0-Linux-x86.sh按照提示安装即可。然后在命令行中使用pip 命令安装tushare、schedule这两个包即可,忘了如何使用pip命令的同学可以参考下前面的教程,Linux下不需要像Windows那样需要将pip.exe拖入cmd,而是直接在命令行里输入pip install即可。此时我们的Python环境基本配置完毕。
五、创建数据库
这里我们要用到Navicat 12 for MySQL这个软件,这是目前来说最好用的数据库可视化软件之一,打开以后点击左上角的连接,选择MySQL,后出现:
这一排都是数据库(图中大部分是我自己创建的),大家可以右键新建一个数据库,数据库的名字可以自己取,但是为了不必要的麻烦,最好是大写英文,其他参数参考:
前面的小教程里我们都是直接写的,并没有涉及到函数的概念,这一次因为还要牵扯到在服务器上定时运行,所以我们这次不能将获取数据的命令直接写出来,而是要先写出一个函数,关于Python中函数的介绍,并不是我们这次的重点,以后可以在Python中单独讲一下,这次只要会用即可,举一个例子:
第一行为写一个job函数,内容为我们刚才写的函数,因为例子中我只写了一个daystock的函数,所以只有一个,大家自己做的时候可以将自己写的其他函数加在里面(不要忘记括号),其他的按照上面写的即可。
七、上传服务器并配置
将刚才写好的py文件利用filezilla上传至服务器根目录,例如我们的文件名为test.py,然后在xshell5的命令行中输入 ls 命令查找是否存在test.py文件,若不存在则需要找到刚才通过ftp上传的位置 然后利用 cd 命令进入该目录,然后 利用 ls 命令查找,查找到目标文件后,我们为了使服务器在断开ssh后依然可以运行程序而不是杀死进程,这里要使用到一个叫做 screen 的工具,在命令行内输入下面命令:
yum install screen
然后回车并等待提示输入y/N,输入y后等待安装完成后,在命令行输入screen 后,可以看到进入到一个新的命令行界面,在新的命令行界面进入py文件所在的目录,然后 输入命令(例如py文件名为test.py):
python test.py
然后按下 Ctrl+A 后再 按下 D 键,此时会出现 [detached] 如下:
此时说明我们的程序已经在后台挂起,此时可以关闭xshell5且不会杀死进程,。
到此,我们的金融数据库基本就大功告成啦,大家可以利用Navicat 12 for MySQL来查看获取的数据,如果Linux命令比较熟悉的话,可以直接在手机上远程连接服务器进行查看(此时Linux的优势开始凸显!!!),是不是感觉还挺简单的,现在我们有了数据,但是原始的数据对于我们来说,还是不够,我们还需要进行进一步的数据处理,所以在此做个下期预告,下一次我们将来利用服务器把每天的数据定时自动进行处理计算,并返回结果储存到数据库中,有兴趣的同学可以关注一下我的个人公众号喔!!!
http://weixin.qq.com/r/CymutvrEm6fkrb7V93wZ