无规则采集器列表算法(阿里市场市场金融数据接口已经停止服务(负盈利) )
优采云 发布时间: 2021-11-09 05:26无规则采集器列表算法(阿里市场市场金融数据接口已经停止服务(负盈利)
)
阿里api行情金融数据接口
服务已停止(负利润):
主包为网站提供http(s)和websocket接口,作为grpc服务器接收爬取数据!
爬取目录下的数据为 采集 客户端与grpc客户端同时主动更新服务端数据
上线前需要自行修改home目录和爬取目录的config.yaml配置文件
请在windows下使用,已经完美生产运行一段时间了,没问题!
---------我是SB的分割线,作者a7a2,------------------------------ - -----
使用说明:
0、回车'',选择'Hong Kong(这里有变化,下面都跟着变化)',选择'Create VPC','Target Network Segment'选择192就够了,选择Hong Kong '可用区' 可用区 C'。
1、进入'管理控制台','云服务器ECS','网络和安全','安全组','香港','创建安全组','网络类型',选择'专有网络',选择在步骤 0 中创建的“专用网络”。
确定后点‘配置规则’ ,这里不一一介绍,请自行添加放行出入方向的tcp 8888、443、80端口。
2、 激活ECS服务器,建议选择计费方式为“Bid Instance”,区域“香港可用区C”,镜像“windows2016 Data Center 64位中文版”,并存储默认“高效云盘40Gb”,网络请自行创建“私有网络”。
采集:推荐2台,至少一台;最低要求8G内存、4核cpu;网络‘专有网络’上面0创建那个、‘公网带宽’选择‘分配公网IP地址’选‘按使用流量’填‘100(Mbps)’、 ‘安全组’选1创建的。
api:推荐2台及以上,至少一台;最低要求4G内存、2核cpu;不需要外网ip(如果需要私自越过api网关对外服务可以加上),其他跟上面一样。
以上推荐基于服务器多可用多并发。isv服务器共用以上随便一台有外网ip的即可,isv服务不能群集,所以建议选择最稳定的一台,为isv服务安全可以单独独立使用一台服务器。
3、 打开ECS后,登录所有服务器安装Chrome浏览器和isv服务器,需要安装postgres数据库,新建目录,放入'config.yaml'和'.exe',创建' crawl'目录下的目录并上传目录下的'config.yaml'文件,在'crawl'目录下创建''和''目录并分别上传对应的exe。
以上操作所有服务器都一样,除了配置文件内容一样外,具体配置请看配置文件内有说明。
先启动api服务、isv服务,这里不介绍自己参考配置文件内容搞,然后才启动采集服务。
采集服务启动介绍:打开‘trade.mql5.com.exe’,会自动打开chrome浏览器,然后选择MT5,然后填写账号你注册了的外汇交易商的账号密码及服务器信息,登陆成功后
看左边‘市场报价’,点击右键‘显示毫秒’,点击右键选择‘列’-‘点差’-‘时间’,就这样你能看到的交易品种都会自动采集提交,太
多看不见可以把分辨率放大,把浏览器比例放小,更多交易对请点击右键‘交易品种’自行添加。2台采集服务器同样的设置采集相同内容防止单台故障,采集交易商要一致否则呵呵。
‘www.bitstamp.net.exe’直接启动。
访问api服务看看数据采集是否正常,http://192.168.0.77/v1/finance?symbol=EURUSD,BTCUSD,AAPL.NAS
4、访问,选择'产品','api网关',并激活。进入管理,选择“香港”,“打开API”,“组管理”,“创建组”,“API管理”打开websocket。
‘api列表’:
名称及描述:‘创建api’、安全认证:阿里云APP、签名算法:HmacSHA1,HmacSHA256、类型:公开
请求基础定义:Path:/v1/finance ,协议:HTTP,HTTPS,HTTP Method:GET,请求模式:入参映射,‘参数名’填写‘symbol’、‘参数位置’填‘query’
后端服务信息:后端服务类型:HTTP,HTTP Method:GET,使用VPC通道(点击自行创建这里不介绍),后端服务地址: /v1/finance,不使用Mock、1000 ms
后端服务参数:‘后端参数名称’填写‘symbol’,‘后端参数位置’填‘query’,入参名称‘symbol’,入参位置‘symbol’,入参类型‘string’
自定义系统参数:选择及填写‘CaCloudMarketInstanceld’,参考位置‘head’
然后同样方式创建一份关于websocket的,不同之处在于‘后端服务地址: /w1/finance’,‘请求基础定义’---‘Path:/w1/finance’---‘协议:WEBSOCKET’
最后在‘api列表’点击‘发布’,‘线上’,‘发布’,切记每次修改完记得重新发布。