###服务分层

展示层： PC官网 微信公众号 小程序 商家 运营后台

对外服务: 直播数据 搜索 红呗指数(主打) 网红电商

数据处理: JobRunner Scripts Crontab 电商数据处理

数据采集: Spider-Service Room-Service Server-Service(辅助)

基础服务: DB(Mysql,Redis,Es) MQ(kafka,Zookeeper) Proxy JumpServer

###服务职责

Spider-Service:

1. 定期抓取
2. 对内提供代理抓取
3. 安全破解

Room-Service:

1. 直播间数据抓取 (长连接,轮训)
2. 异步处理消息
3. TimeOut通知JobRunner,超时结束

Server-Service:

1. 配合Spider进行白名单监控
2. /live/stop直播信息存储
3. 日数据,指数处理

###业务上

1.及时发现问题:
    业务运营:   反馈入口
    数据监控:   huajiao!!!
2.新需求响应:
    要事第一！
    bug优先处理

###技术上

1.服务中断。。。(数据监控)

2.脚本太多。。。 (如何部署，在哪台机器)    bitflow-tools项目

3.协作困难:

    语言不统一 （python）

    接口支持乱。。。职责不清，项目不清

#####技术跟着业务改进!