背景介绍

dockone社区邀请,于2016年11月29日晚在社区做关于微服务架构改造的技术分享。这里特别感谢docker社区的同学们的热心帮助,以及诸位技术同好们的热心捧场。

讲稿内容

大家好,我是凤凰牌老熊,很高兴能有机会和大家交流关于微服务系统建设相关的话题。 近期和微服务相关的话题非常地火,大家看到的各种开发技术网站,微服务都是一个热门的话题。 今天我也来凑凑热闹吧。 将要和大家分享的是我已经做过的一个项目和正在做的一个项目。这两个项目都是对现有系统进行微服务改造,我将重点介绍具体技术改造的内容,为后来者提供借鉴参考。 一些关于微服务的高大上的理论内容,比如微服务的意义、为什么要微服务、限流熔断的理论依据和实现框架等等内容,大家可以参看以前专家的分享。

分享过程中,大家如果有疑问,随时可以提出。

先介绍第一个项目的技术改造。这是一个数据仓库的建仓项目。 公司的业务数据的读写往往都会分布在多个项目中,这给前端数据展示以及数据分析造成困难。拿视频数据来说,其元数据,如作者、演员等信息,一般会由内容管理系统来生产;而视频流数据,如编码、时长等,是由编码系统来产生的。视频的观看人数、点击数等,又是由统计系统来提供。 而在页面展示的时候,这些内容都要同时显示出来。这就需要一个数据仓库作为中介,将所有数据收集起来,并提供给前端使用。 这个数据仓库系统基本上会对接公司所有的业务系统,提供数据读、写和分析支持。

我在2014年接手这个项目的时候,已经有一个比较稳定运行的系统。实际技改工作是2015年初开始,2015年底完成。成果主要包括:

在这过程中,我们在对原有系统做技术升级的同时,也引入了微服务框架来做实现。作为技改项目,我们的原则是:小步快跑,积小胜为大胜。在保证线上系统稳定运行的同时,逐步改进原有系统。 这是一个核心系统,一旦出问题,公司整个业务都会受到影响。技术改造是一个高风险的工作。 除非是上级领导明确要求并同意把这个工作作为考核指标来激励团队,否则很难以推进。 另外也要得到团队成员的支持。 我们启动这个工作前有半年的准备期,其中很大一部分工作是在争取大家的支持。最后也是认可这个架构的人才参与系统改进工作,确保整个工作是按照预定设计逐步推进。

这个项目我们进行的还比较顺利,原来的系统的基础还算比较好。 老项目有三个大工程,实现数据读、写、同步。对外提供的是RPC接口,使用Apache Thrift作为RPC框架和服务器。 数据同时写入到MongoDB和HBase中。MongoDB主要用来支持数据读取,而HBase用来支持数据写入。

主要问题在于:

需要我们在架构和流程上做调整。具体来说,在微服务化的层面,我们做了如下工作:

1. 建立服务网关

这是一个很重要的工作,有了网关的支持,我们就可以根据需要把流量在新老系统之间切换。我们采用的是zookeeper和网关服务来实现。所有服务注册到zookeeper上,网关服务根据zookeeper的注册项来将用户请求按比例打到具体的工作机上。这比直接访问工作机会增加1ms左右的开销。在网关上使用Netflix Hystrix来实现熔断和限流。

2. 细分业务,读写分离

一提到读写分离,很多人直观概念是使用主从的方式来实现。 实现上还需要根据业务情况来详细分析。 这个项目中,我们将数据写入场景做了详细的分析,按场景来拆分原有数据读写接口。 在写入上,我们按照场景拆分为如下接口:

在读取功能上,我们也拆分为两类工作:

这就涉及到数据同步问题了:

这里有一个小细节,实际上跨机房的couchbase数据同步,我们也是走的MQ。在每个机房接受MQ之后更新couchbase的数据。 我们的couchbase定位于缓存,仅保存热数据。从实践中发现,不同地域的人,关注的数据还是不一样的。这导致couchbase的内容差异不少。

3. 接口拆分,微服务化

有了网关的支持,明确拆分目标和架构后,我们就可以将原项目中庞大的实现类做拆分,按照服务来切分,建立Project。每个Project仅实现不会超过5个接口,这些接口都是高内聚的、同功能的,仅仅是参数略有不同。 拆分之后,每个项目中的实现类都很少,不会超过10个,而且每个类的规模也很小,代码行数不会超过300行。 新员工入职后,都能够立即上手。

4. 完善基础设施

在微服务环境上,我们采用git做版本控制,gitlab做代码审核, Jenkins来支持自动发布和上线。正在小规模试用spring cloud,效果还不错,后续会继续推广。

这是第一个项目的情况。第二个项目是我当前正在做的。这是一个支付系统,面临的情况比第一个项目复杂多了,也是更典型的一个项目。原系统是SSH框架,很难想象支付系统会采用这个技术选型。不过大部分现存的web系统也都是采用这个框架,这个改造可以为大家提供更相似的实战经验。老系统规模庞大,每个项目都有超过1000个类,最大的一个项目有3000多个类。由于项目正在进行中,可以分享的内容还不多。项目完成后,争取有机会和大家一些再做交流。 目前可以分享的要点主要有:

关于这个项目的进展,以及项目开发中的一些想法和设计,大家可以关注我的公众号“凤凰牌老熊”,或者访问http://blog.lixf.cn 。谢谢。

Q & A