挖財后端架構簡介

挖財后端技術用的主要是比較大眾的東西，Web容器用Tomcat，框架主要是Spring MVC，也有少量的Play，中間服務層是Dubbo，微容器用Spring Boot，服務注冊這一塊是用ZooKeeper，核心業務開發方式還是圍繞著Spring和Mybatis等；數據的存儲這塊是MySQL和Hbase，分布存儲這塊是用阿里巴巴之前開源的一個中間件Cobar。消息和實時計算這塊主要是Kafka, Storm，日志以及監控系統則是用典型的ELK和Zabbix。另外我們將要放棄MongoDB和Memcached，并不是這些產品自身的問題，而是人的因素，最早的架構師對MongoDB很熟，后來因為他離開，這塊的一些問題缺乏強有力的人把控，就放棄了。其他人對MySQL和Hbase更熟悉，并且這兩種組合基本滿足我們的需求了。Memcached則是被Redis替代。總的來說，我們裁剪掉了一些之前使用的相似產品，減少為一種，主要是基于自身運維能力考慮的，不在于這些技術是否足夠好或者是否符合團隊的特性和遇到的問題，而是你能不能把它維護的好，或者說風險控制好。

業務上面我們大概也是比較典型的。基礎設施是一塊，然后中間是服務，上面是日常的應用。基礎設施就包括典型的存儲、消息、框架，還有發布、運維、監控等等。中間就是現在典型的SOA服務，用戶的資產、服務、流水、交易等等，所有的服務采用Spring Boot打包部署，主要便于運維上的統一和方便做一些切面層的事情。最上面是應用，包括社區、記帳、錢管家、理財。而安全和風控會切入在每一個環節。

其實作為一個互聯網的金融公司，很多時候我們對金融會有一點點陌生，在我們看來做一個理財產品或者一個理財業務其實和電商業務有很大的相似之處。主要就是理財產品，他也是一個商品，這個商品可能有高的回報，最初形成這個商品的時候背后有一套綜合系統或者說有一套邏輯。并且購買這個商品之后，這個商品是有歷史的，他的收益是在變化的，所以簡化之后，我們發現跟電商系統是相似的。

這就是典型的架構，前面是Web或Gateway，中間是Service，中間層協議是Dubbo默認方式或者是HTTP。

數據存儲這一塊主要是MySQL和Hbase，當前還有小部分數據使用的Mongo，ORMapping這塊我們用了MyBatis。數據的水平擴展主要是基于剛才提到的Cobar，它是阿里比較成功的開源產品之一。Cobar支持數據的二維擴展，能滿足我們的場景，比如說幾千萬用戶的流水記錄可以按用戶加時間的維度來劃分。如果單純按時間的維度分區，在查詢用戶的流水時要散落到各個分區上，對各個分區的壓力都較大。而按用戶的維度則可能導致這個分區在一定時間后達到我們預設的容量上線，因為一天有幾百萬甚至上千萬的流水進入。二維的方式可以解決這些問題。盡管我們后來發現用戶的數據大多在最近一段時間內較熱，時間比較早的數據相對較冷，只用了Cobar的一維擴展方式，將冷數據歸檔到Hbase集群來解決。在數據的在線處理這塊，有很多用Akka框架的程序，比如計息系統主要是運算的，所以Akka很適合干這個事情。

自動記帳這塊主要是錢管家這款產品，他會根據銀行的帳單把這些數據匯總到這個產品里面，主要是從其他系統匯聚出原始的數據，根據這些數據我們會進行分類，進行加工和抽取，最后匯總到database，這個過程的思路就是command+pipeline下面這套組合，只不過是分布式命令和管道，分布式里面命令是Akka所承擔的角色。

數據分析這塊，Canal會把binlog數據丟到Kafka然后同步到其他系統。在線分析主要通過Storm進行，數據分析過程中緩存用了豌豆莢的Codis。離線分析目前用Hadoop/Spark的方式，數據分析之后，一部分存到Hbase，另一部分在通過Cober存儲到MySQL里面。