在之前的文章中，我們有做過永洪對數據的加工和處理的方法和介紹，這次我們來學習一下永洪產品高可用的配置設計方案。

 

 

 

在使用永洪產品過程中，可能會遇到服務器斷電、網絡質量差、服務器宕機等突發(fā)問題，結果使集群中的節(jié)點失效，從而影響到永洪BI的正常使用，導致無法正常的查看、分析數據，為了解決如此問題，永洪也完善并支持服務的高可用場景。 

 

永洪如何實現產品的高可用呢，答案是Naming雙活，也就是部署兩個N節(jié)點，通過ZooKeeper實現集群的高可用性。對于不了解永洪集群環(huán)境節(jié)點類型的小伙伴可以查看之前的講解（一文讀懂大數據量組合數據集在永洪的應用實例）。

 

?在講解Naming雙活之前呢，還是需要先學習一下ZooKeeper的相關知識。

 

首先講解一下什么是 ZooKeeper Server：

 

啟動Naming雙活，需要安裝部署ZooKeeper Server。

 

ZooKeeper的部署分為單機模式和集群模式，集群模式是指在多個節(jié)點上啟動ZooKeeper Server。一般考慮在三臺機器上部署ZooKeeper Server。

 

除了Server 這個角色以外，還有這樣的一類角色ZooKeeper Client：在這里，Client指的是MPP集市中的節(jié)點。

 

ZooKeeper Client連接到ZooKeeper Server，通過心跳保持連接。

 

?那么Naming雙活的工作原理是如何進行的呢？

 

1、ZooKeeper Client連接到ZooKeeper Server

 

MPP集市啟動時，首先Naming Node連接到ZooKeeper Server，并初始化領導者選舉，然后Backup Node和其它Nodes（Map/Reduce/Client）連接到ZooKeeper Server。如果有多個Backup Node，則有First Backup Node，First Backup Node會和Naming Node同步meta文件，其他Backup Nodes處于待命狀態(tài)。

 

2、Naming Node宕機時

 

First Backup Node會成為新的Naming Node（該過程需要半分鐘至幾分鐘完成），其他節(jié)點將被通知更換新的Naming Node，對配置文件進行自動修改。

 

如果要將之前的Naming Node再重新加入到集市，將作為Backup Node加入集市；并修改global_bi.properties中的dc.node.naming為此時Naming Node的ip+offset。

 

3、Backup Node宕機時

 

如果是First Backup Node宕機，則剩余的Backup Nodes選舉出新的First Backup Node，繼續(xù)和Naming Node同步。

 

?了解了zookeeper的工作原理之后，我們開始學習如何安裝并啟動Naming雙活的功能。

 

1、 規(guī)劃ZooKeeper集群環(huán)境

 

MPP集市節(jié)點的規(guī)劃：幾臺Naming Node，哪些作為備份Naming Node，集市中的節(jié)點都有哪些，怎么搭建，需要提前規(guī)劃，然后將所有節(jié)點和ZooKeeper Server連接。

 

ZooKeeper集群節(jié)點規(guī)劃：ZooKeeper Server裝在哪些機器上，需要提前規(guī)劃好。

 

ZooKeeper集群節(jié)點和MPP集市節(jié)點可以部署到同一臺機器，安裝包里已經包含ZooKeeper內容，所以，如果一臺機器既想裝MPP集市節(jié)點，又想裝ZooKeeper Server，只需同時勾上集市節(jié)點類型和ZooKeeper服務就可以了。

 

2、安裝、配置和啟動

 

• 所有集群節(jié)點需要啟用命名節(jié)點的雙活機制。

 

在安裝過程中，每個節(jié)點需要勾上“使用命名節(jié)點的雙活機制”，并配置ZooKeeper的連接地址，形式為：IP1:Host1,IP2:Host2,IP3:Host3。裝了幾個ZooKeeper Server(一般為基數個），就將幾個的IP：Host寫上。

 

 

 

IP：ZooKeeper Server機器IP。

Host：ZooKeeper Server的端口號。

 

 

 

 

安裝完畢后，所有節(jié)點的global_bi.properties都會加上：

 

 

 

dc.use.backup=true

zk.conn.hosts=#hosts

 

 

 

• Naming Node和Backup Naming Node

 

如果安裝Naming Node，則不需要選擇“備份節(jié)點”；

 

如果安裝Backup Naming Node，則需要選擇“命名節(jié)點安裝版”和“備份節(jié)點”，如下圖，勾選了“備份節(jié)點”，會在bi.properties中加入屬性：dc.backup=false。

 

 

• 安裝ZooKeeper Server

 

在安裝界面，通過選擇“在此節(jié)點啟用ZooKeeper服務”來安裝ZooKeeper Server。

 

 

點擊“下一步“，出現“設置ZooKeeper配置信息”界面來設置ZooKeeper Server的信息。

 

 

 

 

• ZooKeeper 端口: 正在安裝的這個ZooKeeper Server的端口號。用于ZooKeeper Client（C/N/M/R節(jié)點）和ZooKeeper Server之間通訊。

• Data目錄：存儲快照文件Snapshot 的目錄。

• 日志目錄：ZooKeeper日志輸出目錄。

• 集群節(jié)點配置：用于ZooKeeper Server之間的通信。裝了幾個ZooKeeper Server(一般為基數個），就將幾個的IP：Host1：Host2寫上。

• IP：ZooKeeper Server機器IP。

• Host1：通信端口。

• Host2：選舉通信端口。

• 集群節(jié)點編號：指定正在安裝的ZooKeeper Server是ZooKeeper集群節(jié)點配置中的第幾個節(jié)點。

 

 

 

以上屬性會存到以下兩個文件里：

 

 

 

zookeeper\conf\zoo.cfg

zookeeper\data\myid

 

 

 

• 啟動ZooKeeper Server

 

在安裝的ZooKeeper Server的安裝目錄下，進入zookeeper\bin目錄

 

 

 

Linux：運行zkServer.sh

Windows：運行zkServer.cmd

 

 

 

如果是ZooKeeper集群模式，在啟動之后需要等待一小段時間(半分鐘以內)，讓ZooKeeper集群內部完成領導者選舉。

 

• 啟動Naming Node

 

 

 

Linux：tomcat/bin/startup.sh

Windows: tomcat/bin/startup.bat

 

 

 

• 啟動集市其它節(jié)點

 

此步驟與上述內容一致

 

?接著我們拿一個實際案例進行實踐。

 

1、規(guī)劃一個啟用了Naming雙活的集市環(huán)境

 

 

本機（Windows，IP：192.168.1.238）安裝4個集市節(jié)點，CR、M、N、N_Backup（N節(jié)點的備份）。

 

其中CR、M和N節(jié)點上安裝ZooKeeper Server。

 

2、安裝過程

 

安裝CR：

 

選擇數據集市->MPP集市->選擇“客戶端節(jié)點安裝版”和“Reduce節(jié)點安裝版”。

 

 

勾選“使用命名節(jié)點的雙活機制”；

 

輸入ZooKeeper連接地址：

 

 

 

192.168.1.238:2181,192.168.1.238:2182,192.168.1.238:2183

 

 

 

安裝Zookeeper Server：

 

 

注：ZooKeeper端口：2181，集群節(jié)點編號：1

 

安裝N：

 

選擇數據集市->MPP集市->選擇“命名節(jié)點安裝版”，不勾選“備份節(jié)點”。

 

 

勾選“使用命名節(jié)點的雙活機制”：

 

輸入ZooKeeper連接地址，同CR。

 

安裝Zookeeper Server，同CR，ZooKeeper端口：2182，集群節(jié)點編號：2。

 

 

安裝N（備份）：

 

選擇數據集市->MPP集市->選擇“命名節(jié)點安裝版”，勾選“備份節(jié)點”。

 

 

勾選“使用命名節(jié)點的雙活機制”：

 

輸入ZooKeeper連接地址，同CR。

 

不安裝Zookeeper Server。

 

 

安裝M：

 

選擇數據集市->MPP集市->選擇“Map節(jié)點安裝版”。

 

 

勾選“使用命名節(jié)點的雙活機制”：

 

輸入ZooKeeper連接地址，同CR。

 

安裝ZooKeeper Server，同CR，ZooKeeper端口：2183，集群節(jié)點編號：3。

 

 

• 修改集群配置

 

在同一臺機器上啟動多個節(jié)點需要配置端口偏移，所以，在啟動之前，在CR、N(備份)和M的bi.properties里分別配置：

 

 

 

dc.port.offset=1

dc.port.offset=2

dc.port.offset=3

 

 

 

• 啟動ZooKeeper Server

 

Naming雙活啟動順序

 

1、先啟動Zookeeper，沒有先后順序；

2、當Zookeeper集群穩(wěn)定后，先啟動主N的Tomcat；

3、再啟動其他節(jié)點的Tomcat，沒有先后順序。

 

在永洪安裝路徑下找到Zookeeper/bin目錄

 

雙擊 zkServer.cmd啟動

 

 

• 啟動Tomcat

 

在永洪安裝路徑找到tomcat/bin目錄

 

雙擊startup.bat

 

 

?小結：永洪高可用使用的技術是基于Zookeeper集群實現的，使用時要確保Zookeeper節(jié)點之間的通信，而且盡量采用奇數個節(jié)點的設計。以上就是我們對于Naming雙活的介紹。

 

 

 

 

?