微服務雪崩防護最佳實踐之sentinel

思考

1、當服務訪問量達到一定程度，流量扛不住的時候，該如何處理？

2、服務之間相互依賴，當服務A出現響應時間過長，影響到服務B的響應，進而產生連鎖反應，直至影響整個依賴鏈上的所有服務，該如何處理？

這是分布式、微服務開發不可避免的問題。

我們系統假如是這樣的調用圖。當G服務出現程序Bug，大流量請求，硬件故障，緩存擊穿時，導致服務不可用。進而導致D服務不可用，導致A服務不可用。

B、C、D三個服務共享A服務的線程池，當D服務出現故障時，則導致A服務中所有線程池都在等待D服務響應而被阻塞。進而導致A服務不可用

?解決方案

超時機制

在不做任何處理的情況下，服務提供者不可用會導致消費者請求線程強制等待，而造成系統資源耗盡。加入超時機制，一旦超時，就釋放資源。由于釋放資源速度較快，一定程度上可以抑制資源耗盡的問題。

服務限流(資源隔離)

限制請求核心服務提供者的流量，使大流量攔截在核心服務之外，這樣可以更好的保證核心服務提供者不出問題，對于一些出問題的服務可以限制流量訪問，只分配固定線程資源訪問，這樣能使整體的資源不至于被出問題的服務耗盡，進而整個系統雪崩。那么服務之間怎么限流，怎么資源隔離？例如可以通過線程池+隊列的方式，通過信號量的方式。

當D服務出問題時，A調用C服務和B服務不受影響。

服務熔斷

遠程服務不穩定或網絡抖動時暫時關閉，就叫服務熔斷。

服務降級

有服務熔斷，必然要有服務降級。

sentinel開源功能不足之點

?相信用過開源版本sentinel的小伙伴，會發現當服務重新啟動是，sentinel控制臺規則數據則失效；接下里引入sentinel-datasource-nacos 規則持久化，來解決sentinel規則失效問題。但是發現在sentinel的dashboard的客戶端更改規則生效，但是nacos中的配置未發生變更，導致dashboard的和nacos的數據不一致現象。

紅色的箭頭未實現，就會導致dashboard配置的規則和nacos配置中的數據不一致。

為了解決這個問題，官方的建議是在dashboard源碼中進行改造，直接寫入數據到nacos中。標紅的部分

所以實現dashboard和nacos中的數據規則一致，則有兩個方案：

?方案一需要在應用服務端進行改造

方案二需要在dashboard的源碼中進行改造（官方推薦）

設計模式的核心理念邏輯之一：開放封閉原則。選擇方案一比較好點。

我對方案一進行的實現。

代碼實現

1.SpringContextHolder 工具類(為了能獲取到配置中變量)

@Component
public class SpringContextHolder implements ApplicationContextAware {private static ApplicationContext context;public static ApplicationContext getContext() {return context;}@Overridepublic void setApplicationContext(ApplicationContext applicationContext) {context = applicationContext;}
}

2.?SentinelNacosProperties 實體類

public class SentinelNacosProperties {public String serverAddr;public String groupId;public String dataId;public String username;public String password;public String namespace;public String appName;
//自己添加get/set方法
}

?3.利用sentinel的擴展點InitFunc（NacosDataSourceInitFunc）

@Slf4j
public class NacosDataSourceInitFunc implements InitFunc {@Overridepublic void init() throws Exception {log.info("NacosDataSourceInitFunc init...");Environment env = SpringContextHolder.getContext().getEnvironment();String appName = env.getProperty("spring.application.name", "demo-project");String groupId = "SENTINEL_GROUP";String serverAddr = env.getProperty("spring.cloud.nacos.config.server-addr", "localhost:8848");String namespace = env.getProperty("spring.cloud.nacos.config.namespace", "public");String username = env.getProperty("spring.cloud.nacos.config.username", "nacos");String password = env.getProperty("spring.cloud.nacos.config.password", "xx#pj70Qdd1");log.info("NacosDataSourceInitFunc appName:{}, group:{}, serverAddr:{}", appName, groupId, serverAddr);SentinelNacosProperties sentinelNacosProperties = new SentinelNacosProperties();sentinelNacosProperties.setAppName(appName);sentinelNacosProperties.setGroupId(groupId);sentinelNacosProperties.setServerAddr(serverAddr);sentinelNacosProperties.setNamespace(namespace);sentinelNacosProperties.setUsername(username);sentinelNacosProperties.setPassword(password);// =============== FlowRule 流控規則 ==================String flowDataId = appName + "-flow-rules";sentinelNacosProperties.setDataId(flowDataId);WritableDataSource<List<FlowRule>> flowRuleWritableDataSource = new NacosWritableDataSource<>(sentinelNacosProperties, JSON::toJSONString);WritableDataSourceRegistry.registerFlowDataSource(flowRuleWritableDataSource);// =============== DegradeRule 降級規則 ==================String degradeDataId = appName + "-degrade-rules";sentinelNacosProperties.setDataId(degradeDataId);WritableDataSource<List<DegradeRule>> degradeRuleWritableDataSource = new NacosWritableDataSource<>(sentinelNacosProperties, JSON::toJSONString);WritableDataSourceRegistry.registerDegradeDataSource(degradeRuleWritableDataSource);// =============== AuthorityRule 授權規則 ==================String authorityDataId = appName + "-authority-rules";sentinelNacosProperties.setDataId(authorityDataId);WritableDataSource<List<AuthorityRule>> authorityRuleWritableDataSource = new NacosWritableDataSource<>(sentinelNacosProperties, JSON::toJSONString);WritableDataSourceRegistry.registerAuthorityDataSource(authorityRuleWritableDataSource);// =============== SystemRule 系統規則 ==================String systemDataId = appName + "-system-rules";sentinelNacosProperties.setDataId(systemDataId);WritableDataSource<List<SystemRule>> systemRuleWritableDataSource = new NacosWritableDataSource<>(sentinelNacosProperties, JSON::toJSONString);WritableDataSourceRegistry.registerSystemDataSource(systemRuleWritableDataSource);log.info("NacosDataSourceInitFunc init finished");}
}

由于sentinel的各個規則都可以在不同的nacos服務上，根據自己的修改此配置。

4. 寫數據源的實現

import com.alibaba.csp.sentinel.datasource.Converter;
import com.alibaba.csp.sentinel.datasource.WritableDataSource;
import com.alibaba.nacos.api.NacosFactory;
import com.alibaba.nacos.api.PropertyKeyConst;
import com.alibaba.nacos.api.config.ConfigService;
import com.alibaba.nacos.api.config.ConfigType;
import com.alibaba.nacos.api.exception.NacosException;
import org.springframework.beans.factory.annotation.Value;import java.util.Properties;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;/*** Sentinel nacos寫數據源實現**/
public class NacosWritableDataSource<T> implements WritableDataSource<T> {private final String serverAddr;private final String groupId;private final String dataId;private final String username;private final String password;private final String namespace;private final Properties properties;private ConfigService configService;private final Converter<T, String> configEncoder;private final Lock lock = new ReentrantLock(true);public NacosWritableDataSource(SentinelNacosProperties nacosProperties, Converter<T, String> configEncoder) {this.serverAddr = nacosProperties.getServerAddr();this.namespace = nacosProperties.getNamespace();this.groupId = nacosProperties.getGroupId();this.dataId = nacosProperties.getDataId();this.username = nacosProperties.getUsername();this.password = nacosProperties.getPassword();this.properties = NacosWritableDataSource.buildProperties( nacosProperties);this.configEncoder = configEncoder;initConfigService();}private void initConfigService() {try {this.configService = NacosFactory.createConfigService(properties);} catch (NacosException e) {e.printStackTrace();}}private static Properties buildProperties(SentinelNacosProperties nacosProperties) {Properties properties = new Properties();properties.setProperty(PropertyKeyConst.SERVER_ADDR, nacosProperties.getServerAddr());properties.setProperty(PropertyKeyConst.NAMESPACE, nacosProperties.getNamespace());properties.setProperty(PropertyKeyConst.USERNAME, nacosProperties.getUsername());properties.setProperty(PropertyKeyConst.PASSWORD, nacosProperties.getPassword());return properties;}@Overridepublic void write(T t) throws Exception {lock.lock();try {configService.publishConfig(dataId, groupId, this.configEncoder.convert(t));} finally {lock.unlock();}}@Overridepublic void close() throws Exception {}}

5. application.yml 規則定義

spring:cloud:sentinel:transport:dashboard: localhost:8080 # Sentinel 控制臺地址port: 8719 # 本地啟動的端口，用于與 Sentinel 控制臺通信eager: true # 是否立即初始化web-context-unify: false # 是否合并 Web 上下文datasource:flow-rules:nacos:server-addr: 127.0.0.1:8848dataId: ${spring.application.name}-flow-rulesgroupId: SENTINEL_GROUPdata-type: jsonrule-type: flowdegrade-rules:nacos:server-addr: 127.0.0.1:8848dataId: ${spring.application.name}-degrade-rulesgroupId: SENTINEL_GROUPdata-type: jsonrule-type: degradeparam-flow-rules:nacos:server-addr: 127.0.0.1:8848dataId: ${spring.application.name}-param-flow-rulesgroupId: SENTINEL_GROUPdata-type: jsonrule-type: param-flowauthority-rules:nacos:server-addr: 127.0.0.1:8848dataId: ${spring.application.name}-authority-rulesgroupId: SENTINEL_GROUPdata-type: jsonrule-type: authoritysystem-rules:nacos:server-addr: 127.0.0.1:8848dataId: ${spring.application.name}-system-rulesgroupId: SENTINEL_GROUPdata-type: jsonrule-type: system