增加了zookeeper的笔记

增加了大数据平台的启动脚本

前端/前端部署问题/自动化部署.md

@@ -0,0 +1,189 @@
+## 1、启动docker容器
+
+![image-20220422184600670](assets/image-20220422184600670.png)
+
+1. 首先创建一个容器，导出默认的配置文件
+
+```shell
+docker run -d --name=test nginx
+
+docker cp test:/etc/nginx ~/conf
+```
+
+2. 删除刚刚的容器，并且建立项目路径
+
+```shell
+docker rm -f test 
+
+mv conf  ./front/blog/
+
+mkdir front/blog/html
+```
+
+3. 启动容器挂载目录
+
+```shell
+docker run -d -p 80:80 -p 443:443 --restart=on-failure:5 --name=blog -v /root/front/blog/html:/usr/share/nginx/html -v /root/front/blog/conf:/etc/nginx nginx
+```
+
+## 2、全自动部署
+
+这里会涉及的配置有：
+
+- 我们开发机需要配置连接服务器的免密登录
+- 设置 github 仓库的私钥为本地开发机的私钥
+- 项目根目录下创建`.github/workflows/publish.yml`
+- 服务器配置 nginx 或者配置 docker
+
+### 为什么要配置免密登录？
+
+这里有个细节，这里的免密登录并不是代表我们在所有的电脑连接服务器都不需要输入密码，而是我们开发机连接服务器不需要输入密码，当我们连接的时候会自动的以我们开发机的 ssh 私钥作为密码进行匹配，如果匹配成功就会登录成功，因为这个过程是自动的，所以看起来跟不用输入密码一样，实际上是需要的。
+
+### github 仓库私钥设置了干什么？
+
+github 会以我们开发机的私钥作为密码去连接我们的服务器，服务器只看私钥，它发现私钥是正确的，就会给予通过，我们就能访问成功连接服务器，就可以传输文件了。
+
+### 示例
+
+项目结构
+
+![image-20220422192911885](assets/image-20220422192911885.png)
+
+.github/workflows/publish.yml
+
+```yml
+name: 打包vuepress博客
+
+on:
+  push:
+    # push 代码的时候 哪个分支会受到影响 这里是 main 主分支
+    branches:
+      - main
+
+# 推送之后执行一系列的任务
+jobs:
+  build:
+    # 运行 ubuntu虚拟机系统
+    runs-on: ubuntu-latest
+    steps:
+      # 获取代码
+      - name: 迁出代码
+        # 使用action库
+        uses: actions/checkout@master
+      # 安装Node10
+
+      - name: 安装node.js
+        # 使用action库  actions/setup-node安装node
+        uses: actions/setup-node@v1
+        with:
+          node-version: 14.18.0
+
+      - name: 安装yarn
+        run: npm install -g yarn
+
+      # 安装依赖
+      - name: 安装依赖
+        run: yarn
+
+      # 打包
+      - name: 打包
+        run: yarn docs:build
+
+      # 上传到自己的服务器
+      - name: 发布到百度云
+        uses: easingthemes/ssh-deploy@v2.1.1
+        env:
+          # 私钥 PRIVATE_KEY 要和 仓库的私钥名一致 也就是私钥名也要叫 PRIVATE_KEY
+          SSH_PRIVATE_KEY: ${{ secrets.PRIVATE_KEY }}
+          # SCP参数
+          ARGS: "-avzr --delete"
+          # 源目录 -- 打包后的文件目录，也就是这个文件会被传到服务器上
+          SOURCE: "docs/.vuepress/dist/*"
+          # 服务器ip
+          REMOTE_HOST: "你的IP"
+          # 用户
+          REMOTE_USER: "root"
+          # 目标地址 -- 上传到服务器的地址
+          TARGET: "/root/front/blog/html"
+
+```
+
+在仓库中设置私钥
+
+![image-20220422193518653](assets/image-20220422193518653.png)
+
+配置好以上的操作就可以，当我们代码写好了之后执行`git push`就可以前往 github 仓库下的`Actions`栏目下看进度了，这是个图形化的优雅界面，非常的 NICE
+
+![image-20220422200013867](assets/image-20220422200013867.png)
+
+之后就可以前往服务器中查看指定目录下是否含有我们打包后的文件了，如果前面的步骤都没有报错，那么是肯定会有的。
+
+![image-20220422203623997](assets/image-20220422203623997.png)
+
+最后通过浏览器访问
+
+![image-20220422203653688](assets/image-20220422203653688.png)
+
+## 3、配置https访问
+
+1. 申请证书
+
+![image-20220428112143281](assets/image-20220428112143281.png)
+
+2. 这里购买阿里云的证书，填写好个人信息后就可以申请成功了
+
+![image-20220428112325615](assets/image-20220428112325615.png)
+
+然后选择下载对应的证书，我这里选择的是nginx
+
+![image-20220428112442031](assets/image-20220428112442031.png)
+
+3. 将下载的证书上传到服务器
+
+```shell
+mkdir cert
+
+# 将下载好的证书上传到服务器
+
+# 配置default.conf
+server {
+    listen       80;
+    listen  [::]:80;
+    server_name  www.seamew.top;
+	rewrite ^(.*)$ https://$host$1; #将所有HTTP请求通过rewrite指令重定向到HTTPS。
+    location / {
+        root   /usr/share/nginx/html;
+        index  index.html index.htm;
+    }
+    error_page   500 502 503 504  /50x.html;
+    location = /50x.html {
+        root   /usr/share/nginx/html;
+    }
+}
+server {
+    listen 443 ssl;
+    server_name www.seamew.top; #需要将yourdomain替换成证书绑定的域名。
+    root html;
+    index index.html index.htm;
+    ssl_certificate cert/7688799_www.seamew.top.pem;  #需要将cert-file-name.pem替换成已上传的证书文件的名称。
+    ssl_certificate_key cert/7688799_www.seamew.top.key; #需要将cert-file-name.key替换成已上传的证书私钥文件的名称。
+    ssl_session_timeout 5m;
+    ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
+    #表示使用的加密套件的类型。
+    ssl_protocols TLSv1.1 TLSv1.2 TLSv1.3; #表示使用的TLS协议的类型。
+    ssl_prefer_server_ciphers on;
+    location / {
+        root   /usr/share/nginx/html;
+        index  index.html index.htm;
+    }
+}
+
+# 最后重启容器即可访问成功
+```
+
+4. 如果无法正常访问，请检查docker是否映射端口，并且检查服务器防火墙是否开启端口。
+
+## 总结
+
+通过**github action**是CICD的一种实现方式。但如果是前端的一些小网站，还是优选**github action**。
+

后端/Java/java23种设计模式/java23种设计模式.md

@@ -0,0 +1,51 @@
+[TOC]
+
+## 1、为什么需要使用设计模式
+
+使用设计模式可以重构整体架构代码、提交代码复用性、扩展性、减少代码冗余问题。
+
+Java高级工程师必备的技能！
+
+ 
+
+## 2、设计模式六大原则
+
+### 2.1、开闭原则（Open Close Principle）
+
+开闭原则就是说对扩展开放，对修改关闭。在程序需要进行拓展的时候，不能去修改原有的代码，实现一个热插拔的效果。所以一句话概括就是：为了使程序的扩展性好，易于维护和升级。想要达到这样的效果，我们需要使用接口和抽象类，后面的具体设计中我们会提到这点。
+
+### 2.2、里氏代换原则（Liskov Substitution Principle）
+
+里氏代换原则(Liskov Substitution Principle LSP)面向对象设计的基本原则之一。 里氏代换原则中说，任何基类可以出现的地方，子类一定可以出现。 LSP是继承复用的基石，只有当衍生类可以替换掉基类，软件单位的功能不受到影响时，基类才能真正被复用，而衍生类也能够在基类的基础上增加新的行为。里氏代换原则是对“开-闭”原则的补充。实现“开-闭”原则的关键步骤就是抽象化。而基类与子类的继承关系就是抽象化的具体实现，所以里氏代换原则是对实现抽象化的具体步骤的规范。—— From Baidu 百科
+
+封装 继承 多态 重写（模版方法设计模式中） 接口、抽象类
+
+## 2.3、依赖倒转原则（Dependence Inversion Principle）
+
+这个是开闭原则的基础，具体内容：真对接口编程，依赖于抽象而不依赖于具体。
+
+### 2.4、接口隔离原则（Interface Segregation Principle）
+
+这个原则的意思是：使用多个隔离的接口，比使用单个接口要好。还是一个降低类之间的耦合度的意思，从这儿我们看出，其实设计模式就是一个软件的设计思想，从大型软件架构出发，为了升级和维护方便。所以上文中多次出现：降低依赖，降低耦合。
+
+### 2.5、迪米特法则（最少知道原则）（Demeter Principle）
+
+为什么叫最少知道原则，就是说：一个实体应当尽量少的与其他实体之间发生相互作用，使得系统功能模块相对独立。
+
+### 2.6、合成复用原则（Composite Reuse Principle）
+
+原则是尽量使用合成/聚合的方式，而不是使用继承。
+
+## 3、设计模式的分类
+
+### 3.1、创建型模式
+
+工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。
+
+### 3.2、结构型模式
+
+适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式
+
+### 3.3、行为模式
+
+策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。

后端/Java/java23种设计模式/工厂模式.md

@@ -0,0 +1,30 @@
+## 工厂模式
+
+1.工厂模式是为了解耦：把对象的创建和使用的过程分开。就是Class A 想调用Class B,那么只是调用B的方法，而至于B的实例化，就交给工厂类。
+
+2.工厂模式可以降低代码重复。如果创建B过程都很复杂，需要一定的代码量，而且很多地方都要用到，那么就会有很多的重复代码。可以把这些创建对象B的代码放到工厂里统一管理。既减少了重复代码，也方便以后对B的维护。
+
+3.工厂模式可以减少错误，因为工厂管理了对象的创建逻辑，使用者不需要知道具体的创建过程，只管使用即可，减少了使用者因为创建逻辑导致的错误。
+
+ 
+
+工厂模式可以分为简单工厂、工厂方法、抽象工厂、静态工厂模式
+
+## 工厂模式优缺点
+
+优点：
+
+代码结构简单。
+
+获取产品的过程更加简单。
+
+满足了开闭原则，即对拓展开放，对修改关闭。
+
+ 
+
+缺点：
+
+拓展较繁琐，要拓展时，需同时改动抽象工厂和工厂实现类。
+
+
+ 

后端/Java/java23种设计模式/模版模式.md

@@ -0,0 +1,45 @@
+# 模版模式
+
+ 
+
+## 什么是模版方法
+
+1.定义了一个操作中的算法的骨架，而将部分步骤的实现在子类中完成。
+
+模板方法模式使得子类可以不改变一个算法的结构即可重定义该算法的某些特定步骤。
+
+2.模板方法模式是所有模式中最为常见的几个模式之一，是基于继承的代码复用的基本技术，没有关联关系。 因此，在模板方法模式的类结构图中，只有继承关系。
+
+ 
+
+核心设计要点：
+
+AbstractClass : 抽象类，定义并实现一个模板方法。这个模板方法定义了算法的骨架，而逻辑的组成步骤在相应的抽象操作中，推迟到子类去实现
+
+ConcreteClass : 实现实现父类所定义的一个或多个抽象方法。
+
+ 
+
+## 模版方法应用场景
+
+1. 比如聚合支付平台中系统回调代码重构
+
+2. Servlet 请求
+
+
+
+## 模式模式优缺点
+
+1.）优点
+
+模板方法模式通过把不变的行为搬移到超类，去除了子类中的重复代码。子类实现算法的某些细节，有助于算法的扩展。通过一个父类调用子类实现的操作，通过子类扩展增加新的行为，符合“开放-封闭原则”。
+
+2.）缺点
+
+每个不同的实现都需要定义一个子类，这会导致类的个数的增加，设计更加抽象。
+
+3.）适用场景
+
+在某些类的算法中，用了相同的方法，造成代码的重复。控制子类扩展，子类必须遵守算法规则。
+
+ 

后端/Java/java23种设计模式/策略模式.md

@@ -0,0 +1,37 @@
+### 1、什么是策略模式
+
+策略模式是对算法的包装，是把使用算法的责任和算法本身分割开来，委派给不同的对象管理，最终可以实现解决多重if判断问题。
+
+ 
+
+1.环境(Context)角色：持有一个Strategy的引用。
+
+2.抽象策略(Strategy)角色：这是一个抽象角色，通常由一个接口或抽象类实现。此角色给出所有的具体策略类所需的接口。
+
+3.具体策略(ConcreteStrategy)角色：包装了相关的算法或行为。
+
+ 
+
+定义策略接口->实现不同的策略类->利用多态或其他方式调用策略
+
+### 2、为什么叫做策略模式
+
+每个if判断都可以理解为就是一个策略。
+
+ 
+
+### 3、策略模式优缺点
+
+#### 3.1、优点
+
+算法可以自由切换（高层屏蔽算法，角色自由切换）
+
+避免使用多重条件判断（如果算法过多就会出现很多种相同的判断，很难维护）
+
+扩展性好（可自由添加取消算法 而不影响整个功能）
+
+#### 3.2、缺点
+
+策略类数量增多（每一个策略类复用性很小，如果需要增加算法，就只能新增类）
+
+所有的策略类都需要对外暴露（使用的人必须了解使用策略，这个就需要其它模式来补充，比如工厂模式、代理模式）

后端/Java/java23种设计模式/责任链模式.md

@@ -0,0 +1,64 @@
+## 什么是责任链模式
+
+ 
+
+**客户端发出一个请求，链上的对象都有机会来处理这一请求，而客户端不需要知道谁是具体的处理对象**。这样就实现了请求者和接受者之间的解耦，并且在客户端可以实现动态的组合职责链。使编程更有灵活性。
+
+ 
+
+定义：使多个对象都有机会处理请求，从而避免了请求的发送者和接受者之间的耦合关系。将这些对象连成一条链，并沿着这条链传递该请求，直到有对象处理它为止。其过程实际上是一个递归调用。
+
+ 
+
+要点主要是：
+
+1、有多个对象共同对一个任务进行处理。
+
+2、这些对象使用链式存储结构，形成一个链，每个对象知道自己的下一个对象。
+
+3、一个对象对任务进行处理，可以添加一些操作后将对象传递个下一个任务。也可以在此对象上结束任务的处理，并结束任务。
+
+4、客户端负责组装链式结构，但是客户端不需要关心最终是谁来处理了任务。
+
+ 多个对象指的是什么意思？
+
+## 责任链模式类结构图
+
+ 
+
+　1.抽象处理者(Handler)角色：定义出一个处理请求的接口。如果需要，接口可以定义 出一个方法以设定和返回对下家的引用。这个角色通常由一个Java抽象类或者Java接口实现。上图中Handler类的聚合关系给出了具体子类对下家的引用，抽象方法handleRequest()规范了子类处理请求的操作。
+
+　2.具体处理者(ConcreteHandler)角色：具体处理者接到请求后，可以选择将请求处理掉，或者将请求传给下家。由于具体处理者持有对下家的引用，因此，如果需要，具体处理者可以访问下家
+
+## 责任链模式优缺点
+
+优点：
+
+职责链模式的最主要功能就是：动态组合，请求者和接受者解耦。
+
+请求者和接受者松散耦合：请求者不需要知道接受者，也不需要知道如何处理。每个职责对象只负责自己的职责范围，其他的交给后继者。各个组件间完全解耦。
+
+动态组合职责：职责链模式会把功能分散到单独的职责对象中，然后在使用时动态的组合形成链，从而可以灵活的分配职责对象，也可以灵活的添加改变对象职责。
+
+ 
+
+缺点：
+
+产生很多细粒度的对象：因为功能处理都分散到了单独的职责对象中，每个对象功能单一，要把整个流程处理完，需要很多的职责对象，会产生大量的细粒度职责对象。
+
+不一定能处理：每个职责对象都只负责自己的部分，这样就可以出现某个请求，即使把整个链走完，都没有职责对象处理它。这就需要提供默认处理，并且注意构造链的有效性。
+
+## 责任链模式应用场景
+
+1. 多条件流程判断 权限控制
+
+2. ERP系统 流程审批 总经理、人事经理、项目经理
+
+3. Java过滤器的底层实现Filter 
+
+比如：在Java过滤器中客户端发送请求到服务器端，过滤会经过参数过滤、session过滤、表单过滤、隐藏过滤、检测请求头过滤
+
+## 责任链设计模式如何保证顺序问题？ 
+
+使用链表数据结构，只需要获取链表头结点，就可以获取到所有的handler
+

后端/redis/redis.md

@@ -0,0 +1,1132 @@
+> [TOC]
+
+# Nosql概述
+
+***
+
+## 为什么要使用Nosql
+
+### 1、单机MySQL的年代
+
+90年代,一个网站的访问量一般不会太大，单个数据库完全够用。随着用户增多，网站出现以下问题
+
+1. 数据量增加到一定程度，单机数据库就放不下了
+2. 数据的索引（B+ Tree）,一个机器内存也存放不下
+3. 访问量变大后（读写混合），一台服务器承受不住。
+
+![image-20220517095951464](assets/image-20220517095951464.png)
+
+### 2、Memcached（缓存） + MySQL + 垂直拆分 （读写分离）
+
+网站80%的情况都是在读，每次都要去查询数据库的话就十分的麻烦！所以说我们希望减轻数据的压 力，我们可以使用缓存来保证效率！ 
+
+发展过程： 优化数据结构和索引--> 文件缓存（IO）---> Memcached（当时最热门的技术！）
+
+![image-20220517100347511](assets/image-20220517100347511.png)
+
+### 3、分库分表 + 水平拆分 + MySQL集群
+
+技术和业务在发展的同时，对人的要求也越来越高！
+
+本质：数据库（读，写） 
+
+早些年MyISAM： 表锁，十分影响效率！高并发下就会出现严重的锁问题 
+
+转战Innodb：行锁 
+
+慢慢的就开始使用分库分表来解决写的压力！ MySQL 在哪个年代推出 了表分区！这个并没有多少公司 使用！ 
+
+MySQL 的 集群，很好满足哪个年代的所有需求！
+
+![image-20220517101228747](assets/image-20220517101228747.png)
+
+### 4、如今最近的年代
+
+2010--2020 十年之间，世界已经发生了翻天覆地的变化；（定位，也是一种数据，音乐，热榜！） 
+
+MySQL 等关系型数据库就不够用了！数据量很多，变化很快~！
+
+ MySQL 有的使用它来村粗一些比较大的文件，博客，图片！数据库表很大，效率就低了！如果有一种数 据库来专门处理这种数据,
+
+ MySQL压力就变得十分小（研究如何处理这些问题！）大数据的IO压力下，表几乎没法更大！
+
+![image-20220517101336924](assets/image-20220517101336924.png)
+
+### 5、为什么要用NoSQL！
+
+用户的个人信息，社交网络，地理位置。用户自己产生的数据，用户日志等等爆发式增长！
+
+这时候我们就需要使用NoSQL数据库的，Nosql 可以很好的处理以上的情况
+
+
+
+## 什么是NoSQL
+
+NoSQL = Not Only SQL（不仅仅是SQL）
+
+Not Only Structured Query Language
+
+关系型数据库：列+行，同一个表下数据的结构是一样的。
+
+非关系型数据库：数据存储没有固定的格式，并且可以进行横向扩展。
+
+NoSQL泛指非关系型数据库，随着web2.0互联网的诞生，传统的关系型数据库很难对付web2.0时代！尤其是超大规模的高并发的社区，暴露出来很多难以克服的问题，NoSQL在当今大数据环境下发展的十分迅速，Redis是发展最快的。
+
+### 1、Nosql特点
+
+1. 方便扩展（数据之间没有关系，很好扩展！）
+
+2. 大数据量高性能（Redis一秒可以写8万次，读11万次，NoSQL的缓存记录级，是一种细粒度的缓存，性能会比较高！）
+
+3. 数据类型是多样型的！（不需要事先设计数据库，随取随用）
+
+4. 传统的 RDBMS 和 NoSQL
+
+   ```diff
+   传统的 RDBMS(关系型数据库)
+   - 结构化组织
+   - SQL
+   - 数据和关系都存在单独的表中 row col
+   - 操作，数据定义语言
+   - 严格的一致性
+   - 基础的事务
+   ```
+
+   ```diff
+   Nosql
+   - 不仅仅是数据
+   - 没有固定的查询语言
+   - 键值对存储，列存储，文档存储，图形数据库（社交关系）
+   - 最终一致性
+   - CAP定理和BASE
+   - 高性能，高可用，高扩展
+   - ..
+   ```
+
+### 2、了解：3V + 3高
+
+大数据时代的3V ：主要是描述问题的
+
+1. 海量Velume
+2. 多样Variety
+3. 实时Velocity
+
+大数据时代的3高 ： 主要是对程序的要求
+
+1. 高并发
+2. 高可扩
+3. 高性能
+
+真正在公司中的实践：NoSQL + RDBMS 一起使用才是最强的。
+
+## Nosql的四大分类
+
+> **KV键值对**
+
+- 新浪：Redis
+- 美团：Redis + Tair
+- 阿里、百度：Redis + Memcache
+
+> **文档型数据库（bson数据格式）：**
+
+- MongoDB(掌握)
+  - 基于分布式文件存储的数据库。C++编写，用于处理大量文档。
+  - MongoDB是RDBMS和NoSQL的中间产品。MongoDB是非关系型数据库中功能最丰富的，NoSQL中最像关系型数据库的数据库。
+- ConthDB
+
+> **列存储数据库**
+
+- HBase(大数据必学)
+- 分布式文件系统
+
+> **图关系数据库**
+
+用于广告推荐，社交网络
+
+- Neo4j、InfoGrid
+
+| 分类                | Examples举例                                       | 典型应用场景                                                 | 数据模型                                        | 优点                                                         | 缺点                                                         |
+| ------------------- | -------------------------------------------------- | ------------------------------------------------------------ | ----------------------------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
+| 键值对（key-value） | Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB | 内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。 | Key 指向 Value 的键值对，通常用hash table来实现 | 查找速度快                                                   | 数据无结构化，通常只被当作字符串或者二进制数据               |
+| 列存储数据库        | Cassandra, HBase, Riak                             | 分布式的文件系统                                             | 以列簇式存储，将同一列数据存在一起              | 查找速度快，可扩展性强，更容易进行分布式扩展                 | 功能相对局限                                                 |
+| 文档型数据库        | CouchDB, MongoDb                                   | Web应用（与Key-Value类似，Value是结构化的，不同的是数据库能够了解Value的内容） | Key-Value对应的键值对，Value为结构化数据        | 数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构 | 查询性能不高，而且缺乏统一的查询语法。                       |
+| 图形(Graph)数据库   | Neo4J, InfoGrid, Infinite Graph                    | 社交网络，推荐系统等。专注于构建关系图谱                     | 图结构                                          | 利用图结构相关算法。比如最短路径寻址，N度关系查找等          | 很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群 |
+
+# Redis入门
+
+## 概述
+
+> Redis是什么？
+
+Redis（Remote Dictionary Server )，即远程字典服务。
+
+是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。
+
+与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
+
+> Redis能干什么？
+
+1. 内存存储、持久化，内存是断电即失的，所以需要持久化（RDB、AOF）
+2. 高效率、用于高速缓冲
+3. 发布订阅系统
+4. 地图信息分析
+5. 计时器、计数器(eg：浏览量)
+6. 。。。
+
+> 特性
+
+1. 多样的数据类型
+2. 持久化
+3. 集群
+4. 事务
+
+## Linux安装
+
+1. 基本安装
+
+```shell
+# 1.下载安装包！
+redis-7.0.0.tar.gz
+# 2.解压Redis的安装包！
+tar -zxvf redis-7.0.0.tar.gz
+yum install gcc-c++ -y
+# 然后进入redis目录下执行
+make && make install
+```
+
+2.  redis默认安装路径 `/usr/local/bin`
+3. 将redis的配置文件复制到 程序安装目录 `/usr/local/bin/redis-config`下
+4. redis默认不是后台启动的，需要修改配置文件！
+
+![image-20220517111032308](assets/image-20220517111032308.png)
+
+5. 通过制定的配置文件启动redis服务
+
+   ```shell
+   redis-server redis-config/redis.conf
+   ```
+
+   
+
+6. 关闭Redis服务 `shutdown`
+
+## 基础知识
+
+redis默认有16个数据库
+
+```shell
+默认使用的第0个;
+
+16个数据库为：DB 0~DB 15
+默认使用DB 0 ，可以使用select n切换到DB n，dbsize可以查看当前数据库的大小，与key数量相关。
+```
+
+`keys *` ：查看当前数据库中所有的key。
+
+`flushdb`：清空当前数据库中的键值对。
+
+`flushall`：清空所有数据库的键值对。
+
+> Redis是单线程的，Redis是基于内存操作的。
+
+所以Redis的性能瓶颈不是CPU,而是机器内存和网络带宽。
+
+那么为什么Redis的速度如此快呢，性能这么高呢？QPS达到10W+
+
+> Redis为什么单线程还这么快？
+
+- 误区1：高性能的服务器一定是多线程的？
+- 误区2：多线程（CPU上下文会切换！）一定比单线程效率高！
+
+核心：Redis是将所有的数据放在内存中的，所以说使用单线程去操作效率就是最高的，多线程（CPU上下文会切换：耗时的操作！），对于内存系统来说，如果没有上下文切换效率就是最高的，多次读写都是在一个CPU上的，在内存存储数据情况下，单线程就是最佳的方案。
+
+# 五大数据类型
+
+***
+
+Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持[字符串](https://www.redis.net.cn/tutorial/3508.html)、[哈希表](https://www.redis.net.cn/tutorial/3509.html)、[列表](https://www.redis.net.cn/tutorial/3510.html)、[集合](https://www.redis.net.cn/tutorial/3511.html)、[有序集合](https://www.redis.net.cn/tutorial/3512.html)，[位图](https://www.redis.net.cn/tutorial/3508.html)，[hyperloglogs](https://www.redis.net.cn/tutorial/3513.html)等数据类型。内置复制、[Lua脚本](https://www.redis.net.cn/tutorial/3516.html)、LRU收回、[事务](https://www.redis.net.cn/tutorial/3515.html)以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动[分区](https://www.redis.net.cn/tutorial/3524.html)。
+
+## Redis-key
+
+> 在redis中无论什么数据类型，在数据库中都是以key-value形式保存，通过进行对Redis-key的操作，来完成对数据库中数据的操作。
+
+下面学习的命令：
+
+- `exists key`：判断键是否存在
+- `del key`：删除键值对
+- `move key db`：将键值对移动到指定数据库
+- `expire key second`：设置键值对的过期时间
+- `type key`：查看value的数据类型
+- `expire key time`： 设置键值对的过期时间
+- `ttl key`：查看key的过期剩余时间
+
+关于`TTL`命令
+
+Redis的key，通过TTL命令返回key的过期时间，一般来说有3种：
+
+1. 当前key没有设置过期时间，所以会返回-1.
+2. 当前key有设置过期时间，而且key已经过期，所以会返回-2.
+3. 当前key有设置过期时间，且key还没有过期，故会返回key的正常剩余时间.
+
+关于重命名`RENAME`和`RENAMENX`
+
+- `RENAME key newkey`修改 key 的名称
+- `RENAMENX key newkey`仅当 newkey 不存在时，将 key 改名为 newkey 。
+
+[更多命令学习](https://www.redis.net.cn/order)
+
+## String(字符串)
+
+普通的set、get直接略过。
+
+| 命令                                 | 描述                                                         | 示例                                                         |
+| ------------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ |
+| `APPEND key value`                   | 向指定的key的value后追加字符串                               | 127.0.0.1:6379> set msg hello OK127.0.0.1:6379> append msg " world" (integer) 11 127.0.0.1:6379> get msg “hello world” |
+| `DECR/INCR key`                      | 将指定key的value数值进行+1/-1(仅对于数字)                    | 127.0.0.1:6379> set age 20 OK 127.0.0.1:6379> incr age (integer) 21 127.0.0.1:6379> decr age (integer) 20 |
+| `INCRBY/DECRBY key n`                | 按指定的步长对数值进行加减                                   | 127.0.0.1:6379> INCRBY age 5 (integer) 25 127.0.0.1:6379> DECRBY age 10 (integer) 15 |
+| `INCRBYFLOAT key n`                  | 为数值加上浮点型数值                                         | 127.0.0.1:6379> INCRBYFLOAT age 5.2 “20.2”                   |
+| `STRLEN key`                         | 获取key保存值的字符串长度                                    | 127.0.0.1:6379> get msg “hello world” 127.0.0.1:6379> STRLEN msg (integer) 11 |
+| `GETRANGE key start end`             | 按起止位置获取字符串（闭区间，起止位置都取）                 | 127.0.0.1:6379> get msg “hello world” 127.0.0.1:6379> GETRANGE msg 3 9 “lo worl” |
+| `SETRANGE key offset value`          | 用指定的value 替换key中 offset开始的值                       | 127.0.0.1:6379> SETRANGE msg 2 hello (integer) 7 127.0.0.1:6379> get msg “tehello” |
+| `GETSET key value`                   | 将给定 key 的值设为 value ，并返回 key 的旧值(old value)。   | 127.0.0.1:6379> GETSET msg test “hello world”                |
+| `SETNX key value`                    | 仅当key不存在时进行set                                       | 127.0.0.1:6379> SETNX msg test (integer) 0 127.0.0.1:6379> SETNX name sakura (integer) 1 |
+| `SETEX key seconds value`            | set 键值对并设置过期时间                                     | 127.0.0.1:6379> setex name 10 root OK 127.0.0.1:6379> get name (nil) |
+| `MSET key1 value1 [key2 value2..]`   | 批量set键值对，原子操作                                      | 127.0.0.1:6379> MSET k1 v1 k2 v2 k3 v3 OK                    |
+| `MSETNX key1 value1 [key2 value2..]` | 批量设置键值对，仅当参数中所有的key都不存在时执行            | 127.0.0.1:6379> MSETNX k1 v1 k4 v4 (integer) 0               |
+| `MGET key1 [key2..]`                 | 批量获取多个key保存的值                                      | 127.0.0.1:6379> MGET k1 k2 k3 1) “v1” 2) “v2” 3) “v3”        |
+| `PSETEX key milliseconds value`      | 和 SETEX 命令相似，但它以毫秒为单位设置 key 的生存时间，     |                                                              |
+| `getset key value`                   | 如果不存在值，则返回nil，如果存在值，获取原来的值，并设置新的值 |                                                              |
+
+String类似的使用场景：value除了是字符串还可以是数字，用途举例：
+
+- 计数器
+- 统计多单位的数量：uid:123666：follow 0
+- 粉丝数
+- 对象存储缓存
+
+## List(列表)
+
+> Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）
+>
+> 一个列表最多可以包含 2^32 - 1 个元素 (4294967295, 每个列表超过40亿个元素)。
+
+![image-20220517145312078](assets/image-20220517145312078.png)
+
+首先我们列表，可以经过规则定义将其变为队列、栈、双端队列等
+
+正如图Redis中List是可以进行双端操作的，所以命令也就分为了LXXX和RLLL两类，有时候L也表示List例如LLEN
+
+| 命令                                    | 描述                                                         |
+| --------------------------------------- | ------------------------------------------------------------ |
+| `LPUSH/RPUSH key value1[value2..]`      | 从左边/右边向列表中PUSH值(一个或者多个)。                    |
+| `LRANGE key start end`                  | 获取list 起止元素==（索引从左往右 递增）==                   |
+| `LPUSHX/RPUSHX key value`               | 向已存在的列名中push值（一个或者多个）                       |
+| `LINSERT key BEFORE|AFTER pivot value`  | 在指定列表元素的前/后 插入value                              |
+| `LLEN key`                              | 查看列表长度                                                 |
+| `LINDEX key index`                      | 通过索引获取列表元素                                         |
+| `LSET key index value`                  | 通过索引为元素设值                                           |
+| `LPOP/RPOP key`                         | 从最左边/最右边移除值 并返回                                 |
+| `RPOPLPUSH source destination`          | 将列表的尾部(右)最后一个值弹出，并返回，然后加到另一个列表的头部 |
+| `LTRIM key start end`                   | 通过下标截取指定范围内的列表                                 |
+| `LREM key count value`                  | List中是允许value重复的 `count > 0`：从头部开始搜索 然后删除指定的value 至多删除count个 `count < 0`：从尾部开始搜索… `count = 0`：删除列表中所有的指定value。 |
+| `BLPOP/BRPOP key1[key2] timout`         | 移出并获取列表的第一个/最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
+| `BRPOPLPUSH source destination timeout` | 和`RPOPLPUSH`功能相同，如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 |
+
+```shell
+127.0.0.1:6379> LPUSH mylist k1 # LPUSH mylist=>{1}
+(integer) 1
+127.0.0.1:6379> LPUSH mylist k2 # LPUSH mylist=>{2,1}
+(integer) 2
+127.0.0.1:6379> RPUSH mylist k3 # RPUSH mylist=>{2,1,3}
+(integer) 3
+127.0.0.1:6379> get mylist # 普通的get是无法获取list值的
+(error) WRONGTYPE Operation against a key holding the wrong kind of value
+127.0.0.1:6379> LRANGE mylist 0 4 # LRANGE 获取起止位置范围内的元素
+1) "k2"
+2) "k1"
+3) "k3"
+127.0.0.1:6379> LRANGE mylist 0 2
+1) "k2"
+2) "k1"
+3) "k3"
+127.0.0.1:6379> LRANGE mylist 0 1
+1) "k2"
+2) "k1"
+127.0.0.1:6379> LRANGE mylist 0 -1 # 获取全部元素
+1) "k2"
+2) "k1"
+3) "k3"
+
+---------------------------LPUSHX---RPUSHX-----------------------------------
+
+127.0.0.1:6379> LPUSHX list v1 # list不存在 LPUSHX失败
+(integer) 0
+127.0.0.1:6379> LPUSHX list v1 v2  
+(integer) 0
+127.0.0.1:6379> LPUSHX mylist k4 k5 # 向mylist中 左边 PUSH k4 k5
+(integer) 5
+127.0.0.1:6379> LRANGE mylist 0 -1
+1) "k5"
+2) "k4"
+3) "k2"
+4) "k1"
+5) "k3"
+
+---------------------------LINSERT--LLEN--LINDEX--LSET----------------------------
+
+127.0.0.1:6379> LINSERT mylist after k2 ins_key1 # 在k2元素后 插入ins_key1
+(integer) 6
+127.0.0.1:6379> LRANGE mylist 0 -1
+1) "k5"
+2) "k4"
+3) "k2"
+4) "ins_key1"
+5) "k1"
+6) "k3"
+127.0.0.1:6379> LLEN mylist # 查看mylist的长度
+(integer) 6
+127.0.0.1:6379> LINDEX mylist 3 # 获取下标为3的元素
+"ins_key1"
+127.0.0.1:6379> LINDEX mylist 0
+"k5"
+127.0.0.1:6379> LSET mylist 3 k6 # 将下标3的元素 set值为k6
+OK
+127.0.0.1:6379> LRANGE mylist 0 -1
+1) "k5"
+2) "k4"
+3) "k2"
+4) "k6"
+5) "k1"
+6) "k3"
+
+---------------------------LPOP--RPOP--------------------------
+
+127.0.0.1:6379> LPOP mylist # 左侧(头部)弹出
+"k5"
+127.0.0.1:6379> RPOP mylist # 右侧(尾部)弹出
+"k3"
+
+---------------------------RPOPLPUSH--------------------------
+
+127.0.0.1:6379> LRANGE mylist 0 -1
+1) "k4"
+2) "k2"
+3) "k6"
+4) "k1"
+127.0.0.1:6379> RPOPLPUSH mylist newlist # 将mylist的最后一个值(k1)弹出，加入到newlist的头部
+"k1"
+127.0.0.1:6379> LRANGE newlist 0 -1
+1) "k1"
+127.0.0.1:6379> LRANGE mylist 0 -1
+1) "k4"
+2) "k2"
+3) "k6"
+
+---------------------------LTRIM--------------------------
+
+127.0.0.1:6379> LTRIM mylist 0 1 # 截取mylist中的 0~1部分
+OK
+127.0.0.1:6379> LRANGE mylist 0 -1
+1) "k4"
+2) "k2"
+
+# 初始 mylist: k2,k2,k2,k2,k2,k2,k4,k2,k2,k2,k2
+---------------------------LREM--------------------------
+
+127.0.0.1:6379> LREM mylist 3 k2 # 从头部开始搜索 至多删除3个 k2
+(integer) 3
+# 删除后：mylist: k2,k2,k2,k4,k2,k2,k2,k2
+
+127.0.0.1:6379> LREM mylist -2 k2 #从尾部开始搜索 至多删除2个 k2
+(integer) 2
+# 删除后：mylist: k2,k2,k2,k4,k2,k2
+
+
+---------------------------BLPOP--BRPOP--------------------------
+
+mylist: k2,k2,k2,k4,k2,k2
+newlist: k1
+
+127.0.0.1:6379> BLPOP newlist mylist 30 # 从newlist中弹出第一个值，mylist作为候选
+1) "newlist" # 弹出
+2) "k1"
+127.0.0.1:6379> BLPOP newlist mylist 30
+1) "mylist" # 由于newlist空了 从mylist中弹出
+2) "k2"
+127.0.0.1:6379> BLPOP newlist 30
+(30.10s) # 超时了
+
+127.0.0.1:6379> BLPOP newlist 30 # 我们连接另一个客户端向newlist中push了test, 阻塞被解决。
+1) "newlist"
+2) "test"
+(12.54s)
+```
+
+> 小结
+
+- list实际上是一个链表，before Node after , left, right 都可以插入值
+- 如果key不存在，则创建新的链表
+- 如果key存在，新增内容
+- 如果移除了所有值，空链表，也代表不存在
+- 在两边插入或者改动值，效率最高！修改中间元素，效率相对较低
+
+应用：
+
+消息排队！消息队列（Lpush Rpop）,栈（Lpush Lpop）
+
+## Set(集合)
+
+> Redis的Set是string类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。
+>
+> Redis 中 集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。
+>
+> 集合中最大的成员数为 2^32 - 1 (4294967295, 每个集合可存储40多亿个成员)。
+
+| 命令                                      | 描述                                                         |
+| ----------------------------------------- | ------------------------------------------------------------ |
+| `SADD key member1[member2..]`             | 向集合中无序增加一个/多个成员                                |
+| `SCARD key`                               | 获取集合的成员数                                             |
+| `SMEMBERS key`                            | 返回集合中所有的成员                                         |
+| `SISMEMBER key member`                    | 查询member元素是否是集合的成员,结果是无序的                  |
+| `SRANDMEMBER key [count]`                 | 随机返回集合中count个成员，count缺省值为1                    |
+| `SPOP key [count]`                        | 随机移除并返回集合中count个成员，count缺省值为1              |
+| `SMOVE source destination member`         | 将source集合的成员member移动到destination集合                |
+| `SREM key member1[member2..]`             | 移除集合中一个/多个成员                                      |
+| `SDIFF key1[key2..]`                      | 返回所有集合的差集 key1- key2 - …                            |
+| `SDIFFSTORE destination key1[key2..]`     | 在SDIFF的基础上，将结果保存到集合中==(覆盖)==。不能保存到其他类型key噢！ |
+| `SINTER key1 [key2..]`                    | 返回所有集合的交集                                           |
+| `SINTERSTORE destination key1[key2..]`    | 在SINTER的基础上，存储结果到集合中。覆盖                     |
+| `SUNION key1 [key2..]`                    | 返回所有集合的并集                                           |
+| `SUNIONSTORE destination key1 [key2..]`   | 在SUNION的基础上，存储结果到及和张。覆盖                     |
+| `SSCAN KEY [MATCH pattern] [COUNT count]` | 在大量数据环境下，使用此命令遍历集合中元素，每次遍历部分     |
+
+```shell
+---------------SADD--SCARD--SMEMBERS--SISMEMBER--------------------
+
+127.0.0.1:6379> SADD myset m1 m2 m3 m4 # 向myset中增加成员 m1~m4
+(integer) 4
+127.0.0.1:6379> SCARD myset # 获取集合的成员数目
+(integer) 4
+127.0.0.1:6379> smembers myset # 获取集合中所有成员
+1) "m4"
+2) "m3"
+3) "m2"
+4) "m1"
+127.0.0.1:6379> SISMEMBER myset m5 # 查询m5是否是myset的成员
+(integer) 0 # 不是，返回0
+127.0.0.1:6379> SISMEMBER myset m2
+(integer) 1 # 是，返回1
+127.0.0.1:6379> SISMEMBER myset m3
+(integer) 1
+
+---------------------SRANDMEMBER--SPOP----------------------------------
+
+127.0.0.1:6379> SRANDMEMBER myset 3 # 随机返回3个成员
+1) "m2"
+2) "m3"
+3) "m4"
+127.0.0.1:6379> SRANDMEMBER myset # 随机返回1个成员
+"m3"
+127.0.0.1:6379> SPOP myset 2 # 随机移除并返回2个成员
+1) "m1"
+2) "m4"
+# 将set还原到{m1,m2,m3,m4}
+
+---------------------SMOVE--SREM----------------------------------------
+
+127.0.0.1:6379> SMOVE myset newset m3 # 将myset中m3成员移动到newset集合
+(integer) 1
+127.0.0.1:6379> SMEMBERS myset
+1) "m4"
+2) "m2"
+3) "m1"
+127.0.0.1:6379> SMEMBERS newset
+1) "m3"
+127.0.0.1:6379> SREM newset m3 # 从newset中移除m3元素
+(integer) 1
+127.0.0.1:6379> SMEMBERS newset
+(empty list or set)
+
+# 下面开始是多集合操作,多集合操作中若只有一个参数默认和自身进行运算
+# setx=>{m1,m2,m4,m6}, sety=>{m2,m5,m6}, setz=>{m1,m3,m6}
+
+-----------------------------SDIFF------------------------------------
+
+127.0.0.1:6379> SDIFF setx sety setz # 等价于setx-sety-setz
+1) "m4"
+127.0.0.1:6379> SDIFF setx sety # setx - sety
+1) "m4"
+2) "m1"
+127.0.0.1:6379> SDIFF sety setx # sety - setx
+1) "m5"
+
+
+-------------------------SINTER---------------------------------------
+# 共同关注（交集）
+
+127.0.0.1:6379> SINTER setx sety setz # 求 setx、sety、setx的交集
+1) "m6"
+127.0.0.1:6379> SINTER setx sety # 求setx sety的交集
+1) "m2"
+2) "m6"
+
+-------------------------SUNION---------------------------------------
+
+127.0.0.1:6379> SUNION setx sety setz # setx sety setz的并集
+1) "m4"
+2) "m6"
+3) "m3"
+4) "m2"
+5) "m1"
+6) "m5"
+127.0.0.1:6379> SUNION setx sety # setx sety 并集
+1) "m4"
+2) "m6"
+3) "m2"
+4) "m1"
+5) "m5"
+```
+
+微博，将A用户所有关注的人放在一个集合中，将他的粉丝也放在一个集合中！
+共同关注，共同爱好
+
+## Hash（哈希）
+
+> Redis hash 是一个string类型的field和value的映射表，hash特别适合用于存储对象。
+>
+> Set就是一种简化的Hash,只变动key,而value使用默认值填充。可以将一个Hash表作为一个对象进行存储，表中存放对象的信息。
+>
+> 存储 key - map
+
+| 命令                                             | 描述                                                         |
+| ------------------------------------------------ | ------------------------------------------------------------ |
+| `HSET key field value`                           | 将哈希表 key 中的字段 field 的值设为 value 。重复设置同一个field会覆盖,返回0 |
+| `HMSET key field1 value1 [field2 value2..]`      | 同时将多个 field-value (域-值)对设置到哈希表 key 中。        |
+| `HSETNX key field value`                         | 只有在字段 field 不存在时，设置哈希表字段的值。              |
+| `HEXISTS key field`                              | 查看哈希表 key 中，指定的字段是否存在。                      |
+| `HGET key field value`                           | 获取存储在哈希表中指定字段的值                               |
+| `HMGET key field1 [field2..]`                    | 获取所有给定字段的值                                         |
+| `HGETALL key`                                    | 获取在哈希表key 的所有字段和值                               |
+| `HKEYS key`                                      | 获取哈希表key中所有的字段                                    |
+| `HLEN key`                                       | 获取哈希表中字段的数量                                       |
+| `HVALS key`                                      | 获取哈希表中所有值                                           |
+| `HDEL key field1 [field2..]`                     | 删除哈希表key中一个/多个field字段                            |
+| `HINCRBY key field n`                            | 为哈希表 key 中的指定字段的整数值加上增量n，并返回增量后结果 一样只适用于整数型字段 |
+| `HINCRBYFLOAT key field n`                       | 为哈希表 key 中的指定字段的浮点数值加上增量 n。              |
+| `HSCAN key cursor [MATCH pattern] [COUNT count]` | 迭代哈希表中的键值对。                                       |
+
+```shell
+------------------------HSET--HMSET--HSETNX----------------
+127.0.0.1:6379> HSET studentx name sakura # 将studentx哈希表作为一个对象，设置name为sakura
+(integer) 1
+127.0.0.1:6379> HSET studentx name gyc # 重复设置field进行覆盖，并返回0
+(integer) 0
+127.0.0.1:6379> HSET studentx age 20 # 设置studentx的age为20
+(integer) 1
+127.0.0.1:6379> HMSET studentx sex 1 tel 15623667886 # 设置sex为1，tel为15623667886
+OK
+127.0.0.1:6379> HSETNX studentx name gyc # HSETNX 设置已存在的field
+(integer) 0 # 失败
+127.0.0.1:6379> HSETNX studentx email 12345@qq.com
+(integer) 1 # 成功
+
+----------------------HEXISTS--------------------------------
+127.0.0.1:6379> HEXISTS studentx name # name字段在studentx中是否存在
+(integer) 1 # 存在
+127.0.0.1:6379> HEXISTS studentx addr
+(integer) 0 # 不存在
+
+-------------------HGET--HMGET--HGETALL-----------
+127.0.0.1:6379> HGET studentx name # 获取studentx中name字段的value
+"gyc"
+127.0.0.1:6379> HMGET studentx name age tel # 获取studentx中name、age、tel字段的value
+1) "gyc"
+2) "20"
+3) "15623667886"
+127.0.0.1:6379> HGETALL studentx # 获取studentx中所有的field及其value
+ 1) "name"
+ 2) "gyc"
+ 3) "age"
+ 4) "20"
+ 5) "sex"
+ 6) "1"
+ 7) "tel"
+ 8) "15623667886"
+ 9) "email"
+10) "12345@qq.com"
+
+
+--------------------HKEYS--HLEN--HVALS--------------
+127.0.0.1:6379> HKEYS studentx # 查看studentx中所有的field
+1) "name"
+2) "age"
+3) "sex"
+4) "tel"
+5) "email"
+127.0.0.1:6379> HLEN studentx # 查看studentx中的字段数量
+(integer) 5
+127.0.0.1:6379> HVALS studentx # 查看studentx中所有的value
+1) "gyc"
+2) "20"
+3) "1"
+4) "15623667886"
+5) "12345@qq.com"
+
+-------------------------HDEL--------------------------
+127.0.0.1:6379> HDEL studentx sex tel # 删除studentx 中的sex、tel字段
+(integer) 2
+127.0.0.1:6379> HKEYS studentx
+1) "name"
+2) "age"
+3) "email"
+
+-------------HINCRBY--HINCRBYFLOAT------------------------
+127.0.0.1:6379> HINCRBY studentx age 1 # studentx的age字段数值+1
+(integer) 21
+127.0.0.1:6379> HINCRBY studentx name 1 # 非整数字型字段不可用
+(error) ERR hash value is not an integer
+127.0.0.1:6379> HINCRBYFLOAT studentx weight 0.6 # weight字段增加0.6
+"90.8"
+```
+
+Hash变更的数据user name age，尤其是用户信息之类的，经常变动的信息！Hash更适合于对象的存储，Sring更加适合字符串存储！
+
+## Zset（有序集合）
+
+> 不同的是每个元素都会关联一个double类型的分数（score）。redis正是通过分数来为集合中的成员进行从小到大的排序。
+>
+> score相同：按字典顺序排序
+>
+> 有序集合的成员是唯一的,但分数(score)却可以重复。
+>
+> zset k1 source1 v1
+
+| 命令                                              | 描述                                                         |
+| ------------------------------------------------- | ------------------------------------------------------------ |
+| `ZADD key score member1 [score2 member2]`         | 向有序集合添加一个或多个成员，或者更新已存在成员的分数       |
+| `ZCARD key`                                       | 获取有序集合的成员数                                         |
+| `ZCOUNT key min max`                              | 计算在有序集合中指定区间score的成员数                        |
+| `ZINCRBY key n member`                            | 有序集合中对指定成员的分数加上增量 n                         |
+| `ZSCORE key member`                               | 返回有序集中，成员的分数值                                   |
+| `ZRANK key member`                                | 返回有序集合中指定成员的索引                                 |
+| `ZRANGE key start end`                            | 通过索引区间返回有序集合成指定区间内的成员                   |
+| `ZRANGEBYLEX key min max`                         | 通过字典区间返回有序集合的成员                               |
+| `ZRANGEBYSCORE key min max`                       | 通过分数返回有序集合指定区间内的成员==-inf 和 +inf分别表示最小最大值，只支持开区间()== |
+| `ZLEXCOUNT key min max`                           | 在有序集合中计算指定字典区间内成员数量                       |
+| `ZREM key member1 [member2..]`                    | 移除有序集合中一个/多个成员                                  |
+| `ZREMRANGEBYLEX key min max`                      | 移除有序集合中给定的字典区间的所有成员                       |
+| `ZREMRANGEBYRANK key start stop`                  | 移除有序集合中给定的排名区间的所有成员                       |
+| `ZREMRANGEBYSCORE key min max`                    | 移除有序集合中给定的分数区间的所有成员                       |
+| `ZREVRANGE key start end`                         | 返回有序集中指定区间内的成员，通过索引，分数从高到底         |
+| `ZREVRANGEBYSCORRE key max min`                   | 返回有序集中指定分数区间内的成员，分数从高到低排序           |
+| `ZREVRANGEBYLEX key max min`                      | 返回有序集中指定字典区间内的成员，按字典顺序倒序             |
+| `ZREVRANK key member`                             | 返回有序集合中指定成员的排名，有序集成员按分数值递减(从大到小)排序 |
+| `ZINTERSTORE destination numkeys key1 [key2 ..]`  | 计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 key 中，numkeys：表示参与运算的集合数，将score相加作为结果的score |
+| `ZUNIONSTORE destination numkeys key1 [key2..]`   | 计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 key 中 |
+| `ZSCAN key cursor [MATCH pattern\] [COUNT count]` | 迭代有序集合中的元素（包括元素成员和元素分值）               |
+
+```shell
+-------------------ZADD--ZCARD--ZCOUNT--------------
+127.0.0.1:6379> ZADD myzset 1 m1 2 m2 3 m3 # 向有序集合myzset中添加成员m1 score=1 以及成员m2 score=2..
+(integer) 2
+127.0.0.1:6379> ZCARD myzset # 获取有序集合的成员数
+(integer) 2
+127.0.0.1:6379> ZCOUNT myzset 0 1 # 获取score在 [0,1]区间的成员数量
+(integer) 1
+127.0.0.1:6379> ZCOUNT myzset 0 2
+(integer) 2
+
+----------------ZINCRBY--ZSCORE--------------------------
+127.0.0.1:6379> ZINCRBY myzset 5 m2 # 将成员m2的score +5
+"7"
+127.0.0.1:6379> ZSCORE myzset m1 # 获取成员m1的score
+"1"
+127.0.0.1:6379> ZSCORE myzset m2
+"7"
+
+--------------ZRANK--ZRANGE-----------------------------------
+127.0.0.1:6379> ZRANK myzset m1 # 获取成员m1的索引，索引按照score排序，score相同索引值按字典顺序顺序增加
+(integer) 0
+127.0.0.1:6379> ZRANK myzset m2
+(integer) 2
+127.0.0.1:6379> ZRANGE myzset 0 1 # 获取索引在 0~1的成员
+1) "m1"
+2) "m3"
+127.0.0.1:6379> ZRANGE myzset 0 -1 # 获取全部成员
+1) "m1"
+2) "m3"
+3) "m2"
+
+#testset=>{abc,add,amaze,apple,back,java,redis} score均为0
+------------------ZRANGEBYLEX---------------------------------
+127.0.0.1:6379> ZRANGEBYLEX testset - + # 返回所有成员
+1) "abc"
+2) "add"
+3) "amaze"
+4) "apple"
+5) "back"
+6) "java"
+7) "redis"
+127.0.0.1:6379> ZRANGEBYLEX testset - + LIMIT 0 3 # 分页 按索引显示查询结果的 0,1,2条记录
+1) "abc"
+2) "add"
+3) "amaze"
+127.0.0.1:6379> ZRANGEBYLEX testset - + LIMIT 3 3 # 显示 3,4,5条记录
+1) "apple"
+2) "back"
+3) "java"
+127.0.0.1:6379> ZRANGEBYLEX testset (- [apple # 显示 (-,apple] 区间内的成员
+1) "abc"
+2) "add"
+3) "amaze"
+4) "apple"
+127.0.0.1:6379> ZRANGEBYLEX testset [apple [java # 显示 [apple,java]字典区间的成员
+1) "apple"
+2) "back"
+3) "java"
+
+-----------------------ZRANGEBYSCORE---------------------
+127.0.0.1:6379> ZRANGEBYSCORE myzset 1 10 # 返回score在 [1,10]之间的的成员
+1) "m1"
+2) "m3"
+3) "m2"
+127.0.0.1:6379> ZRANGEBYSCORE myzset 1 5
+1) "m1"
+2) "m3"
+
+--------------------ZLEXCOUNT-----------------------------
+127.0.0.1:6379> ZLEXCOUNT testset - +
+(integer) 7
+127.0.0.1:6379> ZLEXCOUNT testset [apple [java
+(integer) 3
+
+------------------ZREM--ZREMRANGEBYLEX--ZREMRANGBYRANK--ZREMRANGEBYSCORE--------------------------------
+127.0.0.1:6379> ZREM testset abc # 移除成员abc
+(integer) 1
+127.0.0.1:6379> ZREMRANGEBYLEX testset [apple [java # 移除字典区间[apple,java]中的所有成员
+(integer) 3
+127.0.0.1:6379> ZREMRANGEBYRANK testset 0 1 # 移除排名0~1的所有成员
+(integer) 2
+127.0.0.1:6379> ZREMRANGEBYSCORE myzset 0 3 # 移除score在 [0,3]的成员
+(integer) 2
+
+
+# testset=> {abc,add,apple,amaze,back,java,redis} score均为0
+# myzset=> {(m1,1),(m2,2),(m3,3),(m4,4),(m7,7),(m9,9)}
+----------------ZREVRANGE--ZREVRANGEBYSCORE--ZREVRANGEBYLEX-----------
+127.0.0.1:6379> ZREVRANGE myzset 0 3 # 按score递减排序，然后按索引，返回结果的 0~3
+1) "m9"
+2) "m7"
+3) "m4"
+4) "m3"
+127.0.0.1:6379> ZREVRANGE myzset 2 4 # 返回排序结果的 索引的2~4
+1) "m4"
+2) "m3"
+3) "m2"
+127.0.0.1:6379> ZREVRANGEBYSCORE myzset 6 2 # 按score递减顺序 返回集合中分数在[2,6]之间的成员
+1) "m4"
+2) "m3"
+3) "m2"
+127.0.0.1:6379> ZREVRANGEBYLEX testset [java (add # 按字典倒序 返回集合中(add,java]字典区间的成员
+1) "java"
+2) "back"
+3) "apple"
+4) "amaze"
+
+-------------------------ZREVRANK------------------------------
+127.0.0.1:6379> ZREVRANK myzset m7 # 按score递减顺序，返回成员m7索引
+(integer) 1
+127.0.0.1:6379> ZREVRANK myzset m2
+(integer) 4
+
+
+# mathscore=>{(xm,90),(xh,95),(xg,87)} 小明、小红、小刚的数学成绩
+# enscore=>{(xm,70),(xh,93),(xg,90)} 小明、小红、小刚的英语成绩
+-------------------ZINTERSTORE--ZUNIONSTORE-----------------------------------
+127.0.0.1:6379> ZINTERSTORE sumscore 2 mathscore enscore # 将mathscore enscore进行合并 结果存放到sumscore
+(integer) 3
+127.0.0.1:6379> ZRANGE sumscore 0 -1 withscores # 合并后的score是之前集合中所有score的和
+1) "xm"
+2) "160"
+3) "xg"
+4) "177"
+5) "xh"
+6) "188"
+
+127.0.0.1:6379> ZUNIONSTORE lowestscore 2 mathscore enscore AGGREGATE MIN # 取两个集合的成员score最小值作为结果的
+(integer) 3
+127.0.0.1:6379> ZRANGE lowestscore 0 -1 withscores
+1) "xm"
+2) "70"
+3) "xg"
+4) "87"
+5) "xh"
+6) "93"
+```
+
+应用案例：
+
+- set排序 存储班级成绩表 工资表排序！
+- 普通消息，1.重要消息 2.带权重进行判断
+- 排行榜应用实现，取Top N测试
+
+# 三种特殊数据类型
+
+***
+
+
+
+## Geospatial(地理位置)
+
+> 使用经纬度定位地理坐标并用一个有序集合zset保存，所以zset命令也可以使用
+
+| 命令                                                         | 描述                                                         |
+| ------------------------------------------------------------ | ------------------------------------------------------------ |
+| `geoadd key longitud(经度) latitude(纬度) member [..]`       | 将具体经纬度的坐标存入一个有序集合                           |
+| `geopos key member [member..]`                               | 获取集合中的一个/多个成员坐标                                |
+| `geodist key member1 member2 [unit]`                         | 返回两个给定位置之间的距离。默认以米作为单位。               |
+| `georadius key longitude latitude radius m|km|mi|ft [WITHCOORD][WITHDIST] [WITHHASH] [COUNT count]` | 以给定的经纬度为中心， 返回集合包含的位置元素当中， 与中心的距离不超过给定最大距离的所有位置元素。 |
+| `GEORADIUSBYMEMBER key member radius...`                     | 功能与GEORADIUS相同，只是中心位置不是具体的经纬度，而是使用结合中已有的成员作为中心点。 |
+| `geohash key member1 [member2..]`                            | 返回一个或多个位置元素的Geohash表示。使用Geohash位置52点整数编码。 |
+
+有效经纬度
+
+> - 有效的经度从-180度到180度。
+> - 有效的纬度从-85.05112878度到85.05112878度。
+
+指定单位的参数 unit 必须是以下单位的其中一个：
+
+- m 表示单位为米。
+- km 表示单位为千米。
+- mi 表示单位为英里。
+- ft 表示单位为英尺。
+
+关于GEORADIUS的参数
+
+> 通过`georadius`就可以完成 附近的人功能
+>
+> withcoord:带上坐标
+>
+> withdist:带上距离，单位与半径单位相同
+>
+> COUNT n : 只显示前n个(按距离递增排序)
+
+朋友定位，附近的人，打车距离技术，这个功能可以推算地理位置信息，两地之间的距离，方圆几里的人！
+可以查询一些测试数据
+只有六个命令！
+
+> **geoadd**
+
+添加数据
+规则：两级无法添加，我们一般会下载城市数据，直接通过java程序一次性导入！
+参数（纬度 经度 名称）
+超过有效的经度纬度就会报错
+
+```shell
+127.0.0.1:6379> geoadd china:city 116.40 39.90 beijin
+(integer) 1
+127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai
+(integer) 1
+127.0.0.1:6379> geoadd china:city 106.50 29.53 chongqi
+(integer) 1
+127.0.0.1:6379> geoadd china:city 114.05 22.52 shengzhen
+(integer) 1
+127.0.0.1:6379> geoadd china:city 120.16 30.24 hangzhou 118.96 34.26 xian
+(integer) 2
+```
+
+> ### geopos
+
+获取当前定位：一定是一个坐标值
+
+```shell
+127.0.0.1:6379> geopos china:city beijin
+1) 1) "116.39999896287918091"
+   2) "39.90000009167092543"
+127.0.0.1:6379> geopos china:city beijin chongqi
+1) 1) "116.39999896287918091"
+   2) "39.90000009167092543"
+2) 1) "106.49999767541885376"
+   2) "29.52999957900659211"
+127.0.0.1:6379> 
+```
+
+> ### geodist
+
+两人之间的距离
+
+```shell
+127.0.0.1:6379> geodist china:city beijin shanghai
+"1067378.7564"   #北京上海的==直线距离，默认单位为米==
+127.0.0.1:6379> geodist china:city beijin shanghai km
+"1067.3788"  
+```
+
+> ### georadius已给定的经纬度为中心，找某一半径内的元素
+
+我附近的人？（获得所有附近的人的地址，定位！）通过半径来查询
+
+```shell
+127.0.0.1:6379> georadius china:city 110 30 1000 km #以100经度30纬度为中心1000km为半径的圆内城市
+1) "chongqi"
+2) "shengzhen"
+3) "hangzhou"
+4) "xian"
+127.0.0.1:6379> georadius china:city 110 30 500 km
+1) "chongqi"
+127.0.0.1:6379> georadius china:city 110 30 500 km withdist #显示到中心位置的距离
+1) 1) "chongqi"
+   2) "341.9374"
+127.0.0.1:6379> georadius china:city 110 30 500 km withcoord #显示他人的定位信息
+1) 1) "chongqi"
+   2) 1) "106.49999767541885376"
+      2) "29.52999957900659211"
+127.0.0.1:6379> georadius china:city 110 30 500 km withdist withcoord count 1 #筛选出指定数量的结果
+1) 1) "chongqi"
+   2) "341.9374"
+   3) 1) "106.49999767541885376"
+      2) "29.52999957900659211"
+127.0.0.1:6379> georadius china:city 110 30 500 km withdist withcoord count 2
+1) 1) "chongqi"
+   2) "341.9374"
+   3) 1) "106.49999767541885376"
+      2) "29.52999957900659211"
+127.0.0.1:6379> georadius china:city 110 30 500 km withdist withcoord count 3
+1) 1) "chongqi"
+   2) "341.9374"
+   3) 1) "106.49999767541885376"
+      2) "29.52999957900659211"
+127.0.0.1:6379> 
+```
+
+> ### georadiusbymember
+
+找出指定城市周围的位置
+
+```shell
+127.0.0.1:6379> georadiusbymember china:city beijin 1000 km
+1) "xian"
+2) "beijin"
+127.0.0.1:6379> 
+```
+
+> ### geohash
+
+该命令返回长度为11的字符串
+
+```shell
+127.0.0.1:6379> geohash china:city beijin chongqi
+1) "wx4fbxxfke0"    #将二维的经纬度转换为一维的字符串，如果字符串月接近，那么距离则越近
+2) "wm5xzrybty0"
+```
+
+> ### geo底层实现原理
+
+**原理其实就是zset，我们可以使用zset命令操作geo！**
+
+```shell
+127.0.0.1:6379> zrange china:city 0 -1 ##查看元素
+1) "chongqi"
+2) "shengzhen"
+3) "hangzhou"
+4) "shanghai"
+5) "xian"
+6) "beijin"
+127.0.0.1:6379> zrem china:city beijin
+(integer) 1
+127.0.0.1:6379> zrange china:city 0 -1
+1) "chongqi"
+2) "shengzhen"
+3) "hangzhou"
+4) "shanghai"
+5) "xian"
+127.0.0.1:6379> 
+```
+
+## Hyperloglog(基数统计)
+
+> Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。
+>
+> 花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。
+>
+> 因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。
+>
+> 其底层使用string数据类型
+
+什么是基数？
+
+> 数据集中不重复的元素的个数。
+
+应用场景：
+
+网页的访问量（UV）：一个用户多次访问，也只能算作一个人。
+
+> 传统实现，存储用户的id,然后每次进行比较。当用户变多之后这种方式及其浪费空间，而我们的目的只是计数，Hyperloglog就能帮助我们利用最小的空间完成。
+
+```shell
+----------PFADD--PFCOUNT---------------------
+127.0.0.1:6379> PFADD myelemx a b c d e f g h i j k # 添加元素
+(integer) 1
+127.0.0.1:6379> type myelemx # hyperloglog底层使用String
+string
+127.0.0.1:6379> PFCOUNT myelemx # 估算myelemx的基数
+(integer) 11
+127.0.0.1:6379> PFADD myelemy i j k z m c b v p q s
+(integer) 1
+127.0.0.1:6379> PFCOUNT myelemy
+(integer) 11
+
+----------------PFMERGE-----------------------
+127.0.0.1:6379> PFMERGE myelemz myelemx myelemy # 合并myelemx和myelemy 成为myelemz
+OK
+127.0.0.1:6379> PFCOUNT myelemz # 估算基数
+(integer) 17
+```
+
+如果允许容错，那么一定可以使用Hyperloglog !
+
+如果不允许容错，就使用set或者自己的数据类型即可 ！
+
+## BitMaps(位图)
+
+> 使用位存储，信息状态只有 0 和 1
+>
+> Bitmap是一串连续的2进制数字（0或1），每一位所在的位置为偏移(offset)，在bitmap上可执行AND,OR,XOR,NOT以及其它位操作。
+
+应用场景
+
+签到统计、状态统计
+
+| 命令                                  | 描述                                                         |
+| ------------------------------------- | ------------------------------------------------------------ |
+| `setbit key offset value`             | 为指定key的offset位设置值                                    |
+| `getbit key offset`                   | 获取offset位的值                                             |
+| `bitcount key [start end]`            | 统计字符串被设置为1的bit数，也可以指定统计范围按字节         |
+| `bitop operration destkey key[key..]` | 对一个或多个保存二进制位的字符串 key 进行位元操作，并将结果保存到 destkey 上。 |
+| `BITPOS key bit [start] [end]`        | 返回字符串里面第一个被设置为1或者0的bit位。start和end只能按字节,不能按位 |
+
+```shell
+------------setbit--getbit--------------
+127.0.0.1:6379> setbit sign 0 1 # 设置sign的第0位为 1 
+(integer) 0
+127.0.0.1:6379> setbit sign 2 1 # 设置sign的第2位为 1  不设置默认 是0
+(integer) 0
+127.0.0.1:6379> setbit sign 3 1
+(integer) 0
+127.0.0.1:6379> setbit sign 5 1
+(integer) 0
+127.0.0.1:6379> type sign
+string
+
+127.0.0.1:6379> getbit sign 2 # 获取第2位的数值
+(integer) 1
+127.0.0.1:6379> getbit sign 3
+(integer) 1
+127.0.0.1:6379> getbit sign 4 # 未设置默认是0
+(integer) 0
+
+-----------bitcount----------------------------
+127.0.0.1:6379> BITCOUNT sign # 统计sign中为1的位数
+(integer) 4
+```
+

大数据/zookeeper/zookeeper.md

@@ -0,0 +1,264 @@
+## 1、zookeeper的基本介绍
+
+### 1.1、什么是Zookeeper
+
+官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
+
+### 1.2、Zookeeper应用场景
+
+1. 注册中心(Dubbo+Zookeeper)
+
+2. 分布式配置中心(统一存放配置文件)
+
+3. 分布式锁
+
+4. 分布式队列
+
+5. 分布式文件系统
+
+### 1.3、linux安装zookeeper
+
+```shell
+# 1. 解压zk压缩包
+tar -zxvf zookeeper-3.4.14.tar.gz
+
+# 2. 进入到zk目录
+cd zookeeper-3.4.14
+
+# 3.在zk目录中创建data和logs文件夹
+mkdir data
+mkdir logs
+
+# 4.进入到conf目录，修改文件名称
+mv zoo_sample.cfg zoo.cfg
+vi zoo.cfg
+dataDir =/usr/local/zookeeper-3.4.14/data
+dataLogDir=/usr/local/zookeeper-3.4.14/logs
+
+# 5.启动zk
+./zkServer.sh start
+./zkServer.sh status
+```
+
+   ### 14.、zookeeper的基本特征
+
+文件系统：定义的节点不允许重复
+
+基本特征
+
+* 定义的节点包含节点名称和节点内容
+* 定义的节点名称不允许重复
+* 每个节点可以设定值
+* 根节点允许有多个
+* 节点路径必须保证是唯一的，不允许重复
+* 每个节点都会有事件通知，每当节点发生变化都会获取信息，例如删除修改
+
+### 1.5、zookeeper节点的四种类型
+
+1. 临时节点：会话关闭，自动消失
+2. 临时顺序节点
+3. 持久节点：会话关闭，持久化存储在硬盘
+4. 持久顺序节点：会自动序列自增，保证唯一
+
+![image-20220424134137986](assets/image-20220424134137986.png)
+
+> 注意：要先创建父节点才能创建子节点
+
+![image-20220424134506741](assets/image-20220424134506741.png)
+
+### 1.6、ZooKeeper -状态信息 Stat 的属性说明
+
+| 名称           | 含义                                                         |
+| -------------- | ------------------------------------------------------------ |
+| cZxid          | 数据节点创建时的事务ID                                       |
+| ctime          | 数据节点创建时的时间                                         |
+| mZxid          | 数据节点最后一次更新时的事务ID                               |
+| mtime          | 数据节点最后一次更新时的时间                                 |
+| pZxid          | 数据节点的子节点列表最后一次被修改（是子节点列表变更，而不是子节点内容变更）时的事务ID |
+| cversion       | 子节点的版本号                                               |
+| dataVersion    | 数据节点的版本号                                             |
+| aclVersion     | 数据节点的ACL版本号                                          |
+| ephemeralOwner | 如果节点是临时节点，则表示创建该节点的会话的SessionID；如果节点是持久节点，则该属性值为0 |
+| dataLength     | 数据内容的长度                                               |
+| numChildren    | 数据节点当前的子节点个数                                     |
+
+
+
+## 2、ACL权限控制
+
+ACL权限模型，实际上就是对树每个节点实现控制
+
+身份的认证有4种方式：
+* world：默认方式，相当于全世界都能访问
+* auth：代表已经认证通过的用户(cli中可以通过addauth digest user:pwd 来添加当前上下文中的授权用户)
+* digest：即用户名:密码这种方式认证，这也是业务系统中最常用的
+* ip：使用Ip地址认证 
+
+## 3、分布式锁的实现方式
+
+1. 基于数据库实现分布式锁
+2. 基于redis实现分布式锁
+3. 基于zk实现分布式锁
+4. 基于redission实现分布式锁
+
+zk实现原理：临时节点 + 事件通知
+1. 多请求同时创建相同的节点（lockPath），只要谁能够创建成功 谁就能够获取到锁；
+2. 如果创建节点的时候，突然该节点已经被其他请求创建的话则直接等待；
+3. 只要能够创建节点成功，则开始进入到正常业务逻辑操作，其他没有获取锁进行等待；
+4. 正常业务逻辑流程执行完后，调用zk关闭连接方式释放锁，从而是其他的请求开始进入到获取锁的资源。
+
+> 疑问：如果使用zk实现分布式锁，获取锁之后业务逻辑方法一直没有执行完毕，导致其他所有的请求等待的话如何解决？
+>
+> 设置Session连接超时时间，在规定的时间内获取锁后超时啦~自动回滚当前数据库业务逻辑。
+
+## 4、一致性基本思想
+
+> 注意：zk集群节点最好是奇数。
+>
+> 基本规则：剩余节点的总数大于集群节点总数/2，zk才可以正常运行
+
+![image-20220509154618465](assets/image-20220509154618465.png)
+
+### 4.1、一致性基本思想
+
+1. 强一致性
+
+步骤1在修改数据库的userName为mayikt的时候，步骤2读取的userName内容；如果要一定读取到userName为mayikt而不是meite的话，那么数据库之间的通讯要非常迅速或者步骤2等待步骤1`(这里可以使用锁)`更新同步完成之后在查询，这种流程我们称为强一致性。
+
+> **注意：在分布式领域不可能保证强一致性**
+
+2. 弱一致性
+
+允许数据库之间同步存在短暂的延迟，步骤2可以读取userName内容为meite而不是必须为mayikt；这种我们可以称作为弱一致性；
+
+3. 最终一致性
+
+允许步骤2读取userName为meite，中间允许数据库存在短暂延迟、但是最终读取数据结构必须为mayikt，所以这种访问我们称作为最终一致性；
+
+### 4.2、zk如何保证一致性
+
+原理：投票过半机制，2PC两阶段提交协议
+
+预提交，接受回复，执行请求
+
+如果已经满足了过半机制成为领导角色，后面的角色不需要进行选择步骤
+
+### 4.3、Zookeeper集群使用Observer实现扩展
+
+首先在Zookeeper中分为三种角色：
+
+1. Leader(领导) Zookeeper集群中的主节点、负责写的请求操作，和各个节点同步；
+
+2. Follower(跟随者) 是领导(Leader)角色根随着，出读取操作还可以实现对Leader提议与选举
+
+3. Observer 如果后期当我们在扩展ZK集群节点时如果角色为Follower越来越多会导致选举的时间越来越长，所以Observer角色和Follower角色很相似，只是obServer不能够参与Leader角色选举；
+
+**增加obServer的作用主要不影响原来本身选举的时间效率、目的是提高客户端读的请求效率；**
+
+> ObServer相关配置
+>
+> 在zoo.conf 文件中新增
+>
+> server.4:192.168.212.212:2181:3181:observer
+
+### 4.4、Zk集群节点总数为什么要是为奇数？
+
+1. 加入Zookeeper的集群节点为5的话，宕机几个Zookeeper节点之后剩余的节点个数大于宕机个数；也就是必须大于剩下服务器个数n(集群节点总数)/2，Zookeeper才可以继续使用
+
+2. 无论是奇数还是偶数个数可以做选举leader的，如果是5台集群节点也就是最多只可以允许两台zk宕机；如果是六台zk集群节点那么也是最多只能宕机2台，如果宕机3台的话zk无法可能。
+
+3. 所以占用服务器空间利用成本角度考虑，建议zk集群节点一定是为奇数。
+
+ ## 5、Zookeeper集群选举原理
+
+### 5.1、Zookeeper读写机制
+
+Zookeeper是有多个Server组成的集群，只有一个leader和多个follower
+
+1. 每个follower节点保存父节点的副本；
+
+2. 全局数据一定要保持一致；
+
+3. 分布式读写模式，写的请求统一交个leader完成、follower节点主要实现读操作；
+
+**注意：如果连接的节点不是leader，他会转发给leader进行写操作**
+
+### 5.2、Zookeeper数据如何实现同步
+
+1. 所有follower节点写的请求统一交个leader实现，并且创建一个全局zxid（事务id）
+
+2. Leader节点在第一阶段通知阶段，会带上zxid向每位follower节点发出确认同步通知
+
+3. 只要有过半数的follower节点确认同步ack，这时候leader就会向所有的follower发出commit事务数据提交；
+
+这个和两阶段提交非常类似
+
+> 为什么我们写的请求必须统一交给leader而不是follower节点实现？
+>
+> 因为可以采用借鉴在分布式事务中2pc（两阶段提交协议）解决分布式数据同步问题。
+
+![image-20220510102714102](assets/image-20220510102714102.png)
+
+### 5.3、Zab原子广播两种协议
+
+​		Zookeeper核心是原子广播协议(ZAB原子广播协议)，这种机制保证了各个节点的数据同步的问题，ZAB协议有有两种模式 分别为恢复模式(选主)和广播模式(同步)。
+
+​		恢复模式：也就是当我们leader的节点宕机之后，会从新在剩余节点选出新的leader，新的leader选出之后采用广播模式实现各个节点与新的leader同步
+​		广播模式：解决每个节点数据同步问题
+
+### 5.4、zk数据同步原理
+
+​		当我们zk中发出一个事务请求的时候，这时候我们Leader节点就会创建一个全局的zxid事务id。zxid会上锁保障数据的一致性，每次只能处理一个写操作。当我们写操作完成的时候，就会进行2PC同步。
+​		第一阶段同步，带上zxid告诉每个Follower节点是否允许同步数据，Follower会返回给ACK。
+​		第二阶段，如果收到半数ACK，leader节点就会发送commit（同步zxid和数据），发送数据完成数据同步。
+
+> 为什么我们写的请求必须统一交给leader而不是follower节点实现？
+>
+> 因为可以采用借鉴在分布式事务中2pc（两阶段提交协议）解决分布式数据同步问题。
+
+### 5.5、zxid有什么用？（选举实现原理）
+
+发起投票的时候每个Server段都会产生（myid，zxid）选举，zxid（默认情况下为0）取决于每个节点最后一次做事务写的请求保存的ID
+接受自己投票实现PK
+
+1. 先检查zxid，谁最大，谁就是leader
+2. 如果zxid都是一样大的情况下，myid最大的就是leader
+3. leader的选择也与节点的启动顺序有关
+4. 实现中Zxid是一个64位的数字，它高32位是epoch用来标识Leader关系是否改变，低32位来表示事务的顺序，用来保障事物的一致性。
+
+> 为什么要先比较zxid呢？
+>
+> 因为zxid表示该节点有最新的数据。
+
+### 5.6、网络分区(脑裂)
+
+在集群的情况下，一般只会选举一个master节点、其他都是为从节点，那么如果发生了网络抖动或者部分节点相互无法通讯那么就会导致部分节点从新选举，这样就会存在多个master节点；
+
+## 6、CAP理论
+
+1. C：Consistency 在分布式系统中的所有数据备份，在同一时刻是否同样的值。等同于所有节点访问同一份最新的数据副本
+2. A：Availability，在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求
+3. P：Partition tolerance 在分布式系统中网络分区存在脑裂问题以后，部分server与集群其他节点失去联系 无法组成一个群体； 该问题一定是存在的~~~
+
+目前我们当前技术环境下，不能同时满足CA，但是可以满足CP或者AP
+
+>  为什么不能保证CA呢？
+>
+> 因为我们服务节点宕机，很难保证同一时刻同步问题。
+
+## 7、Eureka与Zookeeper区别
+
+### 相同点：
+
+* Eureka和Zookeeper都可以实现微服务注册中心；
+
+* 首先在这时候要明白一点：
+  服务注册中心，可以短暂读取以前服务注册列表信息，但是不可以接受节点宕机不可用；
+
+### 不同点：
+
+* Zookeeper保证CP(一致性和分区容错) 当ZK在某种情况下出现宕机，会重新实现ZK选举新的领导者，如果zk选举的新的领导者时间过长，或者投票没有过半数，那么会导致整个zk集群节点不可用的，这也以为者服务注册中心不可用 ，所以Zk必须要保证数据一致性问题；
+
+* Eureka保证AP,设计时优先考虑可用性，完全去中心化的设计思想，每个节点都均等；没有主从区分，几个节点挂掉了也不会影响正常的Eureka使用，Eureka客户端在连接时发现连接不可用会自动切换其他连接，只要Eureka有一个节点存在也就可以保证Eureka整个服务注册中心的使用；
+
+* Zk保证数据一致性问题，Eureka保证可用性；

煤矿项目问题汇总/华为云.md

@@ -0,0 +1,13 @@
+IP地址：https://10.168.60.10:8443/OmsPortal/index.jsp
+
+账号：DongVM
+
+密码：dong123456
+
+虚拟机：dong’1，dong2，dong3
+
+注意事项：请使用火狐浏览器！！！请使用火狐浏览器！！！请使用火狐浏览器！！！请使用火狐浏览器！！！
+
+ 
+
+别动其他人的虚拟机

部署文档/大数据平台/大数据平台环境搭建.md

@@ -351,15 +351,18 @@ hadoop集群规划：
    
    # 修改如下配置
    KAFKA_JMX_OPTS="
+   # -Dsun.rmi.transport.tcp.responseTimeout=60000   #超时时间
+   # -Dcom.sun.management.jmxremote.local.only=false"  #k
+   
    -Dcom.sun.management.jmxremote=true 
    -Dcom.sun.management.jmxremote.authenticate=false  
    -Dcom.sun.management.jmxremote.ssl=false 
    -Djava.rmi.server.hostname=服务器的IP地址或者域名
-   -Dsun.rmi.transport.tcp.responseTimeout=60000   #超时时间
-   -Dcom.sun.management.jmxremote.rmi.port=9999    #端口
-   -Dcom.sun.management.jmxremote.port=9999        #端口
-   -Dcom.sun.management.jmxremote.local.only=false"
    
+   # JMX port to use
+   if [  $JMX_PORT ]; then
+      KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS -Dcom.sun.management.jmxremote.port=$JMX_PORT -Dcom.sun.management.jmxremote.rmi.port=$JMX_PORT"
+   fi
    ```
 
    ```shell

部署文档/大数据平台/脚本.md

@@ -0,0 +1,158 @@
+# 修改ssh配置
+
+```shell
+cd /etc
+chmod 777 sudoers
+vim sudoers
+# 注释掉 Default requiretty 一行    ------  第56行
+chmod 600 sudoers
+```
+
+# 环境变量
+
+```shell
+cd /etc/profile.d
+vim myenv.sh
+# JAVA
+export JAVA_HOME=/opt/modules/java
+export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
+export PATH=$PATH:$JAVA_HOME/bin
+
+# spark
+export SPARK_HOME=/opt/modules/spark-3.1.2
+export PATH=$PATH:$SPARK_HOME/bin
+
+# scala
+export SCALA_HOME=/opt/modules/scala-2.12.15
+export PATH=$PATH:$SCALA_HOME/bin
+
+# minio
+export MINIO_ROOT_USER=minio
+export MINIO_ROOT_PASSWORD=minio123
+
+# HADOOP_HOME
+export HADOOP_HOME=/opt/modules/hadoop-3.1.3
+export PATH=$PATH:$HADOOP_HOME/bin
+export PATH=$PATH:$HADOOP_HOME/sbin
+
+# HIVE_HOME
+export HIVE_HOME=/opt/modules/hive
+export PATH=$PATH:$HIVE_HOME/bin
+
+# ZOOKEEPER_HOME
+export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.14
+export PATH=$PATH:$ZOOKEEPER_HOME/bin
+
+# KAFKA_HOME
+export KAFKA_HOME=/opt/modules/kafka_2.11-2.1.1
+export PATH=$PATH:$KAFKA_HOME/bin
+
+# MYSQL_HOME
+export MYSQL_HOME=/opt/modules/mysql
+export PATH=$PATH:$MYSQL_HOME/bin
+
+# HBASE_HOME
+export HBASE_HOME=/opt/modules/hbase-2.2.6
+export PATH=$PATH:$HBASE_HOME/bin
+export HBASE_LIBRARY_PATH=/opt/modules/hbase-2.2.6/lib/native/Linux-amd64-64
+```
+
+> **不要忘了source一下！不要忘了source一下！不要忘了source一下！**
+>
+> **不要忘了source一下！不要忘了source一下！不要忘了source一下！**
+>
+> **不要忘了source一下！不要忘了source一下！不要忘了source一下！**
+>
+> `source /etc/profile`
+
+# 启动脚本---(脚本名字随便取，务必以sh结尾，eg start.sh)
+
+```shell
+#! /bin/bash
+
+## 三台机器都有环境变量是前提，否则修改脚本中启动命令为全路径
+## start zookeeper cluster 
+ssh lab1 zkServer.sh start
+ssh lab2 zkServer.sh start
+ssh lab3 zkServer.sh start
+
+## start hdfs
+start-dfs.sh
+
+## start yarn
+ssh lab2 start-yarn.sh
+
+## start hbase
+start-hbase.sh
+
+## start kafka
+ssh lab1 kafka-server-start.sh -daemon /opt/modules/kafka_2.11-2.1.1/config/server.properties
+ssh lab2 kafka-server-start.sh -daemon /opt/modules/kafka_2.11-2.1.1/config/server.properties
+ssh lab3 kafka-server-start.sh -daemon /opt/modules/kafka_2.11-2.1.1/config/server.properties
+
+## start solr---------需要修改ssh配置
+ssh lab1 sudo -i -u solr /opt/modules/solr/bin/solr start
+ssh lab2 sudo -i -u solr /opt/modules/solr/bin/solr start
+ssh lab3 sudo -i -u solr /opt/modules/solr/bin/solr start
+
+# start atlas
+ssh lab2 /opt/modules/atlas-2.2.0/bin/atlas_start.py
+```
+
+# 关闭脚本---(脚本名字随便取，务必以sh结尾，eg stop.sh)
+
+```shell
+#! /bin/bash
+## 三台机器都有环境变量是前提，否则修改脚本中启动命令为全路径
+
+# stop atlas
+ssh lab2 /opt/modules/atlas-2.2.0/bin/atlas_start.py
+
+ssh lab1 sudo -i -u solr /opt/modules/solr/bin/solr stop
+ssh lab2 sudo -i -u solr /opt/modules/solr/bin/solr stop
+ssh lab3 sudo -i -u solr /opt/modules/solr/bin/solr stop
+
+
+## stop kafka
+ssh lab1 kafka-server-stop.sh
+ssh lab2 kafka-server-stop.sh
+ssh lab3 kafka-server-stop.sh
+
+## stop hbase
+stop-hbase.sh
+
+## stop yarn
+ssh lab2 stop-yarn.sh
+
+## stop hdfs
+stop-dfs.sh
+
+## stop zookeeper cluster 
+ssh lab1 zkServer.sh stop
+ssh lab2 zkServer.sh stop
+ssh lab3 zkServer.sh stop
+```
+
+# 监控脚本
+
+```shell
+cd /usr/local/bin
+touch jpsall
+chmod +x jpsall
+vim jpsall
+
+#!/bin/bash
+# 执行jps命令查询每台服务器上的节点状态
+echo ======================集群节点状态====================
+
+for i in lab1 lab2 lab3
+do
+        echo ====================== $i ====================
+        ssh root@$i '/opt/modules/java/bin/jps'
+done
+echo ======================执行完毕====================
+
+```
+
+
+