K8SNFS共享存储

　　NFS共享存储
　　前面我们学习了hostPath与LocalPV两种本地存储方式，但是平时我们的应用更多的是无状态服务，可能会同时发布在不同的节点上，这个时候本地存储就不适用了，往往就需要使用到共享存储了，比如最简单常用的网络共享存储NFS，本节课我们就来介绍下如何在Kubernetes下面使用NFS共享存储。安装
　　我们这里为了演示方便，先使用相对简单的NFS这种存储资源，接下来我们在节点192。168。31。31上来安装NFS服务，数据目录：varlibk8sdata
　　关闭防火墙systemctlstopfirewalld。servicesystemctldisablefirewalld。service
　　安装配置nfsyumyinstallnfsutilsrpcbind
　　共享目录设置权限：mkdirpvarlibk8sdatachmod755varlibk8sdata
　　配置nfs，nfs的默认配置文件在etcexports文件下，在该文件中添加下面的配置信息：vietcexportsvarlibk8sdata（rw，sync，norootsquash）
　　配置说明：varlibk8sdata：是共享的数据目录：表示任何人都有权限连接，当然也可以是一个网段，一个IP，也可以是域名rw：读写的权限sync：表示文件同时写入硬盘和内存norootsquash：当登录NFS主机使用共享目录的使用者是root时，其权限将被转换成为匿名使用者，通常它的UID与GID，都会变成nobody身份
　　当然nfs的配置还有很多，感兴趣的同学可以在网上去查找一下。
　　启动服务nfs需要向rpc注册，rpc一旦重启了，注册的文件都会丢失，向他注册的服务都需要重启注意启动顺序，先启动rpcbindsystemctlstartrpcbind。servicesystemctlenablerpcbindsystemctlstatusrpcbindrpcbind。serviceRPCbindserviceLoaded：loaded（usrlibsystemdsystemrpcbind。vendorpreset：enabled）Active：active（running）sinceTue2018071020：57：29CST；1min54sagoProcess：17696ExecStartsbinrpcbindwRPCBINDARGS（codeexited，status0SUCCESS）MainPID：17697（rpcbind）Tasks：1Memory：1。1MCGroup：system。slicerpcbind。service17697sbinrpcbindwJul1020：57：29mastersystemd〔1〕：StartingRPCbindservice。。。Jul1020：57：29mastersystemd〔1〕：StartedRPCbindservice。
　　看到上面的Started证明启动成功了。
　　然后启动nfs服务：systemctlstartnfs。servicesystemctlenablenfssystemctlstatusnfsnfsserver。serviceNFSserverandservicesLoaded：loaded（usrlibsystemdsystemnfsserver。vendorpreset：disabled）DropIn：runsystemdgeneratornfsserver。service。dorderwithmounts。confActive：active（exited）sinceTue2018071021：35：37CST；14sagoMainPID：32067（codeexited，status0SUCCESS）CGroup：system。slicenfsserver。serviceJul1021：35：37mastersystemd〔1〕：StartingNFSserverandservices。。。Jul1021：35：37mastersystemd〔1〕：StartedNFSserverandservices。
　　同样看到Started则证明NFSServer启动成功了。
　　另外我们还可以通过下面的命令确认下：rpcinfopgrepnfs1000033tcp2049nfs1000034tcp2049nfs1002273tcp2049nfsacl1000033udp2049nfs1000034udp2049nfs1002273udp2049nfsacl
　　查看具体目录挂载权限：catvarlibnfsetabvarlibk8sdata（rw，sync，wdelay，hide，nocrossmnt，secure，norootsquash，noallsquash，nosubtreecheck，securelocks，acl，nopnfs，anonuid65534，anongid65534，secsys，rw，secure，norootsquash，noallsquash）
　　到这里我们就把nfsserver给安装成功了，然后就是前往节点安装nfs的客户端来验证，安装nfs当前也需要先关闭防火墙：systemctlstopfirewalld。servicesystemctldisablefirewalld。service
　　然后安装nfsyumyinstallnfsutilsrpcbind
　　安装完成后，和上面的方法一样，先启动rpc、然后启动nfs：systemctlstartrpcbind。servicesystemctlenablerpcbind。servicesystemctlstartnfs。servicesystemctlenablenfs。service
　　挂载数据目录客户端启动完成后，我们在客户端来挂载下nfs测试下，首先检查下nfs是否有共享目录：showmounte192。168。31。31Exportlistfor192。168。31。31：varlibk8sdata
　　然后我们在客户端上新建目录：mkdirprootcoursekubeadmdata
　　将nfs共享目录挂载到上面的目录：mounttnfs192。168。31。31：varlibk8sdatarootcoursekubeadmdata
　　挂载成功后，在客户端上面的目录中新建一个文件，然后我们观察下nfs服务端的共享目录下面是否也会出现该文件：touchrootcoursekubeadmdatatest。txt
　　然后在nfs服务端查看：lslsvarlibk8sdatatotal44rwrr。1rootroot4Jul1021：50test。txt
　　如果上面出现了test。txt的文件，那么证明我们的nfs挂载成功了。使用
　　前面我们已经了解到了PV、PVC、StorgeClass的使用，那么我们的NFS又应该如何在Kubernetes中使用呢？
　　同样创建一个如下所示nfs类型的PV资源对象：nfsvolume。yamlapiVersion：v1kind：PersistentVolumemetadata：name：nfspvspec：storageClassName：manualcapacity：storage：1GiaccessModes：ReadWriteOncepersistentVolumeReclaimPolicy：Retainnfs：path：varlibk8sdata指定nfs的挂载点server：192。168。31。31指定nfs服务地址apiVersion：v1kind：PersistentVolumeClaimmetadata：name：nfspvcspec：storageClassName：manualaccessModes：ReadWriteOnceresources：requests：storage：1Gi
　　我们知道用户真正使用的是PVC，而要使用PVC的前提就是必须要先和某个符合条件的PV进行一一绑定，比如存储容器、访问模式，以及PV和PVC的storageClassName字段必须一样，这样才能够进行绑定，当PVC和PV绑定成功后就可以直接使用这个PVC对象了：nfspod。yamlapiVersion：v1kind：Podmetadata：name：testvolumesspec：volumes：name：nfspersistentVolumeClaim：claimName：nfspvccontainers：name：webimage：nginxports：name：webcontainerPort：80volumeMounts：name：nfssubPath：testvolumesmountPath：usrsharenginxhtml
　　直接创建上面的资源对象即可：kubectlapplyfvolume。yamlkubectlapplyfpod。yamlkubectlgetpvnfspvNAMECAPACITYACCESSMODESRECLAIMPOLICYSTATUSCLAIMSTORAGECLASSREASONAGEnfspv1GiRWORetainBounddefaultnfspvcmanual119skubectlgetpvcnfspvcNAMESTATUSVOLUMECAPACITYACCESSMODESSTORAGECLASSAGEnfspvcBoundnfspv1GiRWOmanual2m5skubectlgetpodstestvolumesowideNAMEREADYSTATUSRESTARTSAGEIPNODENOMINATEDNODEREADINESSGATEStestvolumes11Running02m30s10。244。2。174node2nonenone
　　由于我们这里PV中的数据为空，所以挂载后会将nginx容器中的usrsharenginxhtml目录覆盖，那么访问应用的时候就没有内容了：curlhttp：10。244。2。174htmlheadtitle403Forbiddentitleheadbodycenterh1403Forbiddenh1centerhrcenternginx1。21。5centerbodyhtml
　　我们可以在PV目录中添加一些内容：在nfs服务器上面执行echonfspvcontentvarlibk8sdatatestvolumesindex。htmlcurlhttp：10。244。2。174nfspvcontent
　　然后重新访问就有数据了，而且当我们的Pod应用挂掉或者被删掉重新启动后数据还是存在的，因为数据已经持久化了。
　　上面的示例中需要我们手动去创建PV来和PVC进行绑定，有的场景下面需要自动创建PV，这个时候就需要使用到StorageClass了，并且需要一个对应的provisioner来自动创建PV，比如这里我们使用的NFS存储，则可以使用nfssubdirexternalprovisioner这个Provisioner，它使用现有的和已配置的NFS服务器来支持通过PVC动态配置PV，持久卷配置为｛namespace｝｛pvcName｝｛pvName｝，首先我们使用HelmChart来安装：helmrepoaddnfssubdirexternalprovisionerhttps：kubernetessigs。github。ionfssubdirexternalprovisionerhelmupgradeinstallnfssubdirexternalprovisionernfssubdirexternalprovisionernfssubdirexternalprovisionersetnfs。server192。168。31。31setnfs。pathvarlibk8sdatasetimage。repositorycnychnfssubdirexternalprovisionersetstorageClass。defaultClasstruenkubesystem
　　上面的命令会在kubesystem命名空间下安装nfssubdirexternalprovisioner，并且会创建一个名为nfsclient默认的StorageClass：kubectlgetscNAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGElocalstoragekubernetes。ionoprovisionerDeleteWaitForFirstConsumerfalse2d20hnfsclient（default）cluster。localnfssubdirexternalprovisionerDeleteImmediatetrue38dkubectlgetscnfsclientoyamlapiVersion：storage。k8s。iov1kind：StorageClassmetadata：。。。。。。name：nfsclientparameters：archiveOnDelete：trueprovisioner：cluster。localnfssubdirexternalprovisionerreclaimPolicy：DeletevolumeBindingMode：ImmediateallowVolumeExpansion：true
　　这样当以后我们创建的PVC中如果没有指定具体的StorageClass的时候，则会使用上面的SC自动创建一个PV。比如我们创建一个如下所示的PVC：nfsscpvcapiVersion：v1kind：PersistentVolumeClaimmetadata：name：nfsscpvcspec：storageClassName：nfsclient不指定则使用默认的SCaccessModes：ReadWriteOnceresources：requests：storage：1Gi
　　直接创建上面的PVC资源对象后就会自动创建一个PV与其进行绑定：kubectlgetpvcnfsscpvcNAMESTATUSVOLUMECAPACITYACCESSMODESSTORAGECLASSAGEnfsscpvcBoundpvced8e2fb7897d465f873581d52c91d0741GiRWOnfsclient15s
　　对应自动创建的PV如下所示：kubectlgetpvpvced8e2fb7897d465f873581d52c91d074oyamlapiVersion：v1kind：PersistentVolumemetadata：annotations：pv。kubernetes。ioprovisionedby：cluster。localnfssubdirexternalprovisionercreationTimestamp：20220213T09：44：13Zfinalizers：kubernetes。iopvprotectionname：pvced8e2fb7897d465f873581d52c91d074resourceVersion：3954045uid：6d66e6ea888b4bc0bab09aca3a536cb5spec：accessModes：ReadWriteOncecapacity：storage：1GiclaimRef：apiVersion：v1kind：PersistentVolumeClaimname：nfsscpvcnamespace：defaultresourceVersion：3954040uid：ed8e2fb7897d465f873581d52c91d074nfs：path：varlibk8sdatadefaultnfsscpvcpvced8e2fb7897d465f873581d52c91d074server：192。168。31。31persistentVolumeReclaimPolicy：DeletestorageClassName：nfsclientvolumeMode：Filesystemstatus：phase：Bound
　　挂载的nfs目录为varlibk8sdatadefaultnfsscpvcpvced8e2fb7897d465f873581d52c91d074，和上面的｛namespace｝｛pvcName｝｛pvName｝规范一致的。原理
　　我们只是在volumes中指定了我们上面创建的PVC对象，当这个Pod被创建之后，kubelet就会把这个PVC对应的这个NFS类型的Volume（PV）挂载到这个Pod容器中的目录中去。前面我们也提到了这样的话对于普通用户来说完全就不用关心后面的具体存储在NFS还是Ceph或者其他了，只需要直接使用PVC就可以了，因为真正的存储是需要很多相关的专业知识的，这样就完全职责分离解耦了。
　　普通用户直接使用PVC没有问题，但是也会出现一个问题，那就是当普通用户创建一个PVC对象的时候，这个时候系统里面并没有合适的PV来和它进行绑定，因为PV大多数情况下是管理员给我们创建的，这个时候启动Pod肯定就会失败了，如果现在管理员如果去创建一个对应的PV的话，PVC和PV当然就可以绑定了，然后Pod也会自动的启动成功，这是因为在Kubernetes中有一个专门处理持久化存储的控制器VolumeController，这个控制器下面有很多个控制循环，其中一个就是用于PV和PVC绑定的PersistentVolumeController。
　　PersistentVolumeController会不断地循环去查看每一个PVC，是不是已经处于Bound（已绑定）状态。如果不是，那它就会遍历所有的、可用的PV，并尝试将其与未绑定的PVC进行绑定，这样，Kubernetes就可以保证用户提交的每一个PVC，只要有合适的PV出现，它就能够很快进入绑定状态。而所谓将一个PV与PVC进行绑定，其实就是将这个PV对象的名字，填在了PVC对象的spec。volumeName字段上。
　　PV和PVC绑定上了，那么又是如何将容器里面的数据进行持久化的呢，我们知道Docker的Volume挂载其实就是将一个宿主机上的目录和一个容器里的目录绑定挂载在了一起，具有持久化功能当然就是指的宿主机上面的这个目录了，当容器被删除或者在其他节点上重建出来以后，这个目录里面的内容依然存在，所以一般情况下实现持久化是需要一个远程存储的，比如NFS、Ceph或者云厂商提供的磁盘等等。所以接下来需要做的就是持久化宿主机目录这个过程。
　　当Pod被调度到一个节点上后，节点上的kubelet组件就会为这个Pod创建它的Volume目录，默认情况下kubelet为Volume创建的目录在kubelet工作目录下面：varlibkubeletpodsPod的IDvolumeskubernetes。ioVolume类型Volume名字
　　比如上面我们创建的Pod对应的Volume目录完整路径为：varlibkubeletpodsd4fcdb11baf743d98d7d3ede24118e08volumeskubernetes。ionfsnfspv
　　提示
　　要获取Pod的唯一标识uid，可通过命令kubectlgetpodpod名ojsonpath｛。metadata。uid｝获取。
　　然后就需要根据我们的Volume类型来决定需要做什么操作了，假如后端存储使用的CephRBD，那么kubelet就需要先将Ceph提供的RBD挂载到Pod所在的宿主机上面，这个阶段在Kubernetes中被称为Attach阶段。Attach阶段完成后，为了能够使用这个块设备，kubelet还要进行第二个操作，即：格式化这个块设备，然后将它挂载到宿主机指定的挂载点上。这个挂载点，也就是上面我们提到的Volume的宿主机的目录。将块设备格式化并挂载到Volume宿主机目录的操作，在Kubernetes中被称为Mount阶段。但是对于我们这里使用的NFS就更加简单了，因为NFS存储并没有一个设备需要挂载到宿主机上面，所以这个时候kubelet就会直接进入第二个Mount阶段，相当于直接在宿主机上面执行如下的命令：mounttnfs192。168。31。31：varlibk8sdatavarlibkubeletpodsd4fcdb11baf743d98d7d3ede24118e08volumeskubernetes。ionfsnfspv
　　同样可以在测试的Pod所在节点查看Volume的挂载信息：findmntvarlibkubeletpodsd4fcdb11baf743d98d7d3ede24118e08volumeskubernetes。ionfsnfspvTARGETSOURCEFSTYPEOPTIONSvarlibkubeletpodsd4fcdb11baf743d98d7d3ede24118e08volumeskubernetes。ionfsnfspv192。168。31。31：varlibk8sdatanfs4rw，relatime，
　　我们可以看到这个Volume被挂载到了NFS（192。168。31。31：varlibk8sdata）下面，以后我们在这个目录里写入的所有文件，都会被保存在远程NFS服务器上。
　　这样在经过了上面的阶段过后，我们就得到了一个持久化的宿主机上面的Volume目录了，接下来kubelet只需要把这个Volume目录挂载到容器中对应的目录即可，这样就可以为Pod里的容器挂载这个持久化的Volume了，这一步其实也就相当于执行了如下所示的命令：docker或者nerdctldockerrunvvarlibkubeletpodsPod的IDvolumeskubernetes。ioVolume类型Volume名字：容器内的目标目录我的镜像。。。
　　整个存储的架构可以用下图来说明：
　　PVController：负责PVPVC的绑定，并根据需求进行数据卷的ProvisionDelete操作ADController：负责存储设备的AttachDetach操作，将设备挂载到目标节点VolumeManager：管理卷的MountUnmount操作、卷设备的格式化等操作VolumePlugin：扩展各种存储类型的卷管理能力，实现第三方存储的各种操作能力和Kubernetes存储系统结合
　　我们上面使用的NFS就属于InTree这种方式，InTree就是在Kubernetes源码内部实现的，和Kubernetes一起发布、管理的，但是更新迭代慢、灵活性比较差，另外一种方式OutOfTree是独立于Kubernetes的，目前主要有CSI和FlexVolume两种机制，开发者可以根据自己的存储类型实现不同的存储插件接入到Kubernetes中去，其中CSI是现在也是以后主流的方式，接下来我们会主要介绍CSI这种存储插件的使用。