Jenkins详细安装配置部署--超详细
Jenkins详细安装配置部署--超详细
一、什么是CI/CD
- CI(Continuous integration，中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了 新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确 地集成在一起。
- CD(Continuous Delivery， 中文意思持续交付)是在持续集成的基础上，将集成后的代码部署到更贴近 真实运行环境(类生产环境)中。比如，我们完成单元测试后，可以把代码部署到连接数据库的Staging环 境中更多的测试。如果代码没有问题，可以继续手动部署到生产环境。
二、Gitlab内置持续集成
持续集成（CI）
- 集成团队中每个开发人员提交的代码到代码存储库中。
- 开发人员在merge或者pull请求中合并拉去新的代码。
- 在提交或者合并更改到代码库之前，会触发了构建，测试和新代码验证的管道。
- CI 可帮助您在开发周期的早期发现并减少错误。
CI(Continuous integration，中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了
新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确
地集成在一起。
持续交付（CD）
- 可通过结构化的部署管道确保将经过CI验证的代码交付给您的应用程序。
- CD可以将经过验证的代码更快地移至您的应用程序。
CD(Continuous Delivery， 中文意思持续交付)是在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如，我们完成单元测试后，可以把代码部署到连接数据库的Staging环境中更多的测试。如果代码没有问题，可以继续手动部署到生产环境。
CI/CD一起可以加快团队为客户和利益相关者交互成果的速度。CI 和 CD必须无缝协作，以使您的团队快速有效的进行构建，并且对于确保完全优化的开发实践至关重要。
根据持续集成的设计，代码从提交到生产，整个过程有以下几步：
提交
流程的第一论，是开发者向代码仓库提交代码。所有后面的步骤都始于本地代码的一次提交(commit)
测试(第一轮)
代码仓库对commit操作配置了钩子(hook)，只要提交代码或者合并进主干，就会跑自动化测试.
构建
通过第一轮测试，代码就可以合并进主干。就算可以交付了。
交付后，就先进行构建(build)，再进入第二轮测试。所谓构建，指的是将源码转换为可以运行的实际代码,比如安装依赖,配置各种资源〔样式表、JS脚本、图片)等等。
测试(第二轮)
构建完成，就要进行第二轮测试。如果第一轮已经涵盖了所有测试内容，第二轮可以省略，当然，这时构建步骤也要移到第一轮测试前面。
部署
过了第二轮测试，当前代码就是一个可以直接部署的版本(artifact)。将这个版本的所有文件打包(tarfilename.tar*]存档,发到生产服务器。
回滚
一旦当前版本发生问题，就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接，指向上一个版本的目录。
2.1 Gitlab的CI/CD优势
- 开源：ci/cd是开源gitlab社区版和专有gitlab企业版的一部分。
- 易于学习：具有详细的入门文档。
- 无缝集成：gitlab的ci/cd是gitlab的一部分，支持从计划到部署，具有出色的用户体验。
- 可扩展：测试可以在单独的计算机上分布式运行，可以根据需要添加任意数量的计算机。
- 更快的结果：每个构建可以拆分为多个作业，这些作业可以在多台计算机上并行运行。
- 针对交付进行了优化：多个阶段、手动部署、环境和变量。
2.2 Gitlab的CI/CD特点
- 多平台：UNIX,WINDOWS,macOS和任何其他支持GO的平台上执行构建。
- 多语言：构建脚本是命令行驱动的，并且可以与java、php、ruby、c和其他语言一起使用。
- 稳定构建：构建在gitlab不同的机器上运行。
- 并行构建：gitlab CI/CD在多台机器上拆分构建，以实现快速执行。‘
- 实时日志记录：合并请求中的链接将您带到动态更新的当前构建日志。
- 灵活的管道：您可以在每个阶段定义多个并行作业，并且可以触发其他构建。
- 版本管道：一个.gitlab-ci.yml文件包含您的测试，整个过程的步骤，是每个人都能贡献更改，并确保每个分支获得所需的管道。
- 自动缩放：您可以自动缩放构建机器，以确保立即处理您的构建并降低成本。
- 构建工件：您可以将二进制文件和其他构建工件上载到gitlab并浏览和下载它们。
- docker支持：可以使用自定义docker镜像，作为测试的一部分启动服务，构建新的dockers镜像，甚至可以在k8s上运行。
- 容器注册表：内置的容器注册表，用于存储，共享和使用容器镜像。
- 受保护的变量：子啊部署期间使用受每个环境保护的变量安全地存储和使用机密。
- 环境：定义多个环境。
2.3 Gitlab的CI/CD组件
-
Gitlab CI/CD
- Gitlab的一部分，Gitlab是一个web应用程序，具有将其状态存储在数据库中的API。
- 除了Gitlab的所有功能之外，它还管理项目、构建并提供一个不错的用户界面。
-
Gitbal Runner
- 是一个处理构建的应用程序。
- 它可以单独部署，并通过API 与 Gitlab CI/CD 一起使用。
-
.gitlab-ci.yml文件
-
为了运行测试，至少需要一个Gitlab实例和一个Gitlab Runner。
三、gitlab CI/CD工作原理
- 将代码托管到git存储库中；
- 在项目根创建ci文件 .gitlab-ci.yml，在文件中指定构建，测试和部署脚本；
- gitlab将检测到它并使用名为gitlab runner的工具运行脚本；
- 脚本被分组为作业，它们共同组成了一个管道。
四、Jenkins安装与部署
4.1 Jenkins的简介
Jenkins是一个广泛用于持续集成的可视化web自动化工具，Jenkins可以很友好的支持各种语言的项目构建，也可以完全兼容ant maven、gradle等多种第三方构建工具，同时跟svn git能无缝集成，也支持直接与知名源代码托管网站，比如 github、bitbucket直接集成，而且插件众多，在这么多年的"技术积累之后，在国内大部分公司都有使用Jenkins。
Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具。主要做的事情就是从git中拉取代码，根据配置信息打包；把打好的包传输到目标服务器，并可以执行一些shell脚本，使项目打包发布一键完成。
官网:https://www.jenkins.io/
4.2 Jenkins的特征:
- 开源的ava语言开发持续集成工具，支持持续集成，持续部署。
- 易于安装部署配置:可通过yum安装,或下载war包以及通过docker容器等快速实现安装部署，可方便web界面配置管理。
- 消息通知及测试报告:集成RSS/E-mail通过RSS发布构建结果或当构建完成时通过e-mail通知，生成JUnit/TestNG测试报告。
- 分布式构建:支持Jenkins能够让多台计算机一起构建/测试。
- 文件识别:Jenkins能够跟踪哪次构建生成哪些jar，哪次构建使用哪个版本的jar等。
- 丰富的插件支持:支持扩展插件，你可以开发适合自己团队使用的工具，如git，svn，maven，docker等。
4.3 Jenkins安装和持续集成环境配置
使用三台服务器：一台Gitlab仓库服务器、一台Jenkins服务器（JDK、Git、Maven）、一台Tomcat测试服务器。
- 首先，开发人员每天进行代码提交，提交到Git仓库
- 然后，Jenkins作为持续集成工具，使用Git工具到Git仓库拉取代码到集成服务器，再配合JDK、Maven等软件完成代码编译，代码测试与审查，测试，打包等工作，在这个过程中每一步出错，都重新再执行一次整个流程。
- 最后，Jenkins把生成的jar或war包分发到测试服务器或者生产服务器，测试人员或用户就可以访问应用。
4.3.1Gitlab服务部署
4.3.1.1 Gitlab介绍
官网:https://about.gitlab.com/
GitLab是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。
4.3.1.2 Gitlab与Github区别
GitLab和GitHub一样属于第三方基于Git开发的作品，免费且开源（基于MIT协议)，与Github类似，可以注册用户，任意提交你的代码，添加SSHKey等等。不同的是，GitLab是可以部署到自己的服务器上，数据库等一切信息都掌握在自己手上，适合团队内部协作开发。
Github服务器在别人手上，所有的代码需要上传到别人的服务器上。Gitlab可以看作是一个个人版的Github.
4.3.1.3 Gitlab安装
1.安装相关依赖
yum -y install policycoreutils openssh-server openssh-clients postfix
2.启动ssh服务&设置为开机启动
systemctl enable sshd && systemctl start sshd
3.设置postfix开机自启，并启动,postfix支持gitlab发信功能
systemctl enable postfix && systemctl start postfix
4.开放ssh以及http服务，然后重新加载防火墙列表
firewall-cmd --add-service=ssh --permanent
firewall-cmd --add-service=http --permanent
firewall-cmd --reload
如果关闭防火墙就不需要做以上配置
关闭防火墙和增强机制
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
#使用命令行模式在线下载
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/gitlabce/yum/el7/gitlab-ce-12.10.14-ce.0.el7.x86_64.rpm
#--no-check-certificate 不进行证书验证
rpm -ivh gitlab-ce-12.4.2-ce.0.el6.x86_64.rpm
widows下载安装包:https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.10.14-ce.0.
el7.x86_64.rpm
4.3.1.4修改gitlab配置
vim /etc/gitlab/gitlab.rb
external_url 'http://xxxxxxx' #29行，ip地址：端口；外部访问的地址
nginx['listen_port'] = 82 #1197默认注释。修改为82端口
unicorn['worker_processes'] = 2 #736行，设置gitlab占用内存大小
重载配置及启动gitlab
gitlab-ctl reconfigure #重新加载配置
gitlab-ctl restart #重启服务
#开机自启
systemctl enable gitlab-runsvdir.service
试着用IP 直接访问 IP：82 10.148.158.4：82
修改管理员密码后，即可登录
4.3.1.5 Gitlab用户管理
4.3.1.5.1 创建用户组
权限等级分三种：
- Private 私有的，只有你自己或者组内的成员能访问
- Internal 所有登录的用户
- Public 公开的，所有人都可以访问
4.3.1.5.2 创建项目
代码上传
git config --global user.name "root" #全局声明
git clone http://10.148.158.4:root/web-test.git #将项目克隆到服务器
输入密码：12345678
cd web-test #切换目录
git add . #将代码上传到工作区
git commit -m "Initial commit" #提交代码申明
git push -u origin master #将代码推送到Gitlab
4.3.1.5.3 用户创建
如图所示：
点击创建，在生成用户的右侧点击创建密码
点下下面的保存你修改，save change！
4.3.1.5.4 添加用户到组
如图所示：
Gitlab用户在组里面有5种不同权限:
Guest:可以创建issue、发表评论，不能读写版本库
Reporter:可以克隆代码，不能提交，QA、PM可以赋予这个权限
Developer:可以克隆代码、开发、提交、push，普通开发可以赋予这个权限
Maintainer:可以创建项目、添加tag、保护分支、添加项目成员、编辑项目，核心开发可以赋予这个权限
Owner:可以设置项目访问权限·Visibility Level、删除项目、迁移项目、管理组成员，开发组组长可以赋予这个权限
五、Jenkins服务部署
5.1 Jenkins安装
官网:https://www.jenkins.io/
新版的Jenkins需要安装JDK11的JAVA环境，所以我们首先要配置JDK
下载完之后拖到opt目录下
#安装JDK11
rpm -ivh jdk-11.0.15.1_linux-x64_bin.rpm
#安装Jenkins
rpm -ivh jenkins-2.332.3-1.1.noarch.rpm
5.1.1 修改Jenkins配置文件
vim /etc/sysconfig/jenkins
JENKINS_PORT="8080" #修改默认端口，根据所需修改
systemctl start jenkins.service
在浏览器访问IP：端口【记得这里要把防火墙给关闭！】
在浏览器访问，选择自行选择插件安装
第一次进入后，会让创建一个管理员账户与密码
5.1.2 Jenkins添加汉化插件
Jenkins->Manage Jenkins->Manage Plugins，点击Available，搜索Chinese、Locale插件
在Manage Jenkins–>Configure System中设置如下
解决插件安装完，中文简体部分不翻译在Locale中，将语言设置为en_US,重启，再设置为zh_CN；注：zh_TW为中文繁体
【因为版本问题可能会导致部分英文无法被识别】
5.1.3 用户权限管理
5.1.3.1 安装插件
Role-based Authorization Strategy：主要用于用户权限管理
添加完后可以再管理界面看到如下功能选项
点击进入
Glabal rales (全局角色):管理员等高级用户可以创建基于全局的角色
Project roles(项目角色)︰针对菜个或者某些项目的角色
Node rales(节点角色)︰节点相关的权限
5.1.3.2 添加角色
我们添加以下三个角色：
TEST: 该角色为全局角色。这个角色需要绑定Dverall下面的Read权限，是为了给所有用户绑定最基本的jenkins访问权限。
注意:如果不给后续用户绑定这个角色，会报错误:用户名is missing the Overall/Read permission
test1:该角色为项目角色。使用正则表达式绑定zzh.*，意思是只能操作zzh开头的项目。
test2:该角色也为项目角色。绑定wxd.*，意思是只能操作wxd开头的项目。
5.1.3.3 创建用户
路径：系统管理–>管理用户–>新建用户
新建两个用户001与002
5.1.3.4 切换账户
5.1.3.5 权限分配
系统管理–>Manage and Assign Roles–>Assign Rples
5.1.3.6 项目创建
在首页新建任务中，创建两个自由风格项目
切换账户进行访问
5.1.4 Jenkins凭证管理
凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等，以便Jenkins可以和这些第三方的应用进行交互。
5.1.4.1 安装Credentials Binding插件
安装完插件后在系统管理，多了两个功能菜单
路径：系统管理–>Manage Credentials
Username with password:用户名和密码 比如使用Gitlab拉取代码
SSH Username with private key:使用SSH用户和密钥 SSH免密登录
Secret file:需要保密的文本文件，使用时Jenkins会将文件复制到一个临时目录中，再将文件路径设置到
一个变量中，等构建结束后，所复制的Secret file就会被删除。
Secret text:需要偃存的一个加密的文本串，如钉钉机器人或Github的api token
Certificate:通过上传证书文件的方式
常用的凭证类型有: Username with password(用户密码）和SSH Username with private key (SSH密
钥)
接下来以使用Git工具到Gitlab拉取项目源码为例，演示Jenkins的如何管理Gitlab的凭证。
5.1.4.2 安装Git插件和Git工具
为了让Jenkins支持从Gitlab拉取源码，需要安装Git插件以及在CentOs7上安装Git工具Git插件安装
打开服务器安装Git工具
yum install -y git #安装git工具
git --version #查看git版本
5.1.5 配置Gitlab凭证
SSH免密登录
路径：系统管理-->Manage Credentials
在Gitlab服务器上，使用root用户生成钥匙对
ssh-keygen
#/root/.ssh/目录保存公钥和使用
id_rsa:私钥文件
id_rsa.pub:公钥文件
把生成的公钥放在Gitlab中，使用root用户登录Gitlab
查看服务器上的公钥内容
将私钥内容复制到Jenkins
生成后的凭证：
打开gitlab，选择仓库，复制仓库ssh克隆地址
测试，选择zzh001的任务，选择立即构建进行拉取gitlab代码
5.1.6 Maven部署
在Jenkins集成服务器上，我们需要安装Maven来编译和打包项目。
Maven官网：https://maven.apache.org/download.cgi
上传Maven软件【在Jenkins的服务器上装】
5.1.6.1 安装Maven
tar -xf apache-maven-3.8.6-bin.tar.gz #解压
mv apache-maven-3.8.6 /usr/local/maven #移动文件
#配置环境变量
vim/etc/profile
export JAVA_HOME=/usr/java/jdk-11.0.15.1
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
#刷新配置
source /etc/profile
mvn -v #查找Maven版本
行尾添加【按G到行尾，按o输入】
5.1.6.2 Jenkins配置Maven
打开全局工具设置
5.1.6.3添加Maven
应用保存
打开系统设置
5.1.6.4 修改Maven的settings.xml
mkdir /opt/repo #创建本地仓库目录
vim /usr/local/maven/conf/settings.xml
六、Tomcat服务部署
6.1 JDK配置
#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#上传安装包
apache-tomcat-9.0.16.tar.gz #tomcat安装包
jdk-8u201-linux-x64.rpm #JDK安装包
#解压，安装JDK
rpm -ivh jdk-8u201-linux-x64.rpm
6.2 设置JDK环境变量
#新建文件
vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
#刷新变量
source /etc/profile.d/java.sh
使用java -version查看版本
#在服务台测试
mvn help:system
#出现如下，则说明mvn配置正确
6.3 安装Tomcat
#解压安装包
cd /opt
tar -xf apache-tomcat-9.0.16.tar.gz
#移动解压包到指定目录
mv apache-tomcat-9.0.16 /usr/local/tomcat
#创建用户，便于管理服务
useradd -M -s /sbin/nologin tomcat
chown -R tomcat:tomcat /usr/local/tomcat
#添加启动脚本：
vim /etc/init.d/tomcat
#!/bin/bash
#chkconfig: 35 80 25
#description:Tomcat Service Control Script
start="/usr/local/tomcat/bin/startup.sh"
stop="/usr/local/tomcat/bin/shutdown.sh"
case "$1" in
start)
$start
;;
stop)
$stop
;;
restart)
$0 stop
$0 start
;;
*)
echo "$0 {start|stop|restart}"
esac
#设置：
chmod +x /etc/init.d/tomcat #添加执行权限
chkconfig --add tomcat #添加到系统服务
systemctl start tomcat
lsof -i:8080 #查看服务是否启动
6.4 设置终端访问
#添加tomcat用户密码用于终端登录
vim /usr/local/tomcat/conf/tomcat-users.xml
<tomcat-users>
<role rolename="tomcat"/>
<role rolename="role1"/>
<role rolename="manager-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-status"/>
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<user username="tomcat" password="123456" roles="tomcat,manager-script,manager-gui,admin-gui,admin-script"/>
</tomcat-users>
#开启终端访问，修改以下配置，默认不许允许远程访问，现在需要注释掉
vim /usr/local/tomcat/webapps/manager/META-INF/context.xml
重启服务：systemctl start tomcat
七、Jenkins–Pipeline流水线项目构建
7.1 Pipeline简介
- 概念
Pipeline，简单来说，就是一套运行在Jenkins上的工作流框架，将原来独立运行于单个或者多个节点的
任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。 - 使用Pipeline有以下好处∶
- 代码: Pipeline以代码的形式实现，通常被检入源代码控制，使团队能够编辑，审查和迭代其传送流程。
- 持久:无论是计划内的还是计划外的服务器重启，Pipeline都是可恢复的。
- 可停止: Pipeline可接收交互式输入，以确定是否继续执行Pipeline。
- 多功能: Pipeline支持现实世界中复杂的持续交付要求。它支持fork/join、循环执行，并行执行任务的功能。
- 可扩展: Pipeline插件支持其DSL的自定义扩展，以及与其他插件集成的多个选项。
- 如何创建Jenkins Pipeline呢?
Pipeline脚本是由Groovy语言实现的，但是我们没必要单独去学习Groovy
Pipeline支持两种语法:Declarative(声明式)和Scripted Pipeline(脚本式)语法
**Pipeline也有两种创建方法:**可以直接在Jenkins的Web UI界面中输入脚本;也可以通过创建一个Jenkinsfile脚本文件放入项目源码库中(一般我们都推荐在Jenkins 中直接从源代码控制(SCM)中直接载入Jenkinsfile Pipeline这种方法)。
7.2 安装Pipeline插件
如图所示：
Pipeline分为：脚本式、声明式，2.0以后推荐使用声明式脚本
声明式：以pipeline开头 stages之前，可以加入环境、jdk、maven等配置，
stages（一个）阶段下有多个stage，stage下有steps，拉取代码等操作
pipeline {
agent any
stages {
stage('pull code') {
steps {
echo '开始拉取代码'
}
}
stage('build project') {
steps {
echo '开始构建'
}
}
stage('publish project') {
steps {
echo '正在部署'
}
}
}
}
7.3 拉取代码
能够看到刚刚的操作！
查看Jenkins工作空间/var/lib/jenkins/workspace/
7.4 编译打包
如图所示:
将代码放入脚本中
再次点击应用、保存，并构建
查看控制台输出
查看Jenkins工作空间
7.5 发布
7.5.1 Tomcat认证
如图所示：
选择流水线语法，生成pipeline脚本
deploy adapters: [tomcat9(credentialsId: '8108a31f-a1bc-4350-9cfb-147bafaae1e8',
path: '', url: 'http://192.168.48.13:8080')], contextPath: null, war: '**/*.war'
将脚本内容复制到代码中
点击应用、保存，并构建，查看控制台输出
访问tomcat界面
小编的内容就讲到这里！闲暇之余写的大家喜欢点点关注小爱心哦！
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
47
0- 0
已为社区贡献3条内容
所有评论(0)