Python+JenkinsApi自动化部署.Net Core项目

发布时间：2020-05-31 04:44:05 作者：Blue后花园
阅读：647

Python开发者服务器,限时0元免费领！查看>>

部署环境与流程
1) Jenkins是java产品，需安装JDK8。由于.netFreamwork项目自动化发布时是基于Windows，所以继续使用Windows，在Windows server 2012环境下已有的Jenkins环境，部署、构建dotnet Core项目继续在Windows平台下操作。
2) .NET Core SDK：2.2.402。dotnet build构建。
3) 代码仓库GitLab。
4) .NET Core服务端CentOS7
部署环境流程：
部署需求
一个项目下分两个子项目，而子项目需分别进行构建部署，构建后子项目分别打包同步到不同的server上。所以，计划Jenkins上创建三个Job：A、B、C。A、B分别表示子项目，C进行统一管理A、B。即C作为A、B的构建入口。C-Job中上按参数选择构建应用，会触发对应的Job-B或Job-C构建，实现思路是python调用JenkinsAPI去实现，后面会具体讲到。大致流程如下：
Jenkins操作
1) Jenkins具体安装略。下载见官方网站：https://jenkins.io/download/ ，选择安装Windows版本。
这里Jenkins安装前，需配置好JDK环境，配置JDK8。
2) 插件安装
Jenkins安装好后，进入系统管理->插件管理，安装好Msbuild、GitLab、python等。

3) 新建Job-A
列出Job中主要设置项。
Gitlab代码仓库和分支配置如下：

构建build：
build前新建“Exceute Windows batch command”，如下图：

build命令：
```
dotnet restore "%WORKSPACE%\PreventFraudAPI.Server"
dotnet build "%WORKSPACE%\PreventFraudAPI.Server"
dotnet publish "%WORKSPACE%\PreventFraudAPI.Server\PreventFraudAPI.sln" -o "E:\Publish-web\PreventFraudAPI-test\PreventFraudAPI.Server"
```
dotnet restore ：还原。主要是寻找当前目录下的项目文件（project.json），利用NuGet库还原整个项目的依赖库，并且遍历每个目录，生成项目文件，继续还原该项目文件中的依赖项。
dotnet build ：编译应用程序。该命令将项目及其依赖项生成为一组二进制文件。二进制文件包括扩展名为 .dll 的中间语言 (IL) 文件中的项目代码。
dotnet publish：发布项目，使可跨平台运行程序。Windows环境build完之后，可发布到Linux环境下运行。
dotnet run：运行应用程序。
Build构建完后，再新建“Exceute Windows batch command”，从gitlab中拉取项目文件配置项。gitlbab中进行集中存放。将集中配置项文件copy到项目构建后的目录中。

配置文件操作完后，需将Jenkins平台下已构建完后的项目文件打包、同步到.NET Core服务器端的CentOS7 Server上。Windows和Linux不同平台文件操作，这里选择Python实现，主要作了服务器端dotnet应用服务操作、应用程序备份、代码同步等。

这里使用python下的paramiko模块实现。paramiko模块属于第三方库，实现了SSHv2协议，可以在Python代码中直接使用SSH协议对远程服务器执行操作，而无需通过ssh命令对远程服务器进行操作，使用前需要使用如下命令先进行安装：
```
pip install paramiko
```
paramiko包含两个核心组件：SSHClient和SFTPClient。
SSHClient：类似于Linux的ssh命令，是对SSH会话的封装，该类封装了传输(Transport)，通道(Channel)及SFTPClient建立的方法(open_sftp)，常用于执行远程命令。
SFTPClient：类似与Linux的sftp命令，是对SFTP客户端的封装，用以实现远程文件操作，如文件上传、下载、修改文件权限等操作。
这里根据实际需求，使用了SSHClient这个组件。
Python代码细节如下：
```
import sys
import paramiko
class SSHconnection(object):
def __init__(self, host, port, username, password):
    self._host = host
    self._port = port
    self._username = username
    self._password = password
    self._transport = None
    self._client = None
    self._connect()
#建立connect连接
def _connect(self):
    transport = paramiko.Transport((self._host, self._port))
    transport.connect(username=self._username, password=self._password)
    self._transport = transport
def exec_command(self, command, step):
    if self._client is None:
        self._client = paramiko.SSHClient()
        self._client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
        self._client._transport = self._transport
    stdin, stdout, stderr = self._client.exec_command(command)
    data = stdout.read()
    print('%s 执行结果: ' % step)
    print(data.decode('utf-8'))
    # #输出结果
    # if len(data) > 0:
        # print('执行结果:')
        # print(data.decode('utf-8'))
    err = stderr.read()
    #输出错误结果
    if len(err) > 0:
        print('%s 执行的错误输出:' % step)
        print(err.decode('utf-8'))
#关闭close连接
def close(self):
    if self._transport:
        self._transport.close()
    if self._client:
        self._client.close()
if __name__=="__main__":
host = "10.10.10.75"
port = 65089
username = "root"
password = "password"
cmd_stop = "systemctl stop supervisor"
cmd_backup = "cp -r /usr/soft/package/HiCore.PreventFraudAPI.Web/ /usr/soft/backup/HiCore.PreventFraudAPI.Web-`date +%Y-%m-%d-%H:%M`"
cmd_rsync = "rsync   -vzrtopg  --no-super --numeric-ids  --progress  --port=873 --password-file=/opt/scripts/passwd.sh   rsync_user@10.10.10.69::PreventFraudAPI-test   /usr/soft/package/HiCore.PreventFraudAPI.Web/"
cmd_start = "systemctl start supervisor"
conn = SSHconnection(host, port, username, password)
print('开始停supervisor服务...')
conn.exec_command(cmd_stop, 'supervisor_stop_service')
print('开始备份本地PreventFraudAPI程序...')
conn.exec_command(cmd_backup, 'backup_app')
print('开始同步PreventFraudAPI程序...')
conn.exec_command(cmd_rsync, 'rsync_app')
print('开始启supervisor服务...')
conn.exec_command(cmd_start, 'supervisor_start_service')
print('PreventFraudAPI程序发布完成，请验证！')
```
同理，Job-B操作跟Job-A一样。主要是Job-C有差异，Job配置中有带参数。
4) 新建Job-C
列出Job中主要设置项。
选择“This project is parameterized”，添加参数选择“Choice Parameter”，配置如下：

根据选择的参数触发远程Job构建。如选择选项"Web"触发远程Job-A构建，选择选项"File"触发远程Job-B构建。
构建build：
build构建步骤选择新建“Exceute Windows batch command”，如下图：

Python操作Jenkins API
目前Python版本Jenkins支持的API主要有2个第三方的包。
JenkinsApi 和 Python-Jenkins
1) Python-Jenkins
多数文章建议使用Python-Jenkins模块，相对JenkinsApi，Python-Jenkins模块封装的更好，接口调用更方便，更容易。这里本来也是首选建议的Python-Jenkins模块，但是，在实际操作时报错：
Python+JenkinsApi自动化部署.Net Core项目

此类报错网上看了几篇文章，描述的多数是因为jenkins-python在python3.6存在bug，url没有转码。而这里是python3.7版本，也归类到版本问题。在Python2中可以使用。这里贴出Python-Jenkins方式代码，主要是要导入import jenkins模块。代码如下：

import jenkins
jenkins_server_url = 'http://jenkins.hicore.local/'
user = 'yuhuanghui'
api_token= '11f6714b10b086b9165ed507dd2f5e161a'
#实例化jenkins对象，连接远程的jenkins server
server = jenkins.Jenkins(jenkins_server_url,username=user,password=api_token)
print(server)
#构建job
server.build_job('PreventFraudAPI-test')
#查看某个job的构建信息
job_info=server.get_job_info('PreventFraudAPI-test')
print(job_info)

这里就不更换python版本了，其他Job用到的python都是Python3，所以用另一种API方式JenkinsApi 。
2) JenkinsApi
Python+JenkinsApi自动化部署.Net Core项目
使用JenkinsApi方式需要导入from jenkinsapi.jenkins import Jenkins、from jenkinsapi.build import Build模块。
上面Job-C中的python脚本：

import os,sys
from jenkinsapi.jenkins import Jenkins
from jenkinsapi.build import Build
def get_server_instance():
jenkins_url = 'http://10.10.10.69:8080/'
server = Jenkins(jenkins_url, username='xiaoming', password='password')
return server
server = get_server_instance()
#版本
print('Jenkins版本：',server.version)
#所有的job列表
#print('Jobs：', server.keys())
print('查看Jobs列表：',server.get_jobs_list())
#判断job是否存在，存在返回true，不存在返回false。
Web_Job = server.has_job('PreventFraud-test')
File_Job = server.has_job('PreventFraudFile-test')
env = os.getenv("ENV")
print('选择发布构建的应用是：', env)
if env == 'Web':
print('开始Build构建PreventFraud-Web项目！')
if Web_Job == True:
    #获取job名称
    job = server.get_job('PreventFraud-test')
    print('要Build构建的job是：', job)
    #构建，无参数的构建
    #params = {'Branch': 'oriin/master', 'host': '192.168.1.1'}
    res = server.build_job('PreventFraud-test')
    print('开始触发远程Job的构建，请查看远程Job：%s' % job)
    print(res)
    #print(job.__dict__['_data']['builds'])
    url = job.__dict__['_data']['lastBuild']['url']
    number = job.__dict__['_data']['lastBuild']['number']
    obj = Build(url, number, job)
    print('此次构建的Job名称：%s，Job的URL是：%s， 是第 %d 次构建。' % (job, url, number))
    print('构建的结果：', obj.get_status())
else:
    print('要构建的Job不存在，请检查！')
elif env == 'File':
print('开始Build构建PreventFraud-File项目！')
if File_Job == True:
    #获取job名称
    job = server.get_job('PreventFraudFile-test')
    print('要远程触发Build构建的job是：', job)
    #构建，无参数的构建
    #params = {'Branch': 'oriin/master', 'host': '192.168.1.1'}
    res = server.build_job('PreventFraudFile-test')
    print('开始触发远程Job的构建，请查看远程Job：%s' % job)
    print(res)
    #print(job.__dict__['_data']['builds'])
    url = job.__dict__['_data']['lastBuild']['url']
    number = job.__dict__['_data']['lastBuild']['number']
    obj = Build(url, number, job)
    print('此次构建的Job名称：%s，Job的URL是：%s， 是第 %d 次构建。' % (job, url, number))
    print('构建的结果：', obj.get_status())
else:
    print('要构建的Job不存在，请检查！')
else:
print('请选择正确ENV环境项目！')

构建
Job-C中选择带参数构建，点击“Build with Parameters"进入后在”ENV“中选择”Web“构建，此时会远程触发Job-A构建。如下图所示：

Job-C控制台输出情况：

几秒钟后，查看Job-A控制台输出情况：

亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

Python+JenkinsApi自动化部署.Net Core项目

相关阅读