Harbor多实例高可用共享存储该怎么搭建

发布时间:2021-10-09 14:41:33 作者:柒染
来源:亿速云 阅读:257

今天就跟大家聊聊有关Harbor多实例高可用共享存储该怎么搭建,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

多实例共享存储架构图

Harbor多实例高可用共享存储该怎么搭建

本文 LB 不使用 Nginx,使用阿里SLB。

本文架构需要考虑三个问题

1、共享存储的选取,Harbor的后端存储目前支持AWS S3、Openstack Swift,  Ceph等。本文使用阿里云极速性NAS,磁盘IO性能比单块磁盘读写性能要好。使用 NFS V3 版本挂载。

2、Session 不能在不同的实例上共享,所以Harbor Redis 需要单独部署,并且多个实例连接相同的Redis。

3、Harbor多实例数据库问题,必须单独部署一个数据库,并且多个实例连接相同的数据库。

注意:生产环境如果使用阿里云NAS,推荐使用 极速性NAS,不推荐使用 通用型NAS。

阿里云NAS性能参考文档  https://help.aliyun.com/document_detail/124577.html?spm=a2c4g.11186623.6.552.2eb05ea0HJUgUB

部署资源

Harbor多实例高可用共享存储该怎么搭建

部署

Harbor 选择在线部署,使用 docker-compose 部署,docker-compose 和 Docker  部署环境本文不在介绍,网上可以搜索到相关文档。

1、挂载阿里云极速性NAS

harbor1 和 harbor2 机器都需要执行挂载 NAS

配置开机自动挂载,打开 /etc/fstab 配置文件,添加挂载命令。

# 创建 NAS 挂载目录 $ mkdir /data  # 提高同时发起的NFS请求数量 $ sudo echo "options sunrpc tcp_slot_table_entries=128" >>  /etc/modprobe.d/sunrpc.conf $ sudo echo "options sunrpc tcp_max_slot_table_entries=128" >>  /etc/modprobe.d/sunrpc.conf

挂载NFS v4文件系统,添加以下命令:

file-system-id.region.nas.aliyuncs.com:/ /data nfs vers=4,minorversion=0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport 0 0

如果您要挂载NFS v3文件系统,添加以下命令:

  1. file-system-id.region.nas.aliyuncs.com:/ /data nfs vers=3,nolock,proto=tcp,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,_netdev,noresvport 0 0 


# 在 /etc/fstab 配置文件添加好挂载,并执行挂载 $ mount -a  # 检查挂载,如果结果中存在NFS文件系统的挂载地址,则说明挂载成功 $ df -h | grep aliyun

2、临时部署单机 Harbor

在 harbor1 机器上操作

# 在线部署Harbor $ cd /opt/ $ wget https://github.com/goharbor/harbor/releases/download/v2.2.1/harbor-online-installer-v2.2.1.tgz $ tar xf harbor-online-installer-v2.2.1.tgz $ cd /opt/harbor $ cp harbor.yml.tmpl harbor.yml  # 创建harbor数据存储 $ mkdir /data/harbor  # 添加域名证书,已有域名SSL证书 $ mkdir /data/harbor/cert  # 把SSL证书公钥和私钥上传到 /data/harbor/cert 目录中 $ scp harbor.example.pem root@192.168.10.10:/data/harbor/cert/ $ scp harbor.example.key root@192.168.10.10:/data/harbor/cert/  # 配置 harbor.yml 文件,下面是修改后文件与原文件比较结果 $ diff harbor.yml harbor.yml.tmpl  5c5 < hostname: harbor.example.com --- > hostname: reg.mydomain.com 17,18c17,18 <   certificate: /data/harbor/cert/harbor.example.pem <   private_key: /data/harbor/cert/harbor.example.key --- >   certificate: /your/certificate/path >   private_key: /your/private/key/path 29c29 < external_url: https://harbor.example.com --- > # external_url: https://reg.mydomain.com:8433  < data_volume: /data/harbor --- > data_volume: /data  # 生成配置文件 $ cd /opt/harbor  # harbor开启helm charts 和 镜像漏洞扫描 $ ./prepare --with-notary --with-trivy --with-chartmuseum  # 安装 $ ./install.sh --with-notary --with-trivy --with-chartmuseum  # 查看 $ docker-compose ps

3、单独部署Harbor数据库和Redis

  1. # 创建 postgres 和 redis 存储目录 

  2. $ mkdir -p /data/harbor-redis /data/harbor-postgresql 

  3.  

  4. # 修改所属组 

  5. $ chown -R 999.999 /data/harbor-redis /data/harbor-postgresql 


# 创建 postgres 和 redis docker-compose.yml 文件 $ vim docker-compose.yml  version: '2.3'  services:   redis:     image: goharbor/redis-photon:v2.2.1     container_name: harbor-redis     restart: always     cap_drop:       - ALL     cap_add:       - CHOWN       - SETGID       - SETUID     volumes:       - /data/harbor-redis:/var/lib/redis     networks:       - harbor-db     ports:       - 6379:6379   postgresql:     image: goharbor/harbor-db:v2.2.1     container_name: harbor-postgresql     restart: always     cap_drop:       - ALL     cap_add:       - CHOWN       - DAC_OVERRIDE       - SETGID       - SETUID     environment:       POSTGRES_USER: postgres       POSTGRES_PASSWORD: test2021     volumes:       - /data/harbor-postgresql:/var/lib/postgresql/data:z     networks:       - harbor-db     ports:       - 5432:5432  networks:  harbor-db:    driver: bridge  # 部署 postgres 和 redis $ docker-compose up -d

4、导入 postgres 数据

# 进入临时harbor-db容器导出相关表及数据 $ docker exec -it -u postgres harbor-db bash  # 导出数据 $ pg_dump -U postgres registry > /tmp/registry.sql $ pg_dump -U postgres notarysigner > /tmp/notarysigner.sql $ pg_dump -U postgres notaryserver > /tmp/notaryserver.sql  # 将数据导入单独部署的PostgreSQL数据库 $ psql -h 192.168.10.10 -U postgres registry -W < /tmp/registry.sql $ psql -h 192.168.10.10 -U postgres notarysigner -W < /tmp/notarysigner.sql $ psql -h 192.168.10.10 -U postgres notaryserver -W < /tmp/notaryserver.sql

5、清理临时部署单机Harbor数据和相关配置文件

  1. # 清理harbr数据和配置文件 

  2. $ cp -a /data/harbor/cert /tmp/ 

  3. $ rm -rf /data/harbor/* 

  4. $ rm -rf /opt/harbor 

  5. $ cp -a /tmp/cert /data/harbor/ 

  6.  

  7. # 重新创建配置文件 

  8. $ cd /opt/ 

  9. $ tar xf harbor-online-installer-v2.2.1.tgz 

  10. $ cd /opt/harbor 

  11.  

  12. # 修改配置文件,连接单独部署postgres和redis,注释harbor自带的postgres和redis 

  13. $ cp harbor.yml.tmpl harbor.yml 

  14. $ diff harbor.yml harbor.yml.tmpl 

  15.  

  16. 5c5 

  17. < hostname: harbor.example.com 

  18. --- 

  19. > hostname: reg.mydomain.com 

  20. 17,18c17,18 

  21. <   certificate: /data/harbor/cert/harbor.example.pem 

  22. <   private_key: /data/harbor/cert/harbor.example.key 

  23. --- 

  24. >   certificate: /your/certificate/path 

  25. >   private_key: /your/private/key/path 

  26. 29c29 

  27. < external_url: https://harbor.example.com 

  28. --- 

  29. > # external_url: https://reg.mydomain.com:8433 

  30.  

  31. 37c37 

  32. < # database: 

  33. --- 

  34. > database: 

  35. 39c39 

  36. <   # password: root123 

  37. --- 

  38. >   password: root123 

  39. 41c41 

  40. <   # max_idle_conns: 50 

  41. --- 

  42. >   max_idle_conns: 50 

  43. 44c44 

  44. <   # max_open_conns: 1000 

  45. --- 

  46. >   max_open_conns: 1000 

  47. 47c47 

  48.  

  49. < data_volume: /data/harbor 

  50. --- 

  51. > data_volume: /data 

  52.  

  53. 135,158c135,158 

  54. < external_database: 

  55. <   harbor: 

  56. <     host: 192.168.10.10 

  57. <     port: 5432 

  58. <     db_name: registry 

  59. <     username: postgres 

  60. <     password: test2021 

  61. <     ssl_mode: disable 

  62. <     max_idle_conns: 50 

  63. <     max_open_conns: 1000 

  64. <   notary_signer: 

  65. <     host: 192.168.10.10 

  66. <     port: 5432 

  67. <     db_name: notarysigner 

  68. <     username: postgres 

  69. <     password: test2021 

  70. <     ssl_mode: disable 

  71. <   notary_server: 

  72. <     host: 192.168.10.10 

  73. <     port: 5432 

  74. <     db_name: notaryserver 

  75. <     username: postgres 

  76. <     password: test2021 

  77. <     ssl_mode: disable 

  78. --- 

  79. > # external_database: 

  80. > #   harbor: 

  81. > #     host: harbor_db_host 

  82. > #     port: harbor_db_port 

  83. > #     db_name: harbor_db_name 

  84. > #     username: harbor_db_username 

  85. > #     password: harbor_db_password 

  86. > #     ssl_mode: disable 

  87. > #     max_idle_conns: 2 

  88. > #     max_open_conns: 0 

  89. > #   notary_signer: 

  90. > #     host: notary_signer_db_host 

  91. > #     port: notary_signer_db_port 

  92. > #     db_name: notary_signer_db_name 

  93. > #     username: notary_signer_db_username 

  94. > #     password: notary_signer_db_password 

  95. > #     ssl_mode: disable 

  96. > #   notary_server: 

  97. > #     host: notary_server_db_host 

  98. > #     port: notary_server_db_port 

  99. > #     db_name: notary_server_db_name 

  100. > #     username: notary_server_db_username 

  101. > #     password: notary_server_db_password 

  102. > #     ssl_mode: disable 

  103. 161,175c161,175 

  104. < external_redis: 

  105. <   # support redis, redis+sentinel 

  106. <   # host for redis: <host_redis>:<port_redis> 

  107. <   # host for redis+sentinel: 

  108. <   #  <host_sentinel1>:<port_sentinel1>,<host_sentinel2>:<port_sentinel2>,<host_sentinel3>:<port_sentinel3> 

  109. <   host: 192.168.10.10:6379 

  110. <   password: 

  111. <   # sentinel_master_set must be set to support redis+sentinel 

  112. <   #sentinel_master_set: 

  113. <   # db_index 0 is for core, it's unchangeable 

  114. <   registry_db_index: 1 

  115. <   jobservice_db_index: 2 

  116. <   chartmuseum_db_index: 3 

  117. <   trivy_db_index: 5 

  118. <   idle_timeout_seconds: 30 

  119. --- 

  120. > # external_redis: 

  121. > #   # support redis, redis+sentinel 

  122. > #   # host for redis: <host_redis>:<port_redis> 

  123. > #   # host for redis+sentinel: 

  124. > #   #  <host_sentinel1>:<port_sentinel1>,<host_sentinel2>:<port_sentinel2>,<host_sentinel3>:<port_sentinel3> 

  125. > #   host: redis:6379 

  126. > #   password: 

  127. > #   # sentinel_master_set must be set to support redis+sentinel 

  128. > #   #sentinel_master_set: 

  129. > #   # db_index 0 is for core, it's unchangeable 

  130. > #   registry_db_index: 1 

  131. > #   jobservice_db_index: 2 

  132. > #   chartmuseum_db_index: 3 

  133. > #   trivy_db_index: 5 

  134. > #   idle_timeout_seconds: 30 


# 部署第一个节点 harbor $ cd /opt/harbor  # harbor开启helm charts 和 镜像漏洞扫描 $ ./prepare --with-notary --with-trivy --with-chartmuseum  # 安装 $ ./install.sh --with-notary --with-trivy --with-chartmuseum  # 查看 $ docker-compose ps  # 拷贝配置到 harbor2 机器上 $ scp -r /opt/harbor 192.168.10.11:/opt/

在 harbor2 机器上操作

# 部署第二个节点 harbor $ cd /opt/harbor  # harbor开启helm charts 和 镜像漏洞扫描 $ ./prepare --with-notary --with-trivy --with-chartmuseum  # 安装 $ ./install.sh --with-notary --with-trivy --with-chartmuseum  # 查看 $ docker-compose ps

这里不具体介绍SLB配置方法,具体配置方法参考下面阿里云SLB配置文档,配置 443端口,使用 TCP 协议,后端映射到两台 harbor1 和  harbor2 443端口上。

看完上述内容,你们对Harbor多实例高可用共享存储该怎么搭建有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注亿速云行业资讯频道,感谢大家的支持。

推荐阅读:
  1. 怎么搭建Harbor私有仓库
  2. docker私有仓库搭建(harbor)

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

harbor

上一篇:如何实现数组中两个数的最大异或值

下一篇:学习SpringCloud前期需要配置哪些步骤

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》