一、Harbor简介
1.Harbor介绍
Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器,通过添加一些企业必需的功能特性,例如安全、标识和管理等,扩展了开源Docker Distribution。作为一个企业级私有Registry服务器,Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制,镜像全部保存在私有Registry中, 确保数据和知识产权在公司内部网络中管控。另外,Harbor也提供了高级的安全特性,诸如用户管理,访问控制和活动审计等。
2.Harbor特性
- 基于角色的访问控制 :用户与Docker镜像仓库通过“项目”进行组织管理,一个用户可以对多个镜像仓库在同一命名空间(project)里有不同的权限。
- 镜像复制 : 镜像可以在多个Registry实例中复制(同步)。尤其适合于负载均衡,高可用,混合云和多云的场景。
- 图形化用户界面 : 用户可以通过浏览器来浏览,检索当前Docker镜像仓库,管理项目和命名空间。
- AD/LDAP 支持 : Harbor可以集成企业内部已有的AD/LDAP,用于鉴权认证管理。
- 审计管理 : 所有针对镜像仓库的操作都可以被记录追溯,用于审计管理。
- 国际化 : 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
- RESTful API : RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
- 部署简单 : 提供在线和离线两种安装工具, 也可以安装到vSphere平台(OVA方式)虚拟设备。
3.Harbor组件
Harbor在架构上主要由6个组件构成:
- Proxy:Harbor的registry, UI, token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。
- Registry: 负责储存Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
- Core services: 这是Harbor的核心功能,主要提供以下服务:
- UI:提供图形化界面,帮助用户管理registry上的镜像(image), 并对用户进行授权。
- webhook:为了及时获取registry 上image状态变化的情况, 在Registry上配置webhook,把状态变化传递给UI模块。
- token 服务:负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向Registry进行请求。
- Database:为core services提供数据库服务,负责储存用户权限、审计日志、Docker image分组信息等数据。
- Job Services:提供镜像远程复制功能,可以把本地镜像同步到其他Harbor实例中。
- Log collector:为了帮助监控Harbor运行,负责收集其他组件的log,供日后进行分析。
4.Harbor实现
Harbor的每个组件都是以Docker容器的形式构建的,官方也是使用Docker Compose来对它进行部署。用于部署Harbor的Docker Compose模板位于 harbor/docker-compose.yml,打开这个模板文件,发现Harbor是由7个容器组成的;
# docker-compose ps
Name Command State Ports
------------------------------------------------------------------------------------------------------------------------------
harbor-adminserver /harbor/harbor_adminserver Up
harbor-db docker-entrypoint.sh mysqld Up 3306/tcp
harbor-jobservice /harbor/harbor_jobservice Up
harbor-log /bin/sh -c crond && rm -f ... Up 127.0.0.1:1514->514/tcp
harbor-ui /harbor/harbor_ui Up
nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp
registry /entrypoint.sh serve /etc/ ... Up 5000/tcp
nginx:nginx负责流量转发和安全验证,对外提供的流量都是从nginx中转,所以开放https的443端口,它将流量分发到后端的ui和正在docker镜像存储的docker registry。
harbor-jobservice:harbor-jobservice 是harbor的job管理模块,job在harbor里面主要是为了镜像仓库之前同步使用的;
harbor-ui:harbor-ui是web管理页面,主要是前端的页面和后端CURD的接口;
registry:registry就是docker原生的仓库,负责保存镜像。
harbor-adminserver:harbor-adminserver是harbor系统管理接口,可以修改系统配置以及获取系统信息。
这几个容器通过Docker link的形式连接在一起,在容器之间通过容器名字互相访问。对终端用户而言,只需要暴露proxy (即Nginx)的服务端口。
harbor-db:harbor-db是harbor的数据库,这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据,在生产环节大多对接到企业的ldap中;
harbor-log:harbor-log是harbor的日志服务,统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。
这几个容器通过Docker link的形式连接在一起,这样,在容器之间可以通过容器名字互相访问。对终端用户而言,只需要暴露proxy (即Nginx)的服务端口。
二、安装和配置Harbor
主机环境:
[root@test01 ~]# uname -a
Linux test01 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
[root@test01 ~]# cat /etc/redhat-release
CentOS Linux release 7.5.1804 (Core)
主机地址:192.168.139.139
1.docker安装
参考:https://www.tracymc.cn/archives/1325
2.安装docker-compose
必须先安装docker
方法一:二进制安装
[root@test01 ~]# sudo curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
[root@test01 ~]# chmod +x /usr/local/bin/docker-compose
[root@test01 ~]# yum install bash-completion //命令补全
[root@test01 ~]# curl -L https://raw.githubusercontent.com/docker/compose/1.22.0/contrib/completion/bash/docker-compose -o /etc/bash_completion.d/docker-compose
重新登录即可使用:
[root@test01 ~]# docker-compose
build config down exec images logs port pull restart run start top up
bundle create events help kill pause ps push rm scale stop unpause version
测试是否安装成功:
[root@test01 ~]# docker-compose --version //查看是否安装成功
docker-compose version 1.22.0, build f46880fe
卸载docker-compose:
[root@test01 ~]# rm /usr/local/bin/docker-compose
方法二:
[root@test01 ~]# yum install python-pip -y
[root@test01 ~]# pip install docker-compose
验证是否安装成功:
[root@test01 ~]# docker-compose --version
卸载docker-compose:
pip uninstall docker-compose
3.安装Harbor
在线安装:
[root@test01 ~]# cd /home/
[root@test01 home]# wget https://storage.googleapis.com/harbor-releases/harbor-online-installer-v1.5.2.tgz //可先通过各种方法下载好了再传到主机上,或者点这里下载
[root@test01 home]# tar -zxvf harbor-online-installer-v1.5.2.tgz
修改配置文件:
[root@test01 harbor]# vi harbor.cfg
# 1. hostname设置访问地址,可以使用ip、域名,不可以设置为127.0.0.1或localhost
# 2. 默认情况下,harbor使用的端口是80,若使用自定义的端口,除了要改docker-compose.yml文件中的配置外,
# 这里的hostname也要加上自定义的端口,都在在docker login、push时会报错
hostname = 192.168.139.144:5000
# 访问协议,默认是http,也可以设置https,如果设置https,则nginx ssl需要设置on
ui_url_protocol = http
# mysql数据库root用户默认密码root123,实际使用时修改下
db_password = root123
#Maximum number of job workers in job service
max_job_workers = 3
#The path of secretkey storage
secretkey_path = /data
# 启动Harbor后,管理员UI登录的密码,默认是Harbor12345
# 若修改了此处的admin登录密码。则登录后台时使用修改后的密码
harbor_admin_password = Harbor12345
# 认证方式,这里支持多种认证方式,如LADP、本次存储、数据库认证。默认是db_auth,mysql数据库认证
auth_mode = db_auth
# 是否开启自注册
self_registration = on
# Token有效时间,默认30分钟
token_expiration = 30
# 用户创建项目权限控制,默认是everyone(所有人),也可以设置为adminonly(只能管理员)
project_creation_restriction = everyone
注:这里只摘录了部分配置项,详细的配置项可以在harbor.conf文件中查看,并且都有解释.
更改端口号:由于habor默认使用80端口,而80端口又比较特殊,可能别的地方也会用到,那么我们就需要更改一下端口进行启动使用.打开docker-compose.yml(此处只摘录需要修改端口号的部分配置):
[root@test01 make]# cp docker-compose.tpl docker-compose.yml
[root@test01 make]# vi docker-compose.yml
proxy:
image: vmware/nginx:1.11.5-patched
container_name: nginx
restart: always
volumes:
- ./common/config/nginx:/etc/nginx:z
networks:
- harbor
ports:
- 5000:80 # 修改端口号则修改此处,前面的位宿主机的端口,后面的是容器中的端口,只修改前面的即可
- 443:443
- 4443:4443
depends_on:
- mysql
- registry
- ui
- log
logging:
driver: "syslog"
options:
syslog-address: "tcp://127.0.0.1:1514"
tag: "proxy"
如上面配置中的注释所说,原来的端口映射为:80:80,此处我修改为5000:80,根据需要修改即可.最重要的是,此处修改完之后,一定要将harbor.conf配置文件中的hostname一块修改下,改成:ip:port.ip就是部署harbor的机器IP,port就是这里设置的端口号.
启动Harbor:
修改完配置文件后,在当前目录执行./install.sh,Harbor服务就会根据当期目录下的docker-compose.yml开始下载依赖的镜像,检测并按照顺序依次启动各个服务.
[root@test01 harbor]# ./install.sh //安装过程有些长,需耐心等待,或者离线安装,离线包下载地址https://storage.googleapis.com/harbor-releases/harbor-offline-installer-v1.5.2.tgz.或者配置docker国内的镜像加速器,具体方法参考https://www.tracymc.cn/archives/1325
安装完成截图如下:
Harbor的启动和停止:
启动Harbor
[root@test01 home]# cd /home/harbor/ //一定先要进到docker-compose.yml这个目录
[root@test01 harbor]# docker-compose start
停止Harbor
[root@test01 harbor]# docker-compose stop
重启Harbor
[root@test01 harbor]# docker-compose restart
4.查看harbor后台
浏览器输入:http://192.168.139.144:5000即可,默认账号为admin/Harbor12345(可在harbor.cfg中修改默认登录密码,字段为harbor_admin_password),默认初始页面如下:
我们可以看到系统各个模块如下:
项目:新增/删除项目,查看镜像仓库,给项目添加成员、查看操作日志、复制项目等;
日志:仓库各个镜像create、push、pull等操作日志;
系统管理
用户管理:新增/删除用户、设置管理员等;
复制管理:新增/删除从库目标、新建/删除/启停复制规则等;
配置管理:认证模式、复制、邮箱设置、系统设置等;
其他设置
用户设置:修改用户名、邮箱、名称信息;
修改密码:修改用户密码.
注意:非系统管理员用户登录,只能看到有权限的项目和日志,其他模块不可见.
登陆后右上角可以设置个人信息、修改密码、设置语言等.
新建用户,系统管理-用户管理-创建用户,输入用户名、邮箱、密码等信息:
新建项目:
将用户添加到项目成员中,点击项目-test-成员-新建成员,填写姓名,选择角色:
上传镜像:
[root@test01 home]# docker login 192.168.139.144:5000
Username: test
Password:
Error response from daemon: Get https://192.168.139.144/v2/: dial tcp 192.168.139.144:443: connect: connection refused
有报错,这是因为docker1.3.2版本开始默认docker registry使用的是https,我们设置Harbor默认http方式,所以当执行用docker login、pull、push等命令操作非https的docker regsitry的时就会报错.解决办法:
[root@test01 harbor]# cat /etc/docker/daemon.json //在/etc/docker/daemon.json
{
"insecure-registries":["192.168.139.144:5000"]
} //IP地址为自己仓库的地址,可域名可IP
[root@test01 harbor]# systemctl daemon-reload
[root@test01 harbor]# systemctl restart docker
[root@test01 harbor]# docker login http://192.168.139.144:5000
Username: test
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
[root@test01 harbor]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
vmware/redis-photon v1.5.2 e8ec8e42d3cf 3 weeks ago 264MB
我们上传本地的vmware/redis-photon这个镜像:
[root@test01 harbor]# docker tag vmware/redis-photon:v1.5.2 192.168.139.144:5000/test/redis-photon:v1.5.2
[root@test01 harbor]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
192.168.139.144:5000/test/redis-photon v1.5.2 e8ec8e42d3cf 3 weeks ago 264MB
vmware/redis-photon v1.5.2 e8ec8e42d3cf 3 weeks ago 264MB
[root@test01 harbor]# docker push 192.168.139.144:5000/test/redis-photon
The push refers to repository [192.168.139.144:5000/test/redis-photon]
bffe30bd1941: Pushed
fe4d52841f3d: Pushed
24d9672d5b26: Pushed
1b5a1160526a: Pushed
b58bb92314e0: Pushed
v1.5.2: digest: sha256:20c5cd6cc14764339ac95d0b9926467ab4f7e4c7638a1a9069b912a1a3271091 size: 1366
上传完毕后,登录Web Harbor,选择项目,项目名称test,就可以查看刚才上传的镜像了,如下:
5.配置 Docker 镜像复制
首先我们至少配置两个Harbor服务:
Harbor1:192.168.139.144
Harbor2:192.168.139.145
我们已经往Harbor1上面push了一个镜像了,那么就把Harbor1当做主节点,Harbor2当做复制节点,我们要把Harbor1上的镜像自动复制到Harbor2上去.
新建仓库管理:系统管理-仓库管理-新建目标,填写目标名、目标URL、用户名、密码等信息.注意:目标URL这里是复制节点Harbor2地址,http://192.168.139.145:5000,用户名和密码为Harbor2配置的admin账户和密码.
配置复制规则,点击项目-test-复制-新建复制规则,填写名称、描述、目标(选择上一步新建的复制目标)等信息.
push完毕,会显示已完成复制到Harbor2,现在登录到Harbor2 Web Harbor,我们看到镜像已经自动复制过来,操作日志也会一起复制过来.
Be First to Comment