加入CODE CHINA

· 不限速    · 不限空间    · 不限人数    · 私仓免费

免费加入
README.md

openEuler-Advisor

1、介绍

openEuler-Advisor 的目标是为 openEuler 制品仓的日常工作提供自动化的巡检和建议。

当前项目中值得关注的内容

1、upstream-info:这个目录中集中了当前openEuler项目制品仓中可见的软件组件的上游信息。

2、advisors:这个目录中提供了一些自动化脚本,其中包括:

2.1、oa_upgradable.py 这个 python 脚本基于upstream-info,对比制品仓中软件相比社区上游最新版本的差异。

2.2、simple-update-robot.py 这个 python 脚本基于原有 spec 文件信息,下载社区上游指定版本,并生成新的 spec 文件和相应的 PR。

2.3、check_missing_specs.py 这个 python 脚本,对 src-openeuler 中各2个仓库进行巡检。如果发现仓库中还不存在 spec 文件,可以直接创建相应仓库中的任务。

2.4、check_licenses.py 这个试验性的 python 脚本对指定软件组件中 spec 文件内指定的 license 和 软件tar包内的 license 做交叉验证。

2.5、create_repo.py 和 create_repo_with_srpm 这两个 python 脚本提供了批量创建新 repo 的功能。2.6、check_abi.py 这个python脚本可以比较新老版本的rpm包,生成两个版本ABI差异分析结果。

2、后续计划

1、@solarhu 团队正在开发工具,计划提供 openEuler 内所有组件依赖关系的查询。

2、对 simple-update-robot.py 做进一步的优化,提高自动化处理升级的能力。

3、完善 upstream-info,覆盖 openEuler 制品仓中所有软件。并将分散中 openEuler 社区中的各个 YAML 统一到 upstream-info 中,便于后续统一管理。

4、完善 oa_upgradable.py 支持的上游社区代码管理协议,当前发现还需要增加 fossil 的支持。

3、小工具使用说明:

3.1、yaml 文件规范

src-openEuler 仓库中的yaml 文件名称与仓库名称应该保持一致,例如glibc 仓库中存放的yaml 文件名称为"glibc.yaml",文件放在仓库根目录下 yaml 文件中需要人工填写的字段有 version_control、src_repo、tag_prefix、separator,其他内容为自动生成的,不需要填写。

3.1.1、yaml字段介绍

1、version_control:

上游仓库使用的版本控制协议,目前支持svn, git, hg, github, gnome, metacpan, pypi

2、src_repo:

上游仓库的实际地址,通过version_control 和 src_repo 我们可以使用工具下载对应的代码

3、tag_prefix:

上游仓库的tag 中version 前缀,如果是 git 协议,通过 git tag 命令即可显示所有tag。如果上游给的tag 是 v1_0_1, 那么tag_prefix 应该配置为"^v",我们通过匹配tag_prefix即可取出正确的版本信息得到 1_0_1

4、separator:

tag中版本的间隔符,如果 tag是 v1_0_1,然后配置separator 为"_",我们通过代码解析可以得到正确的版本号"1.0.1"

3.1.2、字段的具体要求与示例

1、src_repo:

1) 如果version_control为svn,那src_repo需要 完整的 SVN 仓库地址。例子可以参考 https://gitee.com/openeuler/openEuler-Advisor/blob/master/upstream-info/amanda.yaml

2)如果version_control为git,那src_repo需要 完整的 GIT 仓库地址。例子可以参考 https://gitee.com/openeuler/openEuler-Advisor/blob/master/upstream-info/mdadm.yaml

3)如果version_control为hg,那src_repo需要 完整的 HG 仓库地址。例子可以参考 https://gitee.com/openeuler/openEuler-Advisor/blob/master/upstream-info/nginx.yaml

4)如果version_control为github,那src_repo只需要 proj/repo 即可,不需要完整的URL。例子可以参考 https://gitee.com/openeuler/openEuler-Advisor/blob/master/upstream-info/asciidoc.yaml

5) 如果version_control为gnome,那src_repo只需要 $proj 即可,不需要完整的URL。例子可以参考 https://gitee.com/openeuler/openEuler-Advisor/blob/master/upstream-info/gnome-terminal.yaml, 注意gitlab.gnome.org上很多项目需要访问权限,这些不能作为上游代码仓库。

6)如果version_control为metacpan,那src_repo只需要 $proj 即可,不需要完整的URL。例子可以参考 https://gitee.com/openeuler/openEuler-Advisor/blob/master/upstream-info/perl-Authen-SASL.yaml,注意在metacpan上的命名规范。

7) 如果version_control为pypi,那src_repo只需要 $proj 即可,不需要完整的URL。例子可以参考 https://gitee.com/openeuler/openEuler-Advisor/blob/master/upstream-info/python-apipkg ,注意pypi上的命名规范。

2、tag_prefix:

不同项目的tag规则不同,这里比如tag是v1.1的,那么tag_prefix设置为^v即可。

3、separator:

不同项目的tag中域分割不同,有些是"-",有些是"_",一般默认是".",建议加上双引号

3.1.3、开源软件上游代码仓信息的验证方法

1)常见代码配置管理方法

git,svn,hg都可以在不下载完整代码仓的情况下获取代码仓的信息。方法如下:

- git:

git ls-remote --tags $repo_url

- svn:

svn ls -v $repo_url/tags

- hg:

curl $repo_url/json-tags
2)常见代码托管网站的使用方法

- github

curl https://api.github.com/repos/$user/$repo/release

可以获得json格式完整的release信息清单。但是不是所有项目都支持

curl https://api.github.com/repos/$user/$repo/tags

可以获得json格式完整的tag信息清单。但也不是所有项目都支持,并且已经发现有些项目的这个信息是错误的。

- metacpan

curl https://fastapi.metacpan.org/release/$repo

可以获得json格式的最新版本信息

- pypi

curl https://pypi.org/pypi/$repo/json

可以获得项目最新发布版本的信息

- tag_prefix和tag_pattern的使用

很多软件的tag信息设置是使用了前缀的,比如release-1.2.3,或者v1.2.3。

设置了tag_prefix,就会把所有tag字符串中同样的前缀部分都删除。

比如一个软件同时存在 1.2.3 和 release-1.2.2 两个tag,设置tag_prefix为release-,处理后的tag为1.2.3和1.2.2。

tag_pattern是为了更复杂的形态使用的,不推荐使用。

- separator 的使用

设置separator,可以简单的把这个字符替换成"."。

有些软件的tag分域采用的不是".",这时候设置separator就可以规范化版本tag。

如果软件tag分域本来就是".",这个时候设置separator是不影响结果的。

3.2、Introduction of advisors

3.2.1 Enviroment Setting

a. necessary packages install
pip3 install python-rpm-spec (ver:0.9)
pip3 install PyYAML (ver:5.3.1)
b. json file config
~/.gitee_personal_token.json
content format: {"user":"user_name","access_token":"token_passwd"}

setting personal access token: https://gitee.com/profile/personal_access_tokens

3.2.2 Use Instructions

a. simple-update-root.py
single package auto-upgrade: python3 simple-update-root.py -u pkg pkg_name branch_name
ep: python3 simple-update-root.py -u pkg snappy master

single package manual upgrade: python3 simple-update-root.py pkg_name branch_name [-fc] [-d] [-s] [-n new_version] [-p]
ep: python3 simple-update-root.py snappy openEuler-20.03-LTS -fc -d -s -n 1.8.1

multi-packages in a repo auto-upgrade: python3 simple-update-root.py -u repo repo_name branch_name
ep: python3 simple-update-root.py -u repo src-openeuler master
b. oa_upgradable.py
display all tags of target package: python3 oa_upgradable.py pkg_name
ep: python3 oa_upgradable.py glibc

3.2.3 Consultation for advisors:

if any problem, please contact: leo.fangyufa@huawei.com/leofang_94@163.com

3.3、checkabi 功能介绍

checkabi 功能依赖libabigail 软件包,使用checkabi 功能前需要安装libabigail ,checkabi 提供了2个功能,下面分别介绍。

3.3.1 比较rpm ABI 差异

命令行:./check_abi.py compare_rpm -r old.rpm new.rpm -d old-debuginfo.rpm new-debuginfo.rpm

生成的结果存放到 /var/tmp/ 下 文件名为:xx_all_abidiff.out

3.3.2 比较动态库ABI差异

命令行:./check_abi.py compare_so -s ./old/usr/lib64/libssl.so.1.1.1 ./new/usr/lib64/libssl.so.1.1.1f

项目简介

Collection of automation tools for easily maintaining openEuler

发行版本

当前项目没有发行版本

贡献者 29

全部贡献者

开发语言

  • Python 98.8 %
  • Shell 1.2 %
  • Ruby 0.0 %