(19)国家知识产权局
(12)发明 专利
(10)授权公告 号
(45)授权公告日
(21)申请 号 202211238647.9
(22)申请日 2022.10.11
(65)同一申请的已公布的文献号
申请公布号 CN 115329385 A
(43)申请公布日 2022.11.11
(73)专利权人 北京理工大 学
地址 100081 北京市海淀区中关村南大街5
号
专利权人 人民法院信息技 术服务中心
(72)发明人 袁展译 孙福辉 成雨蓉 王晓燕
张志威 袁野 王国仁
(74)专利代理 机构 北京三友知识产权代理有限
公司 11127
专利代理师 贾磊 刘飞
(51)Int.Cl.
G06F 21/62(2013.01)
G06K 9/62(2022.01)
(56)对比文件
CN 114398538 A,202 2.04.26
CN 113536382 A,2021.10.2 2CN 114528392 A,2022.05.24
CN 113992360 A,2022.01.28
CN 114861211 A,2022.08.05
CN 115037477 A,2022.09.09
Peng Zhang等.A study of a federated
learning framew ork based o n the
interstel lar file system and bl ockchain:
Private Bl ockchain Federated Learn ing.
《2022 3rd Internati onal Conference o n
Computer Visi on, Image and De ep Learn ing
& Internati onal Conference o n Computer
Engineering and Ap plications (CVIDL &
ICCEA)》 .202 2,全文.
Cynthia Dw ork等.The Algorithmic
Foundati ons of Dif ferential Privacy.
《Foundati ons and Trends i n Theoretical
Computer Science》 .2014,全 文.
金明.基于区块链的联邦学习关键技 术研
究. 《中国优秀硕士学位 论文全文数据库信息科
技辑》 .2022,全文.
审查员 黄苏一
(54)发明名称
一种基于区块链跨链隐私保护的模型训练
方法及装置
(57)摘要
本文涉及区块链 技术领域, 尤其涉及一种基
于区块链 跨链隐私保护的模型训练方法及装置。
所述方法包括, 各第一区块链训练本地模型, 得
到本地模型参数并计算损失值, 第一区块链上为
本地模型参数添加扰动得到本地模 型隐私参数,
将本地模型隐私参数和损失值发送到中继链上;
中继链对接收到的本地模型隐私参数进行聚合,
更新全局模 型参数; 并根据各第一区块链的损失
值计算全局损失值, 根据全局损失值的收敛情况
进行迭代训练。 通过本文的方法, 实现了在保障
模型训练的稳健性的同时, 保障了法检司三方数
据的隐私安全, 解决了 现有技术中法检司三方区块链的数据存在泄露的风险且模型训练的计算
量较大的问题。
权利要求书3页 说明书13页 附图6页
CN 115329385 B
2022.12.16
CN 115329385 B
1.一种基于区块链跨链隐私保护的模型训练方法, 其特征在于, 由第 一区块链执行, 所
述方法包括,
根据构建模型的第 一数据集和随机生成的本地模型初始参数对本地模型进行训练, 得
到本地模型参数, 并计算所述本地模型的损失值;
在对所述本地模型参数以及所述损失值的共识验证结果为通过的情况下, 根据设定的
差分隐私参数以及随机算法在所述本地模型参数中加入扰动, 得到 本地模型隐私参数;
将所述本地模型隐私参数和所述损失值发送至 中继链, 以使所述中继链在对所述本地
模型隐私参数和损失值进 行共识验证的结果为通过的情况下, 对接收到的多个所述第一区
块链发送的多个本地模型隐私参数进行聚合, 得到全局模型隐私参数, 根据接 收到的多个
所述第一区块链发送的所述损失值计算全局损失值, 判断所述全局损失值是否收敛, 若是,
则通知多个所述第一区块链停止训练, 将所述多个第一区块链中任意一个第一区块链的本
地模型作为目标模型, 若否, 则将所述全局模型隐私参数发送给多个所述第一区块链;
在对接收到的所述全局模型隐私参数的共识验证的结果为通过的情况, 根据 所述全局
模型隐私参数更新所述本地模型初始参数, 并重复执行根据构建的第一数据集和更新后的
所述本地模型初始参数对所述本地模型进行训练的步骤。
2.根据权利要求1所述的方法, 其特 征在于, 计算所述本地模型的损失值的公式为:
其中,Li(ω)表示第i个所述第一区块链的所述损失值, ω表示所述本地模型参数, Di表
示所述第 i个所述第一区块链的所述第一数据集, | Di|表示所述第一数据集中数据样本的
个数,lj(ω,Di)表示本地模型参数 ω的第j个数据样本的( x,y)的损失值。
3.根据权利要求1所述的方法, 其特征在于, 根据设定的差分隐私参数以及随机算法在
所述本地模型参数中加入扰动, 得到 本地模型隐私参数进一 步包括,
按照公式:
随机算法 A满足上述公式的约束, 其中, A表示所述随机算法, D表示本地模型参数数据
集,D’表示与本地模型参数数据集 D相邻的任一本地模型参数数据集, 即 D中只有一条记录
与D’不同,O表示随机算法 A为输入的本地模型参数数据集添加扰动后的输出, Pr{ A(D) =
O}表示所述随机算法 A对输入的本地模型参数数据集添加 扰动后输出为 O的概率,ε表示所
述设定的差 分隐私参数; 若 所述公式不成立, 则调整随机算法 A或者更换所述随机算法 A, 直
至最终的随机算法 A满足上述 公式; 若所述随机算法 A满足所述 公式, 则利用所述随机算法A
对所述本地模型参数 数据集添加扰动, 得到所述本地模型隐私参数。
4.根据权利要求1所述的方法, 其特征在于, 根据 所述全局模型隐私参数更新所述本地
模型初始参数的公式为,
其中,
表示第k个区块链的第 t轮更新后的所述本地模型初始参数,
表示第k个第
一区块链的第 t‑1轮所述全局模型隐私参数, r表示学习率, ∇表示梯度计算符, Lk(w)表示权 利 要 求 书 1/3 页
2
CN 115329385 B
2第k个所述第一区块链的所述损失值, ω表示第t‑1轮的本地模型参数。
5.一种基于区块链跨链隐私保护的模型训练装置, 其特 征在于, 包括,
本地模型训练单元, 用于根据构建模型的第 一数据集和随机生成的本地模型初始参数
对本地模型进行训练, 得到 本地模型参数, 并计算所述本地模型的损失值;
本地模型参数隐私化单元, 用于在对所述本地模型参数以及所述损失值的共识验证结
果为通过的情况下, 根据设定的差 分隐私参数以及随机算法在所述本地模 型参数中加入扰
动, 得到本地模型隐私参数;
本地模型隐私参数发送单元, 用于将所述本地模型隐私参数和所述损失值发送至 中继
链, 以使所述中继链在 对所述本地模型隐私参数和损失值进 行共识验证的结果为通过的情
况下, 对接 收到的多个第一区块链发送的多个本地模型隐私参数进行聚合, 得到全局模型
隐私参数, 根据接 收到的多个所述第一区块链发送的所述损失值计算全局损失值, 判断所
述全局损失值是否收敛, 若是, 则通知多个所述第一区块链停止训练, 将所述多个第一区块
链中任意一个第一区块链的本地模型作为 目标模型, 若否, 则将所述全局模型隐私参数发
送给多个所述第一区块链;
迭代训练单元, 用于在对接收到的所述全局模型隐私参数的共识验证的结果为通过的
情况, 根据所述全局模型隐私参数更新所述本地模型初始参数, 并重复执行根据构建的第
一数据集和更新后的所述本地模型初始参数对所述本地模型进行训练的步骤。
6.一种基于区块链跨链隐私保护的模型训练方法, 其特征在于, 由中继链执行, 所述方
法包括,
接收多个第一区块链发送的多个本地模型隐私参数和多个损 失值, 其中, 所述本地模
型隐私参数是所述第一区块链根据设定的差分隐私参数以及随机算法在本地模型参数中
加入扰动后得到的, 所述本地模型参数是所述第一区块链根据构建模型的第一数据集和随
机生成的本地模型初始 参数对本地模型进 行训练得到的, 所述损失值是所述第一区块链对
所述本地模型进行计算得到的;
在对所述本地模型隐私参数和损失值进行共识验证的结果为通过的情况下, 对接收到
的多个所述第一区块链发送的多个本地模型隐私参数进行聚合, 得到全局模型隐私参数;
根据接收到的多个所述第一区块链发送的所述损失值计算全局损失值;
判断所述全局损失值是否收敛, 若是, 则通知多个所述第 一区块链停止训练, 将所述多
个第一区块链中任意 一个第一区块链的本地模型作为目标模型;
若否, 则将所述全局模型隐私参数发送给多个所述第一区块链, 以使各第一区块链根
据所述全局模型隐私参数更新所述本地模型初始 参数, 并重复执行根据构建的第一数据集
和更新后的所述本地模型初始参数对所述本地模型进行训练的步骤。
7.根据权利要求6所述的方法, 其特征在于, 根据
专利 一种基于区块链跨链隐私保护的模型训练方法及装置
文档预览
中文文档
23 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共23页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 02:11:01上传分享