(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211507939.8 (22)申请日 2022.11.29 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 赵闻飙　吴若凡　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/08(2006.01) (54)发明名称 保护数据隐私的两方联合训练预测模型的 方法及装置 (57)摘要 本说明书实施例提供一种保护数据隐私的 两方联合训练预测模型的方法及装置， 其中第一 方和第二方对应部署预测模型中的序列表征层 和预测层。 所述方法应用于第一方， 包括： 利用序 列表征层处理其持有的用户行为序列， 其中包括 样本用户在T个时刻做出的T个行为， 具体地， 利 用行为表征子层确定T个行为对应的T个行为表 征； 利用注意力子层确定该T个行为表征对应的T 个注意力权重， 并用其对T个行为表征进行加权 求和， 得到原始序列表征； 利用加噪子层对该原 始序列表征添加基于行为个数T而确定的差分隐 私噪声， 得到加噪序列表征； 从第二方接收其基 于该加噪序列表征、 其持有的对应用户行为序列 的序列标签和预测层而确定的针对序列表征层 的训练梯度。 权利要求书3页 说明书9页 附图3页 CN 115544580 A 2022.12.30 CN 115544580 A 1.一种保护数据隐私的两方联合训练预测模型的方法， 其中第 一方和第 二方对应部署 所述预测模型中的序列表征层和预测层； 所述方法应用于所述第一方， 包括： 获取其持有的用户行为序列， 其中包括样本用户在T个时刻做出的T个行为； 利用所述序列表征层处理所述用户行为序列， 具体包括： 利用行为表征子层确定所述T 个行为对应的T个行为表征； 利用注意力子层确定所述T个行为表征对应的T个注意力权重， 并用其对 所述T个行为表征进 行加权求和， 得到原始序列 表征； 利用加噪子层对 所述原始序 列表征添加差分隐私噪声， 得到加噪序列表征， 所述差分隐私噪声的噪声分布基于行为个 数T而确定； 将所述加噪序列表征发送给 所述第二方； 从所述第二方接收针对所述序列表征层的训练梯度， 所述训练梯度由所述第 二方基于 所述加噪序列表征、 其持有的对应所述用户行为序列的序列标签和所述预测层而确定 。 2.根据权利要求1所述的方法， 其中， 所述用户行为序列中包含各个行为的行为特征向 量； 其中， 利用行为表征子层确定所述T个行为对应的T个行为表征， 包括： 获取T个行为特 征向量， 作为所述T个行为表征。 3.根据权利要求1所述的方法， 其中， 所述注意力子层中包括对应所述T个行为表征的 可学习的T个参数向量； 其中， 利用注意力子层确定所述T个行为表征对应的T个注意力权 重， 包括： 针对各个行为表征， 将其与对应的参数向量进行点乘， 并基于所述点乘的结果确定其 对应的注意力分数； 对T个注意力分数进行归一 化处理， 得到所述T个注意力权 重。 4.根据权利要求3所述的方法， 其中， 基于所述点乘的结果确定其对应的注意力分数， 包括： 利用值域非负的激活函数处 理所述点乘的结果， 得到所述注意力分数。 5.根据权利要求1所述的方法， 其中， 利用加噪子层对所述原始序列表征添加差分隐私 噪声， 包括： 基于所述原始序列表征的确定方式， 确定差分隐私机制下的查询敏感度， 所述确定方 式涉及所述行为个数T； 基于所述 查询敏感度确定所述噪声分布， 用于采样所述差分隐私噪声。 6.根据权利要求5所述的方法， 其中， 所述噪声分布为高斯噪声分布； 其中， 基于所述查 询敏感度确定所述噪声分布， 包括： 基于所述 查询敏感度和预设的隐私预算确定所述高斯噪声分布中的噪声方差 。 7.根据权利要求6所述的方法， 其中， 基于所述 查询敏感度确定所述噪声分布， 包括： 以0作为所述高斯噪声分布中的均值。 8.根据权利要求1所述的方法， 其中， 所述原始序列表征为D维； 利用加噪子层对所述原 始序列表征 添加差分隐私噪声， 包括： 对所述噪声分布进行D次随机采样， 得到D个采样噪声， 形成对应所述差分隐私噪声的 噪声向量； 在所述原 始序列表征 上叠加所述噪声向量。 9.根据权利要求1所述的方法， 其中， 在从所述第 二方接收针对所述序列表征层的训练权　利　要　求　书 1/3 页 2 CN 115544580 A 2梯度之后， 所述方法还 包括： 利用所述训练梯度更新所述序列表征层中的模型参数。 10.一种保护数据隐私 的两方联合训练预测模型的方法， 其中第一方和第二方对应部 署所述预测模型中的序列表征层和预测层； 所述方法包括： 所述第一方获取其持有的用户行为序列， 其中包括样本用户在T个时刻做出的T个行 为； 所述第一方利用所述序列表征层处理所述用户行为序列， 具体包括： 利用行为表征子 层确定所述T个行为对应的T个行为表征， 利用注意力子层确定所述T个行为表征对应的T个 注意力权重， 并用其对所述T个行为表征进行加权求和， 得到原始序列表征； 利用加噪子层 对所述原始序列表征添加差分隐私噪声， 得到加噪序列表征， 所述差分隐私噪声的噪声分 布基于行为个数T 而确定； 所述第二方利用从所述第 一方接收的所述加噪序列表征、 其持有的对应所述用户行为 序列的序列标签和所述预测层， 确定针对所述预测层的第二训练梯度和针对所述序列表征 层的第一训练梯度； 所述第二方利用所述第 二训练梯度 更新所述预测层中的模型参数， 并将所述第 一训练 梯度发送给 所述第一方。 11.根据权利要求10所述的方法， 其中， 所述第 二方利用从所述第 一方接收的所述加噪 序列表征、 其持有的对应所述用户行为序列的序列标签和所述预测层， 确定针对所述预测 层的第二训练梯度和针对所述序列表征层的第一训练梯度， 包括： 利用所述预测层处 理所述加噪序列表征， 得到序列预测结果； 利用所述序列预测结果和序列标签， 确定训练损失； 基于所述训练损失， 确定所述第二训练梯度； 基于所述第二训练梯度和所述预测层中的模型参数， 确定所述第一训练梯度。 12.一种保护数据隐私 的两方联合训练预测模型的装置， 其中第一方和第二方对应部 署所述预测模型中的序列表征层和预测层； 所述装置集成于所述第一方， 包括： 序列获取单元， 配置为获取其持有的用户行为序列， 其中包括样本用户在T个时刻做出 的T个行为； 序列处理单元， 配置为利用所述序列表征层处 理所述用户行为序列， 具体包括： 行为表征子单 元， 配置为利用行为表征子层确定所述T个行为对应的T个行为表征； 注意力处理子单元， 配置为利用注意力 子层确定所述T个行为表征对应的T个注意力 权 重， 并用其对所述T个行为表征进行加权求和， 得到原 始序列表征； 加噪子单元， 配置为利用加噪子层对所述原始序列表征添加差分隐私噪声， 得到加噪 序列表征， 所述差分隐私噪声的噪声分布基于行为个数T 而确定； 表征发送单 元， 配置为将所述加噪序列表征发送给 所述第二方； 梯度接收单元， 配置为从所述第二方接收针对所述序列表征层的训练梯度， 所述训练 梯度由所述第二方基于所述加噪序列 表征、 其持有的对应所述用户行为序列的序列标签和 所述预测层而确定 。 13.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 当所述计算机程序在计 算机中执 行时， 令计算机执 行权利要求1 ‑11中任一项所述的方法。权　利　要　求　书 2/3 页 3 CN 115544580 A 3