美团关联公司公开“模型训练”专利 缓解梯度消失等问题

时间:2021-10-27 14:01:10       来源:电商报

美团关联公司北京三快在线科技有限公司10月26日公开一项“模型训练、向量生成方法、装置、电子设备及存储介质”专利,申请公布号为CN113554168A,申请日期为2021年6月29日。

该专利摘要显示,本公开实施例提供了一种模型训练、向量生成方法、装置、电子设备及存储介质。

模型训练方法包括:获取样本文本和预设的初始预训练语言模型,初始预训练语言模型包括有序的多层结构;在对初始预训练语言模型进行训练的过程中,基于样本文本确定第一层结构的输入,从第二层结构开始,基于当前层结构之前的多层结构的输出确定当前层结构的输入,得到初始预训练语言模型的输出结果;响应于确定训练完成,将训练完成的模型作为预训练语言模型。

本公开实施例的预训练语言模型中,各层结构之间稠密连接,某层结构的输入基于之前多层结构的输出确定,强化了各层结构之间的联通,加强了特征的传递,能够缓解梯度消失等问题,增强预训练语言模型的处理效果。

10月22日,北京三快在线科技有限公司还公开“订单分配方法、订单分配装置、可读存储介质及电子设备”、“运单分配方法、装置、存储介质和电子设备”、“页面数据处理方法、装置、计算机设备及存储介质”等多项专利。

天眼查资料显示,北京三快在线科技有限公司成立于2011年5月,注册资本333166万美元,法定代表人为穆荣均,公司经营范围包括计算机软件技术、网络技术开发;技术转让、技术服务、技术咨询;计算机系统集成;企业营销策划;经济贸易咨询;销售自行开发的软件产品;批发计算机硬件及其配套设备;基础软件服务;应用软件服务;设计、制作、代理、发布广告;供应链管理。

股权穿透图显示,北京三快在线科技有限公司由美团香港有限公司100%全资持股,认缴金额为333166万美元。

关键词: 美团 模型训练 向量生成 语言模型