上海芯高峰微电子申请模型执行相关专利，减少模型加载过程中占用的内存空间

<p>金融界2024年11月27日消息，国家知识产权局信息显示，上海芯高峰微电子有限公司申请一项名为“模型执行方法、装置及存储介质、设备”的专利，公开号CN 119025259 A，申请日期为2024年7月。</p><p>专利摘要显示，一种模型执行方法、装置及存储介质、设备。所述方法包括：根据待加载模型，在第一设备上创建对应的空模型，并确定所述空模型中各参数层权重数据的实际占用空间；根据所述第一设备上可用存储空间，将所述空模型中各参数层的权重数据分成若干份，每份的权重数据占用的存储空间小于所述第一设备的可用存储空间；根据所述空模型中各参数层的连接顺序，从磁盘中逐份加载所述空模型中各参数层的权重数据到对应位置，并执行推理操作。采用该方案，可以在保证计算精度无损的情况下，减少模型加载过程中占用的内存空间，实现在小内存的计算设备加载并推理大型模型。</p>