该发明技术提出的高效推理技术，底层模型层基于飞桨框架，在推理架构方向，结合主流的PrefixCaching、Lookahead、PagedAttention、PD分离等方向持续创新，并将各项技术高效结合，大幅提升模型吞吐和性能。在大模型压缩方面，采用大模型无损量化技术，通过激活自适应分段平滑与权重联动重排等方法，在业内率先实现了对百亿千亿级大模型的高效无损压缩。该发明支持多种大模型压缩和推理加速手段，目前已应用于百度智能云千帆大模型平台等核心业务，减少模型推理的资源消耗，节省大模型部署成本超50%，提升模型性能，模型吞吐提升3-5倍。

　　十、用户数据反馈驱动的检索生成系统

　　该发明技术提出的检索生成系统，能够结合用户行为反馈信号，实现快速自我强化。通过满意度建模和强化学习直接对齐用户偏好，并利用用户反馈触发系统快速反思，解决了传统数据应用时专家反馈效率低和用户偏好建模难的问题。基于该框架的检索生成系统已覆盖18%的搜索流量，广泛应用于文字、视频、图片等搜索场景。多元用户反馈的规模大、可循环的特性，使系统能够快速适应数据、产品和环境的变化，帮助系统自动化寻优，加速系统向理想状态演进，具备极高的实用价值和市场竞争力。