FATE-LLM：当联邦学习遇到大型语言模型

王方驰，VMware CTO办公室高级工程师，FATE 维护者 本演讲为2023年7月8日WasmEdge在北京举办的云原生开源AI基础设施Meetup第二场 近年来，基于 transformer 的大型语言模型越来越受欢迎，各路大模型也相继发布，另一方面，大型语言模型在数据和隐私问题上面临的挑战也逐渐凸显。近期，开源联邦学习框架FATE发布了联邦大模型方案FATE-LLM，将联邦学习和大模型技术相结合，为以上问题带来前瞻性的解决方案。通过FATE-LLM，各参与方可以在数据不出本地域的前提下，用各自隐私数据共同进行大模型微调并互惠互利。本演讲将介绍FATE-LLM在将联邦学习应用于ChatGLM、 LLaMA 等大型语言模型方面的最新努力，并探讨技术和实践上的挑战、设计思路以及未来规划。 PPT下载戳 github.com/second-state/meetups