RISTA前沿大讲堂

LLM/基座模型赋能机器联觉:AI原生的通信与多模态感知智能融合

LLM/Foundation Model Empowered Synesthesia of Machines (SoM): AI-native Intelligent Multi-Modal Sensing-Communication Integration

LLM/基座模型赋能机器联觉:AI原生的通信与多模态感知智能融合

为实现6G网络中通信与多模态感知的智能融合,受人类联觉启发,我们首次提出了“机器联觉(SoM)”的概念。然而,现有SoM系统设计依赖于任务专用的AI小模型,并面临着海量、高质量数据集稀缺和数据泛化性差等挑战。近期,大模型/基座模型作为一种AI新范式在自然语言处理等领域取得了巨大成功,为解决上述挑战提供了新机遇。报告将首先介绍机器联觉的基本概念,并系统介绍大模型/基座模型赋能机器联觉的两种路线,包括通用基座模型LLM(大语言模型)和SoM领域专用基座模型(无线基座模型)。接下来,报告将介绍最新构建的海量、高质量通信与多模态感知智能融合数据集SynthSoM,并重点介绍基于该数据集的基座模型赋能的联觉收发机设计,包括基于大语言模型和基于无线基座模型的设计。针对基于大语言模型的联觉收发机设计,报告将介绍首个基于预训练大语言模型的信道预测方案(LLM4CP)和基于预训练大语言模型的无线物理层多任务方案(LLM4WM)。针对基于无线基座模型的联觉收发机设计,报告将介绍首个面向信道预测的无线基座模型(WiFo)。此外,报告将介绍首个无线基座模型嵌入的视频传输系统硬件Demo。最后,本报告进行总结和展望。

程翔,北京大学博雅特聘教授(长聘教授),IEEE Fellow,AAIA Fellow,中国自动化学会会士,中国通信学会会士,国家杰青,第五届“科学探索奖”,中国工程院“中国工程前沿杰出青年学者”, IEEE亚太地区杰出青年研究学者,ScholarGPS全球前0.05%顶尖科学家,爱思唯尔“中国高被引学者”。主要研究方向聚焦通信网络与人工智能的深度交叉融合,包括智能通信网络和网联智能,目前担任中国自动化学会常务理事和“网联智能”专委会主任委员。已发表论文300 余篇其中 IEEE 期刊 100 余篇,包括 ESI 热点论文 4 篇和 ESI 高被引论文21篇,出版英文专著 9 部和中文专著 3 部。Google Scholar 引用 16180次,h-index=65,i10-index=231,以第一完成人获得了中国通信学会自然科学一等奖以及中国自动化学会自然科学一等奖。