随着 ChatGPT 的爆火,NLP、大模型领域已经是个「一天不看新闻就会落后」的地方。
虽然如今 AI 领域的顶级学术会议已经不少,但似乎也无法满足大家投论文的速度了。
现在,一批知名的青年学者们,组织了一个名为 COLM(Conference on Language Modeling)的新会议。
COLM 是一个专注于语言建模研究的学术场所。在会议介绍中,组织这门十分明确地讲述了他们的目的是创建一个具有不同科学专业知识的研究人员社区,专注于理解、改进和评论语言模型技术的发展。这不仅是学术界的一次创新尝试,也是搭起了语言模型交流互鉴的新桥梁,进一步促进其探索和合作。
会议连接 https://colmweb.org/
组织者介绍
该会议的组织者们是 NLP 头部科学家们,在语言建模研究有着相当成果的。他们其中既有来自业界的研究人员,也有来自学术界的研究人员。组织者共有七人,分别是 Yejin Choi、Denny Zhou、Dipanjan Das、陈丹琦、Yoav Artzi、Angela Fan、Alexander Rush。
而组织者中的 Denny Zhou、陈丹琦、Angela Fan 等人也是我们熟知的 AI 华人学者。
陈丹琦
陈丹琦是普林斯顿大学计算机科学的助理教授,也是普林斯顿 NLP 小组的共同负责人。本科就读于清华大学,后获得斯坦福大学计算机科学博士学位。陈丹琦凭借其在自然语言处理领域取得的一系列成果,荣膺 2019 年《麻省理工科技评论》「35 岁以下科技创新 35 人」中国区得主,获奖时年龄 29 岁。就在前些天,陈丹琦团队提出 LLM-Shearing 大模型剪枝法。
Denny Zhou
Denny Zhou 是 Google DeepMind 的首席科学家 / 研究主管,他是推理团队的创立者和现任负责人。主要研究兴趣在于构建和教导大语言模型实现类人的推理能力。他领导的团队已经开发了思维链提示、自洽性解码、最少到最多提示、指令调优(FLAN2)、LLM 自我调试等大语言模型的各种涌现属性。Denny Zhou 曾获得 2022 年谷歌研究技术影响力奖(Google Research Tech Impact Award)。
Angela Fan
Angela Fan 是 Meta AI Research Paris 的研究科学家,主要研究机器翻译。此前她曾在南锡 INRIA 和巴黎 FAIR 攻读博士学位,主要研究文本生成。在此之前,她是一名研究工程师,并在哈佛大学获得了统计学学士学位。
会议投稿主题
组织者们为本次会议的投稿提供了广泛而全面的主题
-
对齐:微调、指令微调、强化学习(包括人工反馈)、提示调整和上下文对齐
-
数据:预训练数据、对齐数据和通过人工或算法分析、整理和生成的合成数据
-
评估:基准、模拟环境、可扩展监督、评估协议和指标、人工或机器评估
-
社会影响:偏见、公平、滥用、就业、气候变化等
-
安全:安全、隐私、错误信息、对抗性攻击和防御
-
LM 的科学性:扩展规律、基本限制、新兴能力、解密、可解释性、复杂性、训练动态、学习理论
-
高效计算 LM:蒸馏、压缩、量化等
-
大型 LM 的工程设计:不同硬件设置上的分布式训练和推理、训练动态、优化不稳定性
-
LM 的学习算法:学习、元学习、模型混合法、持续学习等
-
LM 的推理算法:解码算法、推理算法、搜索算法、规划算法
-
人类心智、大脑、哲学、法律与 LM:从认知科学、神经科学、语言学、心理语言学、哲学或法律角度看待 LM
-
面向所有人的 LM:多语言、低资源语言、方言、多元文化、价值多元化
-
LM 与世界:事实性、检索增强型 LM、知识模型、常识推理、心智理论、社会规范、语用学和世界模型
-
具身 LM:感知、行动、机器人和多模态
-
LM 与互动:对话、互动学习和多人学习
-
LM 与工具和代码:与工具和 API 的集成、LM 驱动的软件工程
-
关于各种模式和新型应用的 LM:视觉 LM、代码 LM、数学 LM 等,特别鼓励研究较少的模式或应用,如化学、医学、教育、数据库等
COLM 发表后,获得了许多支持与期待。
与 ICLR 相似,COLM 也是领域中的创新会议,它们都有着知名学者们的倾力支持。除此之外,ICLR 采用的开放评审备受好评,并开公开透明之先河。COLM 投稿将采用双盲审核,并将使用开放评审的方式管理投稿。至于它是否能像 ICLR 一样后来居上,就请拭目以待吧。