来自谷歌、加州大学圣地亚哥分校的团队发布论文，介绍了PixelLLM（像素对齐语言模型），该模型可以提供对图像上具体某个位置的详细描述，并精确指出其位置。该项目的目标是开发一种视觉语言模型，可以将位置（例如一组点或框）作为输入或输出。将位置作为输入时，模型会执行位置条件字幕，为指定对象或区域生成字幕；当生成位置作为输出时，模型会对语言模型生成的每个输出词进行像素坐标回归，从而执行密集词接地。该模型在本地化叙事数据集上进行了预训练，该数据集包含来自人类注意力的像素字对齐字幕。研究表明，PixelLLM可以应用于各种位置感知视觉语言任务，包括指代定位、位置条件字幕和密集物体字幕，并在RefCOCO和Visual Genome上取得了最先进的性能。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
关注公众号，免费获取chatgpt账号
相关文章
暂无评论...
AI中国(aicn.me)致力于收集与AI相关的热门工具，包括但不限于ChatGPT、AI视频、AI办公、AI语音等领域，并为广大AI爱好者提供学习平台，降低获取学习资源的成本。同时，同步分享最新的行业前沿AI工具和网站，旨在帮助AI爱好者不断探索AI技术的发展。
