在全球文字识别(OCR)领域顶级盛会ICDAR 2023上,腾讯OCR团队基于自研算法,斩获四项冠军,这是继2017年、2019年、2021年以来,连续四届参会同时创造佳绩,共获得18项官方认证冠军,展示了腾讯OCR技术在全球的一流水平。
ICDAR大会是全球文档图像分析识别领域公认的权威学术会议,每两年举办一次,赛事举办至今已经吸引了超过100多个国家的近8000支队伍参与其中。ICDAR竞赛因其极高的技术难度和强大的实用性享誉国内外,与赛后非正式刷榜不同,ICDAR官方认证的正式竞赛采用全新的数据集,并且在比赛期间不公布参赛团队的信息和成绩,同时限制了结果提交时间和次数,属于高难度的“盲打”。
今年,腾讯OCR参赛团队是由腾讯数据平台部、微信技术架构部联合组成,重点参加了DSText(稠密小文本视频文本识别)和SVRD(结构化信息抽取)两大项目的比赛,取得4项赛道冠军。
DSText赛道,腾讯包揽全部两项冠军
DSText(稠密小文本视频文本识别)竞赛设置了2个任务:视频文本跟踪、视频文本端到端识别。由于文字非常密集且非常小,再加上环境干扰(相机抖动、运动模糊、光照变化等)与后期编辑(多镜头切屏、人工背景、游戏界面切换等),从视频帧中准确检测、跟踪、识别文本对算法鲁棒性要求很高,挑战性极大。部分比赛视频帧展示如下:
ICDAR-DSText竞赛示意帧
在DSText竞赛的全部2个任务中,腾讯OCR团队均以绝对领先的优势获得冠军。
其中,任务1中,旨在跟踪视频中所有文本流,将视频帧间属于同一个文本实例的检测框聚合起来,评价指标是MOTA,腾讯以领先第二名12.04%的成绩取得冠军。
视频文本跟踪:冠军证书
在任务2中,旨在评估视频文本识别的端到端性能,任务要求在每一帧上正确检测文本,在视频帧上正确跟踪,并在序列级别正确识别,评价指标是OCR-MOTA,腾讯以领先第二名11.93%的成绩取得冠军。
视频文本端到端识别:冠军证书
SVRD赛道,腾讯以绝对优势获得两项冠军
SVRD(结构化信息抽取)竞赛包含HUST-CELL和BAIDU-FEST两大赛道共4个任务:复杂文档实体关系提取(E2E Complex Entity Linking)、复杂文档实体语义提取(E2E Complex Entity Labeling)、零样本结构化信息抽取(E2E Zero-shot Structured Text Extraction)和小样本结构化信息提取(Few-shot Structured Text Extraction)。由于文档图像版式复杂、结构多样,自然场景图像采集不规范、存在背景复杂、折损、弯曲、形变等问题,竞赛存在较大的挑战难度。部分比赛图片展示如下:
ICDAR-SVRD结构化信息抽取大赛样例
在SVRD竞赛中腾讯OCR团队共获得了2个冠军。
其中,任务2(E2E Complex Entity Labeling)旨在提取复杂文档图像上的语义实体,如标题、机构名、日期、金额、数字、商品名、人名等,腾讯在这个任务上以较大优势取得了冠军
E2E Complex Entity Labeling:冠军证书
任务4(E2E Few-shot Structured Text Extraction)赛题需要在提供非常少量训练数据的前提下,提取10个不同场景下的图像的关键信息,如银行卡、营业执照、出租车发票、购物小票、交通发票、定额发票、论文等场景下的关键信息,腾讯同样取得了冠军。
E2E Few-shot Structured Text Extraction:冠军证书
据介绍,腾讯OCR团队是腾讯内部致力于研究和开发OCR技术的专业团队,团队在技术上自主研发了高精准度、高稳定性的文本检测和识别技术,在应用上,支持了腾讯内数百个业务场景,如腾讯广告、微信、QQ、腾讯云、腾讯视频、腾讯信息流产品。