汉字的演变示例。(受访者 供图)
喂养AI
利用破译出的1000多个甲骨文,人工拆解为IDS(表达结构的部首偏旁序列),同时找出与现代文字IDS的对应关系
训练AI
设计一系列与实际考释过程密切相关的任务和评估方法,如跨字体图像映射、跨字体IDS解码和甲骨文现代字对译关系等,以有效训练多模态大模型
运用AI
未来设想是上传甲骨文图像,让AI告诉你这个图像可能对应的现代汉字候选,以及每个候选字的概率
破解一字奖十万元,甲骨文还是难以破解。那么,可不可以有一个系统,上传甲骨文图像,系统告诉你这可能是什么字?厦门大学信息学院自然语言处理实验室史晓东教授团队就正在做这件事——尝试用AI(人工智能)破译甲骨文。
近日,史晓东团队申报的“基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型”,入选“探元计划2024”“创新探索型项目”TOP10榜单。
“探元计划2024”由国家文物局科技教育司指导,中国文物信息咨询中心(国家文物局数据中心)、腾讯SSV数字文化实验室、腾讯研究院、社会价值投资联盟(深圳)与中国文物报、紫荆杂志社联合发起。
甲骨文破译,为何那么难?
“一字十万”的甲骨文
出土16万片,包含单字四五千个,考释出的不到三分之一
甲骨文,主要流行于商周时期,距今3000多年,又称“契文”“甲骨卜辞”“殷墟文字”或“龟甲兽骨文字”,是迄今为止中国发现的年代最早的成熟文字系统,是汉字的源头和中华优秀传统文化的根脉。
不过,在西方屡破“死文字”之时,不是“死文字”的中国甲骨文破译却举步维艰。百年殷墟考古中,一共出土16万片甲骨文,其中包含的单字大约有四五千个,但无数顶尖语言学家的百年探索,考释出、得到公认的约1160个,占比不到三分之一。
2016年,为了吸引更多的天才破解甲骨文,中国文字博物馆发布了一则“甲骨文释读优秀成果奖励计划”公告:破译出一个未解甲骨文字,奖励10万元人民币。但迄今为止,只有复旦大学蒋玉斌教授破解了一个“屯”字,拿到了3亿元奖金池里的10万元。
“一字多义”的甲骨文
不仅与现代字的字形存在一对多的关系,一个字也往往承担多种意思
史晓东说,尽管甲骨文的字形和现代汉字之间有传承关系,但是字形和语义的对应并不简单,譬如“万”字的甲骨文本意为蝎子,它的写法呈蝎子形,上部是两个“钳子”,中间是蝎子的身子,下部是蝎尾,后引申为极多、极甚的意思,与繁体的“萬”还能看出字形的相似性,但与经过简化的“万”就相差甚大。
其次,很多甲骨文的字形与现代字的字形都存在一对多的关系,例如,甲骨文中的“手”,可对应现代汉字中的“手”“爫”“又”“右”“寸”等等,增加了破解甲骨文的难度。
此外,甲骨文中也普遍存在一字多义的现象,这使得解读变得更为棘手——在文字数量有限的情况下,一个字往往要承担多种意思,而甲骨文有的字出现数量很少,这些都使得猜测其精确意义并不简单。
古文字+AI,为何值得期待?
一本异体字字典
研究者用几个月时间写软件,AI用半天时间就将字典编写完成
甲骨文的破译之路充满了曲折与挑战,各种难题交织在一起,让研究者们屡屡碰壁。因此,当研究人工智能的史晓东团队尝试破译甲骨文的消息传出后,很多人很吃惊。
事实上,史晓东团队已经在古籍和人工智能跨领域方面探索多年。大约十年前,史晓东承接国家语委的一个繁体字和简体字相互转换的项目,这也把他引入古文字的领域。
因为研究繁体字和简体字转换,史晓东收集了很多古文字资料,之后,他采用大规模古籍语料+人工智能办法,编写了一本异体字字典,收字接近9万字,应该是目前大陆最详尽的异体字字典。
在此之前,台湾也有一本异体字字典,100多位语言学家花费十几年编写,字数约10万个。
史晓东说,人工智能用了半天时间就编写完成这本异体字字典,当然,在这之前,他花费了几个月时间写软件。他说,AI要做的事是,从数据中抽取所有信息,以AI算法自动进行异体字识别。
比如,字典中列举了“丘”的几种异体字写法,有的已经消失,人们都没有见过,如何确定这个字就是“丘”?史晓东说,那是AI通过古籍文献找到相关信息,从上下文判断,它就是“丘壑”的“丘”。
一个甲骨文数据库
他们研制出了甲骨文手写输入法,积累了大规模的甲骨文相关语料
从繁简转换和异体字字典,人工智能专家史晓东一头扎进了古文字+人工智能的跨界研究。七年前,他带领的团队开始涉足甲骨文考释。不到一年,他们就研制出了甲骨文手写输入法。
与此同时,史晓东团队在研究中积累了大规模的甲骨文相关语料,即有关甲骨文的数据库。
过去史晓东采用的是专用模型,他认为,随着多模态大模型的出现,后者有更强的语义理解和表达能力,或许甲骨文破译将迎来一个春天。
史晓东说,了解一个汉字,要从“形、音、义、用”四个维度进行,如果一个甲骨文的形、音、义、用全都清楚了,和其他古文字之间的演变脉络也弄明白了,并且在该文字的各种上下文中都可解释得通,就可以说它已被完全考释出来了,但这需要数据的支持。
一个“喂养”计划
尽可能收集更多相关的图像数据和文本数据,“喂”给人工智能大模型,让其找出破译甲骨文的规律
史晓东说,AI要做的工作,就是在已搜罗尽可能多的数据的基础上,计算文字之间的各种概率关系,为文字学专家考释创造条件。
据厦大官方介绍,史晓东团队将设计一系列与实际考释过程密切相关的任务和评估方法,如跨字体图像映射、跨字体IDS(表达结构的部首偏旁序列)解码和甲骨文现代字对译关系等,以有效训练多模态大模型。利用其强大的跨模态理解能力,辅助甲骨文考释。
与此同时,在大模型提供的语义嵌入基础上,史晓东团队还将设计融合形、音、义、用多元信息的端到端甲骨文综合考释模型,综合利用字形结构、语义关联、同音通假和用法聚类分析,开发一种更加轻量的考释系统,以适应资源有限的实际考释场景。
史晓东进一步解释说,现在团队已经做的一个工作是利用破译出的1000多个甲骨文,人工将甲骨文拆解为IDS,同时找出与现代文字IDS的对应关系,将这些数据“喂”给AI,因为AI要学习。
用大白话说,团队尽可能收集更多相关的图像数据和文本数据,“喂”给人工智能大模型,让其找出破译甲骨文的规律。
史晓东说,未来设想是上传甲骨文图像,AI告诉你这个甲骨文可能对应的现代汉字候选,以及每个候选字的概率。
这需要多长时间?史晓东没有给出明确答案,他说,目前已构建了相关数据集,但是多模态大模型尚未开始训练,正处于准备过程中。
他说,甲骨文破译是一项非常困难的任务,不可能一蹴而就,但是,AI的发展的确带来了新的可能,一定能助力这项具有重大意义的研究。
(来源:厦门日报)