向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
赵孟頫对《楚辞》的图像呈现******
作者:罗建新(西华师范大学文学院教授)
宋室贵胄赵孟頫“以承平王孙而婴世变,黍离之悲,有不能忘情者,故深得骚人意度”(邵亨贞《蚁术词选》),以“香草美人”之法创作诗文,吟咏情性:用“春风不披拂”“含英在中林”的“青青蕙兰花”作比,抒写“胡能见幽心”的不遇之悲;借“美人在何许,忽若阻山阿。攀条弄白日,常恐岁蹉跎”之事象,寄托“恐年岁之不吾与”的忧生之嗟;假“霜风何凄厉,兰萧同枯萎”起兴,传递因“众女嫉蛾眉”“俯首无所诉,菹醢听所为”而生的幽怨之情;遂使其文学作品呈现出“绍骚”韵致。而在其最为世人所称誉、推许为元人“冠冕”的图像创作中,也能见出“灵均余影”:他挥毫泼墨,涂抹丹青,书《离骚》《九歌》,写《渔父》《远游》,绘《屈原像》《九歌图》《西洞庭图》《东洞庭图》,画《兰蕙图》《竹石幽兰图》,运用多种艺术样式对《楚辞》进行图像呈现,使得其艺术创作展现出别具深意的楚骚情怀,既增加图像作品的文化底蕴,又丰富了中国古代《楚辞》文献的内容,具有多重意义。
众体兼擅的赵孟頫,曾以楷、行诸体,书写《离骚》《渔父》《九歌》《远游》等文辞。据清张照《石渠宝笈》卷一载:顺治十六年(1659年),皇帝“节临赵孟頫书《离骚》凡八则,计十七页”,则赵松雪当书写有《离骚》的部分诗句,故方能为顺治帝所本。又据美国纽约大都会艺术博物馆藏赵孟頫《九歌图册》、台北“故宫博物院”藏赵孟頫《九歌图》可知,孟頫曾行楷书《渔父》《九歌》文辞。复据陆心源《穰梨馆过眼录》卷二载:赵孟頫有行书《远游》卷,白麻纸本,坚洁如素,凡三接,八十八行,行十二至十四字;拖尾有钱应溥、唐翰题等跋文,谓此卷“首末千百言,无一懈笔,转换处篆以籀法运之,视公他迹,尤奇特”,极为推许;此卷在元时为句曲外史张雨庋藏,后流入建康王氏家,至清时,相继为沈旦华、唐翰题所得,后又经程文葆、曾朴、李葆恂、奎濂、朱汝珍等观览题签,今藏于北京故宫博物院,为人们直观感知松雪“上追二王,后人不及”的精绝书艺提供物质依凭。
“画入逸品、高者诣神”的赵孟頫,也以册页、手卷、立轴等形制,用白描、设色之法,绘制屈原肖像,摹写《九歌》诗意诗境,图画南楚东西洞庭形象,勾勒《离骚》香草状貌,创作出异彩纷呈的《楚辞》图像作品。
大德九年(1305年)八月,赵孟頫于所绘《九歌图》卷首画屈原立像:隆额高鼻,毫眉稀须,面容清癯,其头束缁撮,身着交领大袖袍,双手拢袖中,侧视前方,若有所思,目光平和而坚定;不似《渔父》篇所谓“颜色憔悴,形容枯槁”者,与后世画家如陈洪绶等所绘之屈子亦不类,具象呈现出宋、元时人对屈原容貌的理解与想象。
《楚辞》诸篇中,赵孟頫于《九歌》尤为眷怀,曾屡屡将之绘为图像。其中,有予《九歌》诸神以整体图绘者,如大德三年(1299年)八月,孟頫以设色之法,绘东皇太一、云中君、湘君、湘夫人、大司命、少司命、东君、河伯、山鬼、国殇共十神形象于绢帛上,笔法精妙,种种入神,令神之丰容、仪从,尽展于画幅之中。观者展玩一过,但觉云为之屯,烟为之摇,鼋为之泳,豹为之翔,恍恍惚惚,隐隐邈邈有不可遍视者,故明景泰(1450—1457年)时人顾亶叹曰:“神哉技至此也!”大德九年(1305年)八月,孟頫楷书《渔父》《九歌》十篇文辞,笔画精严,无一懈怠落凡,风神秀健;复以线描之法,绘屈原像及《九歌》十神,其所绘人物有贵而尊严者,有绰约神仙者,有魁梧奇伟者,有诡怪可怖者,旁见侧出,各极其妙,而笔力飞动,神情如生,明人蒋如奇(?—1643年)将之誉为“稀世宝”。延祐六年(1319年)四月,孟頫应夏七提领之请,于绢帛之上楷书《九歌》十一篇,线描前十神之形象,其中东皇太一裹甲执弓矢、訾裂髯张,而东君冠服手板、从以拥剑侍从,与诗意不符,或为后人误装所致。
亦有取用《九歌》部分诗句蕴意,予以图像呈现者,如孟頫曾取意于《湘夫人》“袅袅兮秋风,洞庭波兮木叶下”语,作《西洞庭图》《东洞庭图》,前图山自右出而高,缘岸老树数株,后图山自左出而小,愈见湖天空旷之势,山宗董源,水法唐人,布景设色得淡远之妙,秀润已极,乾隆以为其“着墨无多,而湖光渺弥,传神在气韵间,直骎骎然度营邱前矣”。图中各题以骚语四句:“山之凹兮水之涯,沙棱棱兮石礌礌,有美人兮如彼兰茝,思之不来兮使我心痗”“洞庭波兮山崨岌,川可济兮不可以涉。木兰为舟兮为楫,渺余怀兮风一叶。”既取法“骚体”,又化用《九歌》文辞,直接点明图中“阻隔”之象所寄的“不遇”之意,抒写期冀“小舟从此逝,江海寄余生”的退居之情。
赵孟頫还取材于《楚辞》香草,绘制多种图画。大德八年(1304年)三月,孟頫任浙江等处儒学提举,王冕将之邵阳,遂往拜谒。孟頫取意《离骚》“余既滋兰之九畹兮,又树蕙之百亩”语,作水墨《兰蕙图》以赠之。图绘兰、蕙二丛,生于石隙,兰叶交搭,向上作风势,蕙蕊含馨,似临风笑迎,诸物刚柔互济,俯仰交应,极富层次感。卷首有乾隆款识,谓其于“甲子仲秋月曾临一过”,拖尾有赵孟吁、赵孟琪、张图南、沈原、赵淇等人题跋,谓“悠悠《离骚》意,奕奕相浦华”“玉堂云雾湿,飞下《离骚》笔”云云,在“香草美人”的传统审美语境中赋予图像与《楚辞》以直接关联,启发观者思考图中所蕴含的“无限幽贞意”。美国克利夫兰艺术博物馆藏有孟頫《竹石幽兰图》,绘有嶙峋叠立之坡石,左右生幽兰数丛,兰叶潇洒舒展,穿插有致,花瓣随意点簇,疏落俏丽;复缀以小竹数株,枝叶繁茂,或有斜逸旁出者,其间若有轻风斜吹,竹叶俯仰摇曳;石隙间生幽草七、八丛,葳蕤纤柔。全图布局匀称平正,石以飞白,曲折顿挫,兰竹则以草书和八分笔法,撇捺为之,灵动飘逸,含劲健于婀娜之中,充分体现出赵体书法特有的俊逸秀美。图后有韩性、仇远、郑元祐、吴克恭、昂吉、王孜方、柯九思、赵奕、张渥、章鑑等题跋二十七则,或陈说“欲寻灵均歌楚些,汨罗江远日将曛”“三闾六逸重千古,其名耿耿谁相成”等有观图而生的悼屈之感;或依王逸“善鸟香草以配忠贞,恶禽臭物以比谗佞”之例,谓其图中之兰“纫之为佩矣,如屈平终投于汨罗”,竹“直躬如矢矣,若史渔今亦且死”,而“伊谁树二棘于其间矣,正枳棘之青蝇为白璧之所耻”,解析图像的比兴意义。
赵孟頫运用多种艺术技法,对《楚辞》进行图像化呈现,当是托物言志而有意为之者。孟頫为赵宋“帝王苗裔”,才名重当世,却折节仕元,故多为世人鄙斥,郑思肖、谢枋得、戴表元等甚至与之绝交,不肯相见;为官元廷后的政治境遇又令其有“误落尘网中”“宛转受缠绕”的“笼中鸟”之感,愁来无端倪。面对此种窘境,他曾作《送吴幼清南还序》自陈心迹:入朝为官乃是“欲出而用之于国,使圣贤之泽沛然及于天下”“非苟为是栖栖也”,并书写《楚辞》,以“众不可户说兮,孰云察余之中情”自慰,用“岂余身之惮殃兮,恐皇舆之败绩”自勉;又因觉“《九歌》屈子之所作也,忠以事君,而君或不见信而反踈,然其忠愤有不能自已,故假神人以寓厥意”(赵孟頫延祐六年本《九歌图》自跋),绘多本《九歌图》,具象呈现“空有丹心依魏阙”的不遇之悲;同时,他还取意于《楚辞》香草,屡屡图画深林寂寞犹芬芳的兰、蕙,蕴清洁贞静之志于嫋嫋幽花中,以明情志。美国旧金山亚洲艺术博物馆藏赵孟頫《兰蕙图》中,有日本学者长尾甲题跋:“松雪仕元,贵封魏国,乃写此幽抱孤芳之状,岂有所托耶?”或可表明,赵孟頫《楚辞》图像中体现出的楚骚情怀,已成为不同区域观者的审美共识。
《光明日报》( 2022年12月19日 13版)
(文图:赵筱尘 巫邓炎)