一 背景
智能审核在媒体内容生产分发流程中具有重要作用。国家广电总局发布的《专网及定向传播视听节目服务管理规定》，要求在包括IPTV、专网手机电视、互联网电视等传播形式中，对内容提出不得违反法律、不得危害国家安全、不得破坏民族团结、不得危害社会公德等明确要求。同时规定，内容的提供服务单位应当建立健全界面审查、安全播出等内容管理制度，配备专业节目审查人员[1]。
随着人工智能以及新媒体的发展，人工审核方式已经无法适应海量内容审核需求，智能审核成为必然趋势。目前的智能审核在文本审核中采用自然语言处理技术，在图像审核中采用人脸识别、图像对比等计算机视觉方法，在明显的违规内容中，智能审核可显著提高准确率和工作效率。但在具有引申、讽刺等含义的多模态场景中，智能审核难以快速高效识别违规内容。因此，如何对具有隐藏含义的内容进一步提升智能审核准确率，已成为智能审核领域关注的重点问题。
随着大模型技术发展，多模态大模型具有强大的上下文理解能力，可以探索用于处理非结构化数据并增强对文本及图像内容的深度理解。在此背景下，本文提出了基于多模态大模型的智能审核系统构建方案，通过引入大模型的深度理解能力，更高效准确地判断审核场景中包含的隐藏含义，快速筛选出违规图文，防止不良内容给社会带来负面影响。
二 多模态大模型介绍
近些年，ChatGPT的出现使得大模型研究逐渐升级，应用场景也越来越广泛。而随着GPT-4的出现，相关研究方向开始向文本深层理解以及多模态内容理解等方面进行集中，多模态大语言模型（Multimodal Large Language Models，MLLMs）也愈加受到关注，如图像文本理解、视频文本理解等。大语言模型在对话系统中表现出深度语义理解能力；多模态大模型在视觉问答任务中表现出对图像特征的理解能力。典型的多模态大模型有CogVLM[2]、DALL·E[3]、Gemini[4]和QWEN-VL[5]等。
多模态大模型的架构，一般需要综合考虑不同模态数据的特点和交互方式。对于图像和文本的不同模态的数据，如何使两种数据进行特征融合与匹配是多模态大模型的关键研究点。目前使用图像与文本多模态的架构主要有CLIP[3]、ViT[6]等。CLIP（Contrastive Language-Image Pre-Training）是基于对大量图像和对应的文本信息进行组合和匹配，建立图像与文本的关联性，并通过对图像和文本之间相似性的度量，实现图像与文本的相互理解。ViT（Vision Transformer）则是采用对图像进行编码的一种方式，即先将图像切分成小块，将每个小块加入位置信息，在尽量保持原有图像整体特征顺序的基础上，尽可能多地提取到图像的信息特征方式，再与文本特征进行对齐编码。
我们的审核技术方案是利用类似CogVLM的多模态大模型对图文多模态场景进行分析理解，其理解方式是通过文本编码器提取文本特征，通过视觉编码器提取图像特征，最后利用CLIP的架构实现对文本与图像的深度理解。通过分别收集新闻图文数据集，对多模态大模型进行微调，验证模型的效果，最后在实际应用中测试智能审核的能力。
三 多模态大模型微调
本次智能审核方案主要面向文本和图像两大类场景，实际应用中，我们又结合媒体业务需要，对两类场景进一步细分为四种业务场景。首先，在文本场景中，一是对文章内容的审核场景，对具有引申或隐藏含义的文章进行检测，直接判断文章所表现出的正面或者负面含义；二是对文章评论的审核场景，识别出“文章表达的正面含义，评论为负面的情况”或者“评论与文章互不相关，导致消极价值观传递的现象”。其次，在图像场景中，一是针对图像审核场景，对具有隐藏含义的图像，进行正面或者负面的检测；二是针对图像叠加文章或评论的审核场景，如针对图像与图像评论，同时对图像和图像评论进行正负面检测，并分析原因。对于四个细分场景，我们分别命名为场景一、场景二、场景三与场景四，以进行区分。大模型整体微调过程如图1所示，大致流程为先进行数据的收集，之后是新闻图文数据集构建，其次是微调模型，并及时验证模型的性能，完成训练后可进行模型预测实现审核能力。
图1 大模型微调过程
1.数据收集
针对四种细分场景，需要准备不同格式的数据素材。由于本系统主要关注内容的正负面判断，因此数据除了内部收集外，也从国内外各大新闻网站等公开来源搜集，分别收集新闻文章、新闻文章及评论、新闻图片以及图片说明或评论等数据内容，然后需要对准备的素材进行数据清洗和数据标注，为下一步制作数据集做好储备。
2.制作数据集
本次实验主要标注了新闻文本数据和图像数据，经过数据清理等步骤，删除了属于无效类别的所有文本及图像数据。实验所构建数据共包含4519条场景一数据，其中正面数据2233条，负面数据2286条；4627条场景二数据，其中正面数据2187条，负面数据2440条；6243条场景三数据，其中正面数据3110 条，负面数据3133条；2574条场景四数据，其中正面数据1333条，负面数据1241条。训练集、验证集、测试集按照各个场景数量的8:1:1的比例拆分。
在标注的过程中，正面数据指的是在互联网及社交媒体上形成的积极、正面的报道内容和观点。与正面数据相对的是负面数据，它包含了价值导向有误的报道内容和恶意的评论。审核场景下，我们更关注对负面数据的识别结果，因此我们重点对负面数据进行标注，其余数据为正面数据，不包含中性含义数据。具体而言，每个标注人员根据正负面定义对以上四种场景的数据进行标注，对于正面的场景数据，标注为1（正面）；负面的场景数据，标注为2（负面），同时标注负面的原因分析。
3.训练微调模型
大模型训练微调是指在预训练模型的基础上，使用特定领域或任务的数据进一步训练模型，使其能够更好地适应特定应用场景的过程。由于全参数微调占用显存较大且速度偏慢，因此一般采用大模型参数高效微调的方法，即固定大部分预训练模型参数，微调少量或者额外的模型参数，从而降低计算和存储成本的微调方法。其中典型的方法有Prefix Tuning[7]、LoRA等。Prefix Tuning通过为大模型添加可训练特定任务的前缀MLP层的方法实现微调。LoRA 是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。此外，为满足国产化要求，我们对大模型完成了国产芯片（如昇腾）的适配工作，训练实验主要在Ubuntu22.04 操作系统上使用8卡昇腾Ascend 910B完成。
对于文本数据，我们采用QLoRA微调方式进行有监督任务训练。QLoRA是一个使用量化思想对LoRA进行优化的量化算法，可以显著降低训练大模型时所需要的显存资源。训练主要参数设置如下：批次大小设置为4，每个批次的梯度更新次数为1，共进行20个训练周期。学习率设置为2e-4，学习率策略起初学习率为0，然后在热身阶段逐渐增加到学习率设置值，并在正式学习时使用学习率的设置值。模型接受输入的最大序列长度为128。
对于图像数据，我们采用LoRA微调方式进行有监督任务训练。训练时设置批次大小为4，共进行20个训练周期。学习率设置为0.00001，学习率为Cosine Annealing LR策略，学习率基于余弦函数的曲线形状来调整，当训练开始时学习率较大，可以帮助模型快速收敛。随着训练的进行，学习率会逐渐减小，以保证模型能够精确地搜索参数空间。模型接受输入的图像分辨率为1024×1024。
在模型训练阶段，使用此前已准备好的四个场景数据训练集分别进行训练。通过调整训练集和训练周期等参数，不断提高模型的准确率。在每个训练批次中，将训练数据传入网络中微调，通过网络前向传播得到预测结果，将预测结果和标注进行比较，计算出损失函数，在实验中我们主要做正负二分类任务，因此选择交叉熵损失函数，损失函数值越低，则训练得到的结果与预期越接近。
4.验证与测试模型
在完成训练之后，我们利用测试集来对模型进行评估。评估指标主要采用准确率、精确率和召回率。准确率是指预测准确的素材数量占素材总数的比例。精确率是指模型预测是负面的数据预测正确的概率，能够检测模型预测负面的准确度。召回率是指所有实际为负面的素材，被模型准确预测为负面的概率。通过验证，我们所得到的结果如表1所示，可以发现训练好的内容安全大模型在测试集上的准确率都在90%以上，在验证集上的准确率也基本在90%及以上，基本达到预期效果。
表1 四个场景在测试集上的结果及评价指标
四 智能审核系统构建
1.系统架构
我们基于内容安全大模型能力开发智能审核系统，系统采用前后端分离的方式进行设计，前端使用Vue2架构，后端使用SpringBoot框架，系统架构主要包含应用层、计算层、数据层（如图2）。
图2 系统架构图
应用层是从用户的角度出发，主要考虑用户的输入与结果输出，输入为原始文本或图像数据，而系统输出为智能审核结果；数据层主要对上传的文本和图像数据进行分析和存储等，其中重点为输入数据加入提问方式，且符合模型输入格式要求；核心模块为中间的计算层，主要对算法进行封装，根据用户输入的数据类型判断不同的场景种类，并对数据进行预处理，之后将处理结果与每个场景的提问方式相结合，输入多模态大模型进行推理，在大模型的推理结果中提取关键信息，最终输出智能审核结果。
2.内容安全大模型服务能力调用实现流程
内容安全大模型的能力支持以API 接口服务方式被各业务系统调用，具体实现流程见图3。
图3 内容安全大模型服务能力在业务系统中的实现流程图
◆服务加密鉴权，主要采用RSA 非对称加密算法。在收到业务系统的请求之后，系统需要对请求信息进行鉴权，并针对业务系统生成公私钥对，业务系统使用公钥对请求数据进行加密，审核系统使用对应的私钥进行解密，如果解密成功，则说明请求来源可信，方可允许其正常使用内容安全大模型的服务能力，否则将阻止请求；
◆智能调度服务，通过鉴权后，将由调度服务处理风险识别流程。在数据转码阶段，数据预处理完成后，调度服务将根据请求内容的风险识别策略，为本次请求生成审核任务。根据审核任务的数据类型，系统会对请求数据加工，组装为与训练样本相同的提问格式的Prompt提示词，并提交给模型，之后系统从模型返回的结果中提取出关键信息，包括风险标签、审核分类、审核详情等，最后会通过预置的回调接口将审核任务的结果返回给业务系统，完成本次审核任务。
值得一提的是，一条内容的审核往往包含多个审核任务，待所有任务执行完成后，调度服务会汇总各个任务的结果，只有当所有任务都识别为无风险，最终的结果才是无风险，否则结果为有风险。
3.系统功能模块介绍
该审核系统基于内容安全大模型能力，主要规划了图文审核、视频审核、历史记录管理等功能。以图文审核为例，如图4所示，图文甄别页面包含两部分，左边为内容上传及输入区，右边为甄别结果展示区。分别点击上传要审核的图片内容和该图像的文字内容，即可对该图片及文字进行审核，审核结果将在右边的甄别结果区域进行展示。
图4 图文审核功能展示
对于以往审核的内容记录，可在历史管理模块进行搜索查看。如图5所示，页面整体采用表格形式，详细展示了审核日期、素材内容、素材类型、场景分类和甄别结果等信息，点击表格的日期、素材类型、甄别结果可以直接进行筛选。点击“编辑”按钮可以进入人工审核页面。所有智能审核的结果都可以在此页面进行显示，方便用户后续查看结果及对历史记录进行管理。
图5 历史记录页面示意
4.实际应用
在实际应用中智能审核系统通过大模型的接口建立完成后，通过对外提供的系统API接口能够为实际业务系统提供智能审核服务，如图6所示。智能审核系统可以直接为用户提供审核服务，也可以根据实际业务需求进行封装，提供API接口服务、管理后台服务、调度服务、审核服务、转码服务以及报表服务等，在具体应用过程中，主要通过调用智能审核系统的API接口服务与业务系统自有的内容审核平台或内容库进行对接，实现智能审核与识别。
图6 智能审核系统实际应用
五 总结与展望
本文主要讲述了一种基于多模态大模型的智能审核方案及系统，该系统方案通过利用新闻图文数据集进行微调，实现了图文等多种模态场景的自动审核，可实际应用于相关场景中。尽管本文在智能审核场景取得了一定的研究成果，但仍然存在一些挑战，比如收集的数据集局限在特定的图文场景范围内，因此针对全场景的审核泛化性可能较弱。基于以上问题，未来在增强对数据集建设的基础上，将进一步优化多模态大模型的审核算法；系统建设方面，将探索大模型与小模型的协同工作方法，为审核领域提供更高效的解决方案。
