淘天集团革新多模态对齐技术,有效缓解视觉大模型幻觉难题
导读 视觉大模型在图像理解和跨模态任务中表现出色,但“幻觉现象”问题日益凸显。为此,淘天集团未来生活实验室团队提出“令牌偏好优化”(TPO...
视觉大模型在图像理解和跨模态任务中表现出色,但“幻觉现象”问题日益凸显。
为此,淘天集团未来生活实验室团队提出“令牌偏好优化”(TPO)新方法,通过自动化的令牌级奖励信号,自动识别偏好数据中的视觉锚定令牌,优化模型对视觉信息的依赖性,减轻幻觉现象。
研究表明,采用TPO的模型在多个评测基准中显著优于传统方法,答案更依赖图像信息。
此外,消融实验发现优化的加噪步骤和奖励分配策略能进一步提升性能。
这一创新成果为多模态对齐技术提供新思路,推动AI技术在生活和消费领域的应用。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。