这项由Adobe Research的Giuseppe Vecchio、Adrien Kaiser、Romain Rouffet、Rosalie Martin、Elena Garces和Tamy Boubekeur共同完成的创新研究发表于2025年11月14日，论文编号为arXiv:2511.11270v1。对于那些希望深入了解技术细节的读者，可以通过该编号查询完整的学术论文。
当我们看到一张照片时，能够立刻分辨出木质桌面的温润质感、金属表面的冷峻光泽，或者丝绸面料的柔滑触感。这种对材质的直觉理解对人类来说似乎毫不费力，但对计算机而言却是一个巨大的挑战。目前的人工智能视觉系统更像是一个只会认字不懂意思的学生——它们能够准确识别照片中的猫、狗、汽车，却无法理解这些物体是由什么材料制成的，也不明白光线如何与不同表面相互作用产生我们所看到的视觉效果。
Adobe Research的研究团队敏锐地察觉到了这个问题的重要性。在我们日益数字化的世界中，从电影特效制作到虚拟现实体验，从室内设计软件到工业产品设计，都迫切需要能够理解和处理真实物理材质的人工智能系统。然而，现有的AI视觉模型在这方面表现得相当笨拙，就像一个色盲试图描述彩虹的色彩一样力不从心。
传统的计算机视觉系统在训练过程中主要关注语义信息——它们学会了区分猫和狗、椅子和桌子，但在学习过程中却忽视了光线、材质、几何结构这些构成真实世界视觉体验的基础物理要素。这就好比一个艺术学生只学会了识别不同的绘画主题，却完全不懂颜料、画布质地和光影效果的重要性。
为了解决这个根本问题，Adobe的研究团队开发了一个名为Φeat（读作"fi-eat"）的革命性视觉AI系统。这个系统的设计理念完全颠覆了传统方法——它不是教AI识别"什么是什么"，而是教它理解"为什么看起来是这样"。Φeat能够感知材质的本质特性，包括反射率、透明度、几何结构，以及这些特性如何在不同光照条件下产生我们眼中的视觉效果。
研究团队采用了一种巧妙的训练策略，这种方法可以比作训练一个材料专家的过程。传统的AI训练就像让学生通过看照片来学习识别不同物体，而Φeat的训练则像是让学生在实验室中观察同一种材料在各种不同条件下的表现。研究人员为AI提供了大量的合成渲染图像，这些图像展示了相同的材料在不同形状的物体上、在不同光照环境中的外观变化。
这种训练方法的核心思想是让AI学会区分材料的内在属性和外在环境因素。就像一个经验丰富的珠宝商能够在任何光线条件下识别钻石的品质一样，Φeat学会了识别材料的本质特征，而不被表面的光影变化所迷惑。当AI看到一块木头时，无论它被制成了桌子还是椅子，无论是在明亮的日光下还是在昏暗的室内灯光中，Φeat都能准确识别出这是同一种木材。
一、突破传统的训练理念
传统的AI视觉系统就像一个只在博物馆里学习艺术的学生——它们通过观看大量标记好的图片来学习识别不同的物体类别。这种方法在识别语义内容方面表现出色，能够准确地告诉你照片中有一只猫或一辆汽车。然而，当涉及到理解这些物体的材质特性时，这种方法就显得力不从心了。
研究团队发现，现有的自监督学习方法，如备受推崇的DINO和MAE系统，在学习过程中会不自觉地将高层次的语义信息与低层次的物理因素混杂在一起。这就好比一个学生在学习绘画时，虽然能够准确描绘出苹果的形状，却无法理解苹果表面的光泽来自何处，也不明白为什么同样的苹果在不同光线下会呈现不同的色彩。
Φeat的革新在于采用了一种全新的对比学习策略。与传统方法使用的色彩调整、旋转、裁剪等图像变换不同，Φeat使用的是物理变换。研究团队为AI提供了同一种材料在完全不同物理条件下的渲染图像——相同的大理石材质可能出现在球体上，也可能出现在立方体上；可能在阳光明媚的户外环境中，也可能在柔和的室内照明下。
这种训练方式教会了AI一个重要概念：材料的本质属性与其所处的环境是可以分离的。就像一位经验丰富的厨师能够在各种不同的厨房环境中识别出相同的香料一样，Φeat学会了在各种视觉变化中提取材料的核心特征。这种能力使得AI能够理解光线如何与不同表面相互作用，如何产生反射、折射、散射等复杂的光学现象。
更重要的是，Φeat的训练过程并不需要人工标注的数据。研究团队没有花费巨额成本去雇佣专家为每张图片标记材料类型，而是让AI通过观察和对比自主学习。这就像让一个孩子通过触摸和观察不同材料来自然地学会区分丝绸和粗布，而不是死记硬背教科书上的定义。
二、精心设计的数据生成流程
为了训练Φeat，研究团队构建了一个前所未有的大规模数据集，这个过程就像为一位未来的材料专家准备最全面的学习资料。他们并没有简单地收集现有的照片，而是采用了一种更加科学和系统的方法来生成训练数据。
研究团队首先面临的挑战是如何避免传统数据集中常见的偏见问题。以往的研究往往随机搭配材料和几何形状，这就像把软绵绵的棉花材质渲染在坚硬的金属管道上，或者把液体材质应用到固体几何体上。这种不切实际的组合不仅在视觉上令人困惑，还会误导AI的学习过程，就像给学生提供错误的教科书一样。
为了解决这个问题，研究团队采用了一种更加贴近现实的方法。他们精心设计了一系列几何模板，然后将这些模板与在现实世界中可能出现的材料进行语义匹配。比如，软木材质会被应用到具有低曲率的刚性表面上，而不是应用到高度褶皱的布料形状上。金属材质会出现在适合的工业设计形状上，而织物材质则会应用到具有合适柔性特征的几何体上。
这种精心匹配的过程就像一位经验丰富的室内设计师在选择材料时的考虑过程。设计师不会把大理石纹理应用到窗帘上，也不会把丝绸质感用于地板设计。同样，研究团队确保每种材料都出现在它在现实世界中可能出现的环境中，这样AI学到的知识就更加贴近真实情况。
研究团队利用了Adobe Substance 3D Assets资料库，这个庞大的材料库包含了超过9500种程序化材料，涵盖了21个不同的外观类别。从各种织物到不同类型的金属，从各种木材到大理石、塑料等，这个材料库就像一个巨大的材料博物馆，为AI提供了丰富多样的学习素材。
在渲染过程中，研究团队采用了基于物理的渲染技术，确保每一张生成的图像都遵循真实世界的光学规律。他们使用蒙特卡罗路径追踪技术，这种技术能够精确模拟光线在真实环境中的传播路径。每张图像都使用128个采样点来确保质量，并应用了先进的降噪技术。这种精确度就像用高精度的科学仪器进行实验一样，确保AI学到的每一个细节都是准确可靠的。
为了增加训练数据的多样性，研究团队还加入了随机的物体旋转和环境光照旋转。这意味着相同的材料会在不同的观察角度和光照方向下被展示，就像在一个旋转的展示台上从各个角度观察一件艺术品。最终，这个过程产生了大约一百万张高质量的渲染图像，为Φeat的训练提供了丰富而全面的学习素材。
三、Φeat的核心架构与训练机制
Φeat的技术架构就像一个精密设计的光学仪器，专门用于分析和理解材料的视觉特性。研究团队选择了Vision Transformer（ViT）作为基础架构，这种架构已经在多个视觉任务中证明了其强大的表示能力和良好的扩展性。
整个系统的工作原理可以比作一个经验丰富的材料分析师的思维过程。当分析师观察一个物体时，他会将物体分解成小的区域进行详细分析，同时保持对整个物体的全局理解。Φeat采用了类似的方法，将输入图像分割成16×16像素的小块，每个小块就像分析师关注的一个局部区域。这些小块被转换成数字化的特征表示，然后输入到transformer编码器中进行处理。
Φeat的训练过程采用了一种精巧的师生教学模式，这种模式类似于艺术学院中经验丰富的导师指导年轻学生的过程。在这个模式中，"教师"网络负责提供稳定而准确的指导，而"学生"网络则在不断的学习和调整中逐步提高自己的能力。教师网络的参数通过指数移动平均的方式从学生网络更新而来，确保教学过程的稳定性和连续性。
训练过程中的核心创新在于对比学习机制的运用。传统的对比学习就像让学生通过比较不同物体来学习分类，而Φeat的对比学习则更像是教学生理解物体的内在本质。当系统看到同一种材料的两个不同渲染图像时，它会学习将这两个图像的特征表示拉近，同时将不同材料的特征表示推远。这个过程就像训练一个品酒师，让他能够在各种不同的环境和容器中识别出相同的葡萄酒品种。
除了对比学习，Φeat还采用了多个辅助训练目标来确保学习的全面性和稳定性。其中包括图像级别的全局对齐损失，这个损失函数就像一个总体评分机制，确保AI对整个场景有正确的理解。还有补丁级别的潜在重构目标，这就像要求学生不仅要理解大局，还要对每个细节都有准确的把握。
特别值得一提的是KoLeo正则化项的使用，这个机制就像一个平衡器，防止AI在学习过程中出现偏见或塌陷到某些局部最优解中。它鼓励AI在特征空间中保持多样性，就像确保一个图书馆的藏书涵盖各个领域，而不是只专注于某几个特定类别。
Gram锚定机制则提供了额外的结构化指导，它就像一个经验丰富的导师在教学过程中提供的框架性指导。这个机制确保AI不仅学会了识别材料，还理解了不同材料之间的结构性关系和相似性模式。
四、令人瞩目的实验结果与性能表现
为了验证Φeat的实际效果，研究团队设计了一系列严格的测试，这些测试就像为一位材料专家准备的综合考试，从多个角度检验其专业水平。测试的设计既包括定量的数值比较，也包括定性的视觉分析，全面评估了Φeat在理解材料特性方面的能力。
在材料选择任务中，Φeat表现出了显著的优势。这个任务的设计原理很简单：给AI展示一个参考材料块，然后让它在整张图像中找出所有相同材料的区域。这就像给一个室内设计师看一块木质样品，然后让他在一个复杂的房间照片中标出所有使用了相同木材的家具。
测试结果令人印象深刻。在DuMaS数据集上的评估显示，Φeat在所有关键指标上都显著超越了现有的主流方法。具体来说，在IoU（交并比）指标上，Φeat达到了0.776的得分，相比之下DINOv3只有0.599，DINOv2更是只有0.566。这种差距就像一个专业鉴定师与业余爱好者在识别宝石时的准确率差异。
在F1分数方面，Φeat取得了0.860的优异成绩，而DINOv3和DINOv2分别只有0.724和0.698。F1分数是一个综合性指标，同时考虑了准确率和召回率，这个结果表明Φeat不仅能够准确识别目标材料，还能避免错误地将其他材料误认为目标材料。
为了更深入地理解Φeat的能力，研究团队还进行了k近邻分类评估。这个测试的设计思路是检验AI是否能够自然地将相似材料聚集在一起，就像一个有经验的图书管理员能够直觉地将相关书籍归类到同一区域。测试使用了包含972种材料、分属16个类别的合成数据集，每种材料都在6种不同几何体和4种光照条件下进行了渲染，总共产生了23,328张测试图像。
结果显示，Φeat在Top-1准确率上达到了64.3%，显著超过了DINOv3的60.0%和DINOv2的56.3%。更重要的是，Φeat在精确度、召回率和F1分数上都表现出色，这表明它形成了更加紧密、更加符合材料本质的特征聚类。
在鲁棒性测试中，Φeat展现出了对外部环境变化的强大抗性。研究团队通过计算同一材料在不同光照条件下预测结果的汉明距离来衡量光照不变性，通过计算同一材料在不同几何形状下的预测差异来衡量几何不变性。结果显示，Φeat在这两个方面都表现出了最佳的稳定性，这意味着它真正学会了材料的内在特征，而不是被表面的环境变化所迷惑。
五、视觉化结果的深度分析
除了数值结果，Φeat的视觉化表现同样令人印象深刻。研究团队通过补丁相似性热力图展示了Φeat的工作原理，这些热力图就像材料专家的透视眼镜，能够清楚地显示出哪些区域具有相似的材料特性。
当研究人员选择图像中的一个参考点时，Φeat能够生成一个详细的相似性地图，显示图像中每个位置与参考点的材料相似程度。与传统方法生成的语义相似性地图不同，Φeat的地图更加专注于材料本身的特性。比如，当选择一块木质桌面作为参考时，传统方法可能会高亮显示整个桌子（包括金属部件），而Φeat则精准地只标出了木质部分。
在无监督分割任务中，Φeat同样表现出色。研究团队使用K-means聚类算法对Φeat提取的特征进行分析，自动确定最佳的聚类数量。结果显示，Φeat产生的分割结果既具有空间连续性，又具有物理意义。传统方法往往会根据语义线索进行分割，将不同材料的区域归为一类（只要它们属于同一个物体），而Φeat则能够根据材料属性进行更加精确的分割。
这种差异可以通过一个简单的例子来理解：当分析一张包含木质框架和金属把手的门的照片时，传统方法可能会将整扇门视为一个统一的区域，而Φeat则能够准确地将木质部分和金属部分分离开来。这种能力对于需要精确材料分析的应用场景来说具有重要意义。
六、消融实验的深入洞察
为了理解Φeat成功的关键因素，研究团队进行了详细的消融实验。这些实验就像医生通过逐步诊断来确定病因一样，帮助研究人员理解每个技术组件对最终效果的贡献程度。
实验结果显示，仅仅使用单一渲染图像进行材料监督训练虽然能够改善材料选择指标，但会显著降低全局分类性能。这个现象表明，过于专注于材料特性可能会牺牲对整体场景理解的能力，就像一个过于专注于细节的艺术家可能会失去对整体构图的把握。
当加入多渲染训练策略后，情况发生了显著改善。这种方法既提高了材料分割性能，又恢复了大部分分类能力。这个结果证明了暴露在多样化视角和光照条件下的重要性，就像一个学生通过在不同环境中实践才能真正掌握技能。
最关键的发现是对比学习项的重要性。只有当加入了对比学习机制后，Φeat才真正解决了材料监督训练带来的分离性损失问题，在所有指标上都达到了最佳性能。这个结果强调了强制紧密的类内聚类和清晰的类间边界的重要性，就像一个好的分类系统必须既能将相似物品归类，又能清晰地区分不同类别。
七、技术局限性与未来展望
尽管Φeat在材料理解方面取得了显著进展，研究团队也诚实地承认了当前方法的局限性。这种科学的诚实态度就像一位优秀的工程师在展示新发明时，既要强调其优点，也要清楚地说明其限制和改进空间。
首先，Φeat目前还没有实现对潜在空间的显式解耦。虽然它能够学习材料不变的特征表示，但这些特征在当前的形式下还不能直接解释为具体的物理参数，比如粗糙度、金属度或者折射率。这就像一个有经验的品酒师能够准确识别不同的葡萄酒，但可能无法精确量化每种酒的具体化学成分比例。
更理想的系统应该能够将学习到的特征空间分解为可解释的物理维度，允许用户查询或操作特定的物理属性。比如，用户可能希望调整材料的光泽度而保持其他特性不变，或者在保持材料类型的同时改变其颜色特性。这种能力将使Φeat在实际应用中更加有用和灵活。
其次，当前的训练完全依赖于合成数据。虽然基于物理的渲染能够产生高度逼真的图像，但真实世界的复杂性仍然超出了当前渲染技术的能力范围。真实照片中可能包含渲染器难以完全捕获的细微效果，比如风化、磨损、污渍，或者材料之间的复杂相互作用。
缩小合成数据与真实世界之间的域差距仍然是一个开放性挑战。研究团队认识到，理想的解决方案可能需要结合合成数据的丰富性和真实数据的真实性，但这需要克服技术和实践方面的诸多障碍。
另一个重要的限制是当前系统在处理混合材料或复杂材料相互作用时的能力。真实世界中的许多物体并不是由单一均匀材料构成的，而是包含多种材料的复杂组合。比如，一个皮质沙发可能同时包含皮革、金属装饰、木质框架和织物衬里，这些材料之间的相互作用会产生复杂的视觉效果。
说到底，Φeat代表了AI视觉理解领域的一个重要突破。它第一次让计算机具备了类似人类的材质感知能力，能够透过表面现象理解材料的本质特性。这种能力不仅在技术上具有重要意义，更在实际应用中开启了无数可能性。
从电影和游戏的视觉特效制作，到建筑和室内设计的虚拟化展示，从工业产品的外观设计，到艺术创作的数字化辅助，Φeat的技术都有着广阔的应用前景。它让计算机不再只是一个冷冰冰的数据处理器，而是开始具备了对物理世界的感性理解。
研究团队的工作证明了一个重要观点：通过精心设计的自监督学习策略，AI可以在没有大量人工标注的情况下学会复杂的物理概念。这种方法不仅更加经济高效，也更加符合人类自然学习的方式。就像孩子通过观察和互动自然地学会区分不同材质一样，Φeat通过观察材料在不同条件下的表现学会了材质理解。
归根结底，这项研究为我们展示了一个令人兴奋的未来愿景：计算机不仅能够"看到"世界，更能够"理解"世界的物理本质。随着技术的不断发展和完善，我们有理由相信，未来的AI系统将能够更加深入地理解和操作我们周围的物理世界，为人类的创造力和想象力提供更加强大的技术支撑。
Q&A
Q1：Φeat是什么？
A：Φeat是Adobe Research开发的一种新型AI视觉系统，它能够像人类一样理解材质的物理特性，比如识别木材的纹理、金属的光泽或者丝绸的质感，而不会被物体的形状或光照条件所迷惑。
Q2：Φeat跟现有的AI视觉系统有什么不同？
A：传统AI主要识别物体是什么（比如猫、狗、汽车），而Φeat专注于理解物体是用什么材料制成的。它能够在不同光照和形状条件下准确识别相同的材料，就像专业的材料鉴定师一样。
Q3：Φeat的技术有什么实际应用价值？
A：Φeat在电影特效、游戏开发、室内设计、工业产品设计等领域都有重要应用。它能让计算机更准确地理解和处理材质，为虚拟现实、增强现实和数字内容创作提供更真实的视觉效果。
