求索札记

Last update

妆容

已有笔记的条目链接笔记工作区;没有现成笔记的条目直接链接 PDF。

GAN

论文发表状态总结评论
PSGANCVPR 2020✅ 已读将参考妆容蒸馏为空间感知的仿射矩阵,再用关键点相对位置与视觉特征建立逐像素对应,支持大姿态、表情差异下的局部和浓淡可控迁移;但全局注意力、关键点与人脸解析依赖较重,复杂光影和高频细节仍容易被错误迁移。
Facial Attribute TransformersarXiv 2021.04✅ 已读FAT 用 Transformer 建模源脸与参考脸的语义对应,Spatial FAT 再以 TPS 同时迁移颜色、纹理和眉形等几何属性;优势是高分辨率和形状可编辑,风险是伪真值与几何变换可能牺牲身份稳定性。
PSGAN++arXiv 2021.05✅ 已读在 PSGAN 的空间妆容矩阵与 AMM 对齐基础上加入细节损失,并用 IDNet 对称建模卸妆,实现迁移、卸妆、局部和强度控制;仍依赖解析/关键点及非成对代理监督,面对极端遮挡和复杂真实妆容有上限。
RamGANECCV 2022✅ 已读按嘴唇、眼影和皮肤分别计算 Region Attentive Matrices,再通过 RSIM 生成区域级仿射参数,使不同部位的妆容对应更解耦并适应姿态差异;效果依赖预定义人脸区域与分割精度,区域边界外的复杂妆效不易表达。
BeautyRECarXiv 2022.12✅ 已读以部件级对应完成眼、唇、皮肤的局部迁移,再用 Transformer 补充全局依赖,并以单路径内容一致性替代循环网络,将参数量压到约 1M;高效但仍受非成对 GAN 监督限制,复杂高频妆容保真度有限。
IP23-NetACM TOMM 2024✅ 已读用 3D Shape Identity Encoder 和三维重建约束保留脸部几何,再由 Background Correction Decoder 自适应区分人脸与背景,并提供 33.5 万张高分辨率合成数据;效果受 3D 重建和前景掩码准确度制约。

Diffusion

论文发表状态总结评论
Stable-MakeuparXiv 2024.03✅ 已读在 SD 1.5 上用内容/结构 ControlNet 保留源脸,以多层 CLIP 特征、自注意力妆容编码器和专用 cross-attention 注入细粒度参考妆容;复杂真实妆效优于 GAN,但依赖大规模增强数据和较高训练算力,牙齿染色、光影泄漏及极端姿态仍是问题。
DiffAMarXiv 2024.05✅ 已读先用扩散模型建立卸妆方向,再以 CLIP 妆容损失和集成攻击把自然妆容转化为可迁移的黑盒人脸识别对抗扰动;隐私目标与妆容/身份保真存在权衡,对未见识别器的泛化仍取决于攻击集合。
SHMTNeurIPS 2024✅ 已读采用自监督的解耦—重建训练摆脱伪配对真值,用拉普拉斯金字塔分层注入妆容纹理,并通过 Iterative Dual Alignment 动态修正内容与妆容条件错位;层级扩散与迭代对齐计算较重,表示解耦质量仍决定迁移上限。
MakeupDiffuseThe Visual Computer 2025✅ 已读以预训练扩散模型为基础,用双图像控制器分别约束身份与妆容,并借助已有妆容网络提供教师监督,同时提出 Makeup Transfer Score;生成质量受教师伪标签偏差影响,扩散推理速度也限制实时应用。
FreeUVarXiv 2025.03✅ 已读分别训练外观真实性与结构一致性网络,在推理时通过 Cross-Assembly 组合,免 UV 真值恢复含毛发、皱纹、遮挡和妆容的完整面部纹理;它是妆容的三维表征支撑技术而非直接迁移方法,并依赖人脸重建与 UV 拓扑。
MADarXiv 2025.04✅ 已读用 domain embedding 在单个 cross-domain diffusion 中统一美颜、卸妆、文本修改、参考迁移、强度/部件/多妆容迁移;统一接口减少多模型维护,但共享模型可能在特定任务的细节与区域控制上产生折中。
FFHQ-MakeuparXiv 2025.08✅ 已读以 3DMM 重建素颜并提取妆容残差,再把残差重渲染到不同脸型,构建 1.8 万身份、每人 5 种妆容的 9 万对数据;适合训练和评测,但残差质量受 3DMM 拟合、掩码与原始妆容覆盖范围限制。
FLUX-MakeuparXiv 2025.08✅ 已读直接使用 FLUX-Kontext 的源图条件,以 RefLoRAInjector 独立提取参考妆容,并配套构建身份一致的高质量配对数据,避免额外人脸控制器引入误差;性能依赖大型基础模型与合成数据管线,训练和部署成本较高。
EvoMakeuparXiv 2025.08✅ 已读MakeupQuad 用素颜、参考、编辑结果和文本组成结构化四元组,EvoMakeup 通过数据—模型迭代蒸馏统一全脸、局部参考和文本妆容编辑;仅用合成数据训练,实际泛化取决于四元组质量与多阶段蒸馏误差控制。
From Synthetic to RealarXiv 2026.05✅ 已读ConsistentBeauty 先筛出严格身份一致的合成监督,RealBeauty 再以面向妆容的可验证奖励做强化学习,把模型适配到真实妆容分布;关键风险转移到数据筛选与奖励设计,复杂真实场景收益需依赖新基准验证。
MagicMakeupECCV 2026⏳ 待读在 FLUX.1-Kontext 中用 TARG 将人脸 mask 对齐到 token 并门控 latent-to-reference attention,再以 CMPG 的图文 top-k 证据分开强化“保身份”和“迁妆容”,配合反向卸妆构造的 6,772 对 1024² 区域监督;高分辨率妆容相似度与非编辑区稳定性突出,但只支持眼、唇、全脸,极侧脸会退化,开源包也缺训练和数据构建代码。

相关方向

论文发表状态总结评论
Towards High-Fidelity, Identity-Preserving Real-Time Makeup TransferarXiv 2025.09✅ 已读将妆容迁移拆为半透明妆容 mask 提取与图形学渲染,昂贵生成只执行一次,随后可实时应用并保持视频时序一致;核心瓶颈是伪真值 mask 和半透明妆容—肤色分解的准确性。
OmniStyle2arXiv 2025.09✅ 已读反向执行 destylization,从真实艺术图恢复自然内容并构建 DST-100K,再用基于 CoT 的过滤器检查内容保持与风格差异;虽然不是妆容迁移,但“去风格化构造配对监督”的思路可迁移到卸妆—上妆数据生成,成本与筛选偏差需要评估。
VoostarXiv 2025.08✅ 已读单个 DiT 联合学习试穿与脱穿,以任务 token、注意力温度缩放和双向自纠采样强化人—衣对应;对妆容的启发是联合训练上妆/卸妆并利用逆向一致性,但服装掩码与妆容半透明属性差异较大,不能直接套用。