Hugging Face publicó los detalles de ShadowPEFT el 15 de septiembre de 2026. El método ya se ha fusionado con la rama principal de la biblioteca 🤗 PEFT y está previsto para la próxima versión publicada. Su propuesta introduce un modelo sombra compacto que mantiene un estado oculto persistente durante el ajuste fino, en lugar de tratar cada actualización de bajo rango como un componente independiente.
El trabajo se atribuye a Zongxi Li, Xianming Li, Tsz-fung Andrew Lee, Jing Li, Haoran Xie y Qing Li. Está dirigido a desarrolladores que adaptan modelos existentes mediante PEFT, no a usuarios finales que busquen un chatbot o una aplicación autónoma.
Un estado que atraviesa el decodificador
ShadowPEFT modifica la forma de representar una tarea durante el entrenamiento. En cada capa Transformer, calcula la diferencia entre el estado oculto del modelo base y el estado del modelo sombra, y la procesa mediante un cuello de botella de bajo rango. Después ejecuta la capa Transformer congelada y actualiza el estado sombra con dos MLP pequeñas y un residual controlado.
El diseño permite que la información fluya en ambas direcciones: el modelo base aporta información al modelo sombra y el estado persistente de este último influye de nuevo en el procesamiento posterior. Esa continuidad es la diferencia central frente a las actualizaciones independientes asociadas habitualmente con LoRA.
La configuración sigue el patrón conocido de PEFT
La integración utiliza ShadowConfig, BaseTuner y BaseTunerLayer. La llamada documentada, get_peft_model(model, ShadowConfig(...)), conserva el patrón general de LoRA. También mantiene el flujo de guardado y carga mediante save_pretrained y from_pretrained.
Al terminar el entrenamiento, el modelo sombra puede permanecer unido al modelo base. También es posible llamar a unload_shadow() para obtener un DetachedShadowModel destinado a la inferencia independiente. El ejemplo publicado emplea Qwen/Qwen3-8B, r=8, una capa oculta de modelo sombra, el modelo sombra mirror y el tipo de tarea CAUSAL_LM.
La mejora en lenguaje llega con un consumo de memoria mayor
La prueba de MetaMathQA a GSM8K comparó los métodos en Llama-3.2-3B, con coincidencia exacta como métrica, los hiperparámetros predeterminados de PEFT y una NVIDIA A100 de 80 GB. ShadowPEFT utilizó 8,66 millones de parámetros entrenables y alcanzó un 48,1 % de coincidencia exacta tras 17 minutos. El consumo máximo de memoria fue de 28,2 GB y el checkpoint ocupó 26,0 MB.
En la misma comparación, LoRA obtuvo un 46,9 % de coincidencia exacta, con 22,3 GB de memoria y un checkpoint de 36,7 MB. DoRA llegó al 46,2 %, con 24,5 GB de memoria y un checkpoint de 37,2 MB.
La documentación de ShadowPEFT relaciona el mayor consumo con la ejecución del modelo sombra para cada token y con la conservación de dos cachés KV. El resultado marca un intercambio concreto: en ese experimento, el método consiguió una puntuación superior y un checkpoint más pequeño, pero exigió más memoria durante la ejecución. Por eso, la capacidad del hardware sigue siendo un criterio relevante para elegirlo.
En DreamBooth también supera a LoRA y DoRA en la prueba publicada
La comparación de generación de imágenes utilizó DreamBooth con FLUX.2-klein-base-4B y alrededor de 20 fotografías del mismo gato. ShadowPEFT registró una similitud coseno de DINOv2 de 0,717 y una deriva de 0,244. El entrenamiento utilizó 31,2 millones de parámetros entrenables, duró ocho minutos, alcanzó 10,3 GB de memoria máxima y produjo un checkpoint de 74,5 MB.
LoRA obtuvo una similitud de 0,671 y una deriva de 0,274. DoRA registró 0,682 y 0,250, respectivamente. La página del método sitúa a ShadowPEFT por delante de ambas alternativas en todas las métricas incluidas en esta comparación.
Estas cifras describen los experimentos presentados con esos modelos y conjuntos de datos. No establecen que la misma relación entre calidad, memoria y tamaño del checkpoint vaya a repetirse en todas las tareas de ajuste fino.
Para quienes ya trabajan con PEFT, ShadowPEFT añade una arquitectura con estado persistente sin romper el patrón habitual de configuración, guardado y carga. Sus resultados iniciales apuntan a mejoras en las dos pruebas comunicadas, mientras que el coste de ejecutar el modelo sombra y conservar dos cachés KV limita su conveniencia en equipos con menos memoria. La próxima versión de PEFT fijará cuándo estará disponible esta implementación fusionada en la biblioteca publicada.