1 Étude Systématique du Fine-Tuning QL O RA Multi-Modèles sur Corpus Spécialisés Arabes et Français avec Adapter Fusion et Apprentissage Continu (EWC) AMRI Maryam∗ , SERRAJI Wiam† BOUGHNAM Houda‡ ∗ ENSAM meknes , IATD-SI Abstract—Nous présentons une étude...
More
1 Étude Systématique du Fine-Tuning QL O RA Multi-Modèles sur Corpus Spécialisés Arabes et Français avec Adapter Fusion et Apprentissage Continu (EWC) AMRI Maryam∗ , SERRAJI Wiam† BOUGHNAM Houda‡ ∗ ENSAM meknes , IATD-SI Abstract—Nous présentons une étude expérimentale systématique du fine-tuning par Quantized Low-Rank Adaptation (QL O RA) appliqué à deux grands modèles de langage — Mistral-7B-v0.3 et Qwen2.5-7B — sur quatre corpus d’ingénierie spécialisés en arabe et en français (arabe, français général, ingénierie française, maintenance). L’expérience porte sur 99 configurations d’entraînement réelles organisées en trois blocs : (i) sweep du rang L O RA r ∈ {8, 16, 32}, (ii) sweep du coefficient α = 16 (ratio α/r fixé), et (iii) sweep du taux d’apprentissage η = 2×10−4 . En complément, nous évaluons deux stratégies avancées : l’Adapter Fusion (fusion moyenne et pondérée) et l’apprentissage continu séquentiel avec régularisation Elastic Weight Consolidation (EWC) et replay memory. Nos
Less
