מודלים של בינה מלאכותית יכולים להיות מדויקים להפליא, אבל יש להם חולשה מפתיעה: הם שוכחים. מהר.
Catastrophic Forgetting מתרחש כאשר מודל "שוכח" ידע קודם ברגע שהוא לומד משהו חדש.
דמיינו מודל LLM שאומן לזהות הלבנת הון בקרב לקוחות עסקיים. אחר כך הוא לומד לזהות דפוסי אשראי של לקוחות פרטיים ופתאום שוכח את מה שלמד.
שיטות כמו PEFT (Parameter Efficient Fine Tuning) פותרות זאת על ידי עדכון חלק קטן בלבד מהפרמטרים של המודל, בלי לגעת בידע שכבר נלמד ביסודו.
כך שומרים על הידע הקיים, משפרים את הדיוק וחוסכים במשאבים.
ידע אמיתי לא נשכח.