Diffiniad
Mae mireinio paramedr-effeithlon (PEFT) yn dechneg ar gyfer addasu modelau mawr sydd wedi'u hyfforddi ymlaen llaw i dasgau newydd trwy ddiweddaru is-set fach o baramedrau yn unig yn lle'r model cyfan.
Diben
Y pwrpas yw lleihau cost gyfrifiadurol ac anghenion storio wrth gynnal perfformiad tasgau cryf.
Pwysigrwydd
- Yn gwneud mireinio'n bosibl i sefydliadau heb adnoddau enfawr.
- Yn lleihau ôl troed carbon o'i gymharu â hyfforddiant model llawn.
- Yn caniatáu newid tasgau yn effeithlon mewn cynhyrchu.
- Yn gysylltiedig â dulliau fel LoRA ac addaswyr.
Sut Mae'n Gwaith
- Dewiswch fodel sylfaen mawr wedi'i hyfforddi ymlaen llaw.
- Nodwch is-setiau paramedr (e.e., addaswyr safle isel).
- Hyfforddwch yr is-setiau hyn yn unig ar ddata tasg targed.
- Cadwch baramedrau eraill wedi'u rhewi.
- Defnyddio gyda gorbenion adnoddau lleiaf posibl.
Enghreifftiau (Y Byd Go Iawn)
- LoRA (Addasiad Safle Isel): a ddefnyddir yn helaeth wrth fireinio LLMs.
- Llyfrgell PEFT Hugging Face: pecyn cymorth mireinio effeithlon.
- Ymchwil Google: addaswyr ar gyfer tasgau NLP amlieithog.
Cyfeiriadau / Darllen Pellach
- Hu et al. “LoRA: Addasiad Safle Isel o Fodelau Iaith Mawr.” arXiv.
- Houlsby et al. “Dysgu Trosglwyddo Effeithlon o ran Paramedrau ar gyfer NLP.” ACL.
- Dogfennaeth PEFT Wyneb Cofleidio.
