Tiwnio Gain

Diffiniad

Addasu model dysgu peirianyddol sydd wedi'i hyfforddi ymlaen llaw i dasg newydd yw mireinio i'r eithaf i dasg newydd gan ddefnyddio hyfforddiant ychwanegol ar setiau data llai, sy'n benodol i'r parth.

Diben

Y pwrpas yw ailddefnyddio gwybodaeth o fodelau mawr a gwella perfformiad ar dasgau arbenigol gyda llai o adnoddau.

Pwysigrwydd

• Yn lleihau cost ac amser hyfforddi o'i gymharu ag adeiladu modelau o'r dechrau.
• Yn gwella perfformiad ar dasgau penodol i'r parth.
• Risgiau o or-ffitio os yw data hyfforddi yn rhy gul.
• Yn gysylltiedig â dysgu trosglwyddo.

Sut Mae'n Gwaith

1. Dewiswch fodel sylfaenol wedi'i hyfforddi ymlaen llaw.
2. Disodli neu addasu haenau sy'n benodol i dasgau.
3. Hyfforddi gyda data wedi'i labelu o'r parth newydd.
4. Addaswch gyfraddau dysgu i gydbwyso gwybodaeth hen a newydd.
5. Dilysu a phrofi am gyffredinoli.

Enghreifftiau (Y Byd Go Iawn)

• BERT wedi'i fireinio ar gyfer dadansoddi teimlad.
• Modelau GPT wedi'u mireinio ar gyfer sgwrsbotiau cymorth cwsmeriaid.
• Modelau gweledigaeth wedi'u mireinio ar gyfer dosbarthu delweddu meddygol.

Cyfeiriadau / Darllen Pellach

• Howard a Ruder. “Mân Addasu Model Iaith Gyffredinol” (ULMFiT). ACL 2018.
• Dogfennaeth Trawsnewidyddion Wyneb Cofleidio.
• Pan & Yang. “Arolwg ar Ddysgu Trosglwyddo.” IEEE TKDE.
• Beth yw Addasu Manwl ar gyfer Modelau Iaith Mawr? – Shaip