Rhag-hyfforddiant

Diffiniad

Hyfforddiant ymlaen llaw yw'r hyfforddiant cychwynnol ar gyfer model dysgu peirianyddol ar setiau data mawr at ddibenion cyffredinol cyn mireinio tasgau penodol.

Diben

Y pwrpas yw darparu modelau gyda chynrychioliadau eang sy'n trosglwyddo i dasgau lluosog, gan leihau gofynion data a chyfrifiadura ar gyfer addasu i lawr yr afon.

Pwysigrwydd

• Sylfaen ar gyfer LLMs modern a modelau gweledigaeth.
• Yn gwella perfformiad ar draws tasgau amrywiol.
• Costus o ran data a chyfrifiadura.
• Mae angen curadu set ddata yn ofalus er mwyn osgoi rhagfarn.

Sut Mae'n Gwaith

1. Casglu setiau data cyffredinol enfawr (testun, delweddau).
2. Diffiniwch dasgau dysgu heb oruchwyliaeth neu hunan-oruchwyliaeth.
3. Hyfforddi modelau i ddysgu nodweddion cyffredinol.
4. Cadwch bwysau sydd wedi'u hyfforddi ymlaen llaw i'w hailddefnyddio.
5. Mireinio setiau data llai sy'n benodol i dasgau.

Enghreifftiau (Y Byd Go Iawn)

• Roedd BERT wedi hyfforddi ymlaen llaw ar Wicipedia a BooksCorpus.
• CLIP wedi'i hyfforddi ar barau delwedd-testun.
• Modelau GPT wedi'u hyfforddi ymlaen llaw ar destun rhyngrwyd ar raddfa fawr.

Cyfeiriadau / Darllen Pellach

• Devlin et al. “BERT: Rhag-hyfforddi Trawsnewidyddion Dwyffordd Dwfn.” NAACL 2019.
• Radford et al. “Modelau Iaith yw Dysgwyr Ychydig o Ergydion.” NeurIPS 2020.
• Adroddiad Technegol OpenAI GPT-4.