Model Iaith Mawr (LLM)

Diffiniad

Mae model iaith fawr (LLM) yn rhwydwaith niwral sydd wedi'i hyfforddi ar gorpora testun enfawr i ddeall a chynhyrchu iaith ddynol. Mae LLMs yn defnyddio biliynau o baramedrau i gofnodi patrymau ieithyddol.

Diben

Y pwrpas yw galluogi tasgau NLP uwch fel cynhyrchu testun, crynhoi a chyfieithu. Defnyddir LLMs mewn robotiaid sgwrsio, chwilio ac offer cynhyrchiant.

Pwysigrwydd

• Yn pweru AI sgwrsiol modern.
• Risg o ragfarn, camwybodaeth, a rhithwelediadau.
• Costau cyfrifiadurol ac amgylcheddol uchel.
• Angen aliniad a llywodraethu gofalus.

Sut Mae'n Gwaith

1. Casglu setiau data testun ar raddfa fawr.
2. Toceneiddio testun yn gynrychioliadau rhifiadol.
3. Modelau trawsnewidyddion trên gyda biliynau o baramedrau.
4. Dysgwch ragweld y tocyn nesaf mewn cyd-destun.
5. Mireinio neu addasu i dasgau i lawr yr afon.

Enghreifftiau (Y Byd Go Iawn)

• GPT-4 (OpenAI): a ddefnyddir yn ChatGPT.
• PaLM (Google): LLM ar raddfa fawr ar gyfer ymchwil a chynhyrchion.
• LLaMA (Meta): LLM agored sy'n canolbwyntio ar ymchwil.

Cyfeiriadau / Darllen Pellach

• Vaswani et al. “Sylw yw’r Cyfan Sydd Ei Angen Arnoch.” NeurIPS 2017.
• Cerdyn System OpenAI GPT-4.
• CRFM Stanford. “Modelau Sylfaen.”
• Popeth sydd angen i chi ei wybod am LLM