Model Iaith Amlfodd

Diffiniad

Mae model iaith amlfodd yn estyniad o LLMs a all brosesu a chynhyrchu ar draws testun a dulliau eraill fel delweddau, sain neu fideo.

Diben

Y pwrpas yw creu systemau AI sy'n gallu creu dealltwriaeth a rhyngweithio cyfoethocach, y tu hwnt i destun pur. Mae'r modelau hyn yn ddefnyddiol ar gyfer cynorthwywyr rhithwir, offer hygyrchedd, a roboteg.

Pwysigrwydd

• Yn cefnogi integreiddio cyd-destun gweledol a chlywedol mewn ymatebion.
• Yn pweru cymwysiadau newydd fel ateb cwestiynau gweledol.
• Yn gyfrifiadurol ddrud ac yn gymhleth i'w hyfforddi.
• Yn rhannu risgiau rhithweledigaethau a rhagfarn gan fyfyrwyr LLM.

Sut Mae'n Gwaith

1. Casglu setiau data amlfoddol mawr (testun + delweddau/sain).
2. Hyfforddwch gyda thrawsnewidyddion wedi'u haddasu ar gyfer sawl dull.
3. Alinio mewnosodiadau ar draws dulliau ar gyfer rhyngweithrediadau.
4. Mireinio tasgau amlfoddol penodol.
5. Defnyddio ar gyfer rhyngweithio amlfoddol yn y byd go iawn.

Enghreifftiau (Y Byd Go Iawn)

• GPT-4 gyda gweledigaeth (OpenAI): yn prosesu testun a delweddau.
• Flamingo (DeepMind): dysgu ychydig o droeon ar gyfer tasgau amlfoddol.
• Google Gemini: yn integreiddio dulliau lluosog ar gyfer rhesymu.

Cyfeiriadau / Darllen Pellach

• Alayrac et al. “Flamingo: Model Iaith Weledol.” DeepMind.
• Adroddiad Technegol OpenAI GPT-4.
• Adroddiad CRFM Stanford ar Fodelau Sefydliad.
• Beth yw Modelau Amlfoddol Mawr (LMMs)?