Anodiad LLM

Diffiniad

Mae anodiad LLM yn cyfeirio at labelu data a gynlluniwyd yn benodol ar gyfer hyfforddi a gwerthuso modelau iaith mawr. Mae'n cynnwys tasgau fel adnabod bwriad, tagio endidau, a graddio dewisiadau.

Diben

Y pwrpas yw creu setiau data o ansawdd uchel sy'n cyd-fynd â disgwyliadau dynol. Mae anodi'n gwella perfformiad, yn lleihau rhagfarn, ac yn galluogi dysgu atgyfnerthu gydag adborth dynol.

Pwysigrwydd

• Yn darparu goruchwyliaeth fanwl ar gyfer modelau enfawr.
• Yn gwella diogelwch trwy guradu setiau data gydag adolygiad dynol.
• Yn cefnogi meincnodau gwerthuso ar gyfer LLMs.
• Yn aml yn cael ei gyfuno ag anodiadau dewis ar gyfer mireinio.

Sut Mae'n Gwaith

1. Diffinio tasgau anodiadau ar gyfer LLM (e.e., crynhoi, bwriad deialog).
2. Casglu data testun crai amrywiol.
3. Mae anodwyr yn labelu tasgau gyda chyfarwyddiadau a chategorïau.
4. Casglwch y canlyniadau a sicrhewch gytundeb rhwng yr anodwyr.
5. Defnyddiwch ddata wedi'i labelu ar gyfer mireinio neu werthuso.

Enghreifftiau (Y Byd Go Iawn)

• Setiau data RLHF OpenAI: testun wedi'i labelu â dewis ar gyfer aliniad model.
• Deallusrwydd Artiffisial Cyfansoddiadol Anthropic: rheolau wedi'u hanodio ar gyfer ymatebion mwy diogel.
• Setiau data Wyneb Cofleidio: setiau data testun wedi'u curadu gan y gymuned ar gyfer tasgau LLM.

Cyfeiriadau / Darllen Pellach

• Dysgu Atgyfnerthu gydag Adborth Dynol — OpenAI.
• Dogfennaeth Setiau Data Wynebau Cofleidio.
• Bender a Friedman. “Datganiadau Data ar gyfer NLP.” ACL 2018.
• Anodiad LLM