Mae dysgu atgyfnerthu (RL) yn fath o ddysgu peirianyddol. Yn y dull hwn, mae algorithmau'n dysgu gwneud penderfyniadau trwy brofi a methu, yn debyg iawn i fodau dynol.
Pan fyddwn yn ychwanegu adborth dynol i'r cymysgedd, mae'r broses hon yn newid yn sylweddol. Yna mae peiriannau'n dysgu o'u gweithredoedd a'r arweiniad a ddarperir gan fodau dynol. Mae'r cyfuniad hwn yn creu amgylchedd dysgu mwy deinamig.
Yn yr erthygl hon, byddwn yn siarad am gamau'r dull arloesol hwn. Byddwn yn dechrau gyda hanfodion dysgu atgyfnerthu gydag adborth dynol. Yna, byddwn yn cerdded trwy'r camau allweddol wrth weithredu RL gydag adborth dynol.
Beth yw Dysgu Atgyfnerthu gydag Adborth Dynol (RLHF)?
Atgyfnerthu Dysgu o Adborth Dynol, neu RLHF, yn ddull lle mae AI yn dysgu o brofi a methu a mewnbwn dynol. Mewn dysgu peiriant safonol, mae AI yn gwella trwy lawer o gyfrifiadau. Mae'r broses hon yn gyflym ond nid bob amser yn berffaith, yn enwedig mewn tasgau fel iaith.
Mae RLHF yn camu i mewn pan fydd angen mireinio AI, fel chatbot. Yn y dull hwn, mae pobl yn rhoi adborth i'r AI ac yn ei helpu i ddeall ac ymateb yn well. Mae'r dull hwn yn arbennig o ddefnyddiol mewn prosesu iaith naturiol (NLP). Fe'i defnyddir mewn chatbots, systemau llais-i-destun, ac offer crynhoi.
Fel rheol, mae AI yn dysgu trwy system wobrwyo yn seiliedig ar ei weithredoedd. Ond mewn tasgau cymhleth, gall hyn fod yn anodd. Dyna lle mae adborth dynol yn hanfodol. Mae'n arwain yr AI ac yn ei wneud yn fwy rhesymegol ac effeithiol. Mae'r dull hwn yn helpu i oresgyn cyfyngiadau dysgu AI ar ei ben ei hun.
Nod RLHF
Prif nod RLHF yw hyfforddi modelau iaith i gynhyrchu testun deniadol a chywir. Mae'r hyfforddiant hwn yn cynnwys ychydig o gamau:
Yn gyntaf, mae'n creu model gwobr. Mae'r model hwn yn rhagweld pa mor dda y bydd bodau dynol yn graddio testun yr AI.
Mae adborth dynol yn helpu i adeiladu'r model hwn. Mae'r adborth hwn yn siapio model dysgu peiriant i ddyfalu graddfeydd dynol.
Yna, mae'r model iaith yn cael ei fireinio gan ddefnyddio'r model gwobrwyo. Mae'n gwobrwyo'r AI am destun sy'n cael graddfeydd uchel.
Mae'r dull hwn yn helpu'r AI i wybod pryd i osgoi rhai cwestiynau. Mae’n dysgu gwrthod ceisiadau sy’n ymwneud â chynnwys niweidiol fel trais neu wahaniaethu.
Enghraifft adnabyddus o fodel sy'n defnyddio RLHF yw ChatGPT OpenAI. Mae'r model hwn yn defnyddio adborth dynol i wella ymatebion a'u gwneud yn fwy perthnasol a chyfrifol.
Camau Dysgu Atgyfnerthu gydag Adborth Dynol
Mae Atgyfnerthu Dysgu gydag Adborth Dynol (RLHF) yn sicrhau bod modelau AI yn dechnegol hyfedr, yn foesegol gadarn, ac yn berthnasol i'r cyd-destun. Edrych i mewn i bum cam allweddol RLHF sy'n archwilio sut maen nhw'n cyfrannu at greu systemau AI soffistigedig, wedi'u harwain gan ddyn.
Gan ddechrau gyda Model Hyfforddedig
Mae taith yr RLHF yn dechrau gyda model wedi'i hyfforddi ymlaen llaw, cam sylfaenol mewn Dysgu Peiriant Dynol yn y Dolen. Wedi'u hyfforddi i ddechrau ar setiau data helaeth, mae gan y modelau hyn ddealltwriaeth eang o iaith neu dasgau sylfaenol eraill ond nid oes ganddynt arbenigedd.
Mae datblygwyr yn dechrau gyda model sydd wedi'i hyfforddi ymlaen llaw ac yn cael mantais sylweddol. Mae'r modelau hyn eisoes wedi'u dysgu o lawer iawn o ddata. Mae'n eu helpu i arbed amser ac adnoddau yn y cyfnod hyfforddiant cychwynnol. Mae'r cam hwn yn gosod y llwyfan ar gyfer hyfforddiant mwy penodol a phenodol sy'n dilyn.
Cywiro dan Oruchwyliaeth
Mae'r ail gam yn cynnwys mireinio dan oruchwyliaeth, lle mae'r model a hyfforddwyd ymlaen llaw yn cael hyfforddiant ychwanegol ar dasg neu barth penodol. Nodweddir y cam hwn gan ddefnyddio data wedi'i labelu, sy'n helpu'r model i gynhyrchu allbynnau mwy cywir a pherthnasol i'r cyd-destun.
Mae'r broses mireinio hon yn enghraifft wych o Hyfforddiant AI Dan Arweiniad Dynol, lle mae barn ddynol yn chwarae rhan bwysig wrth lywio'r AI tuag at ymddygiadau ac ymatebion dymunol. Rhaid i hyfforddwyr ddewis a chyflwyno data parth-benodol yn ofalus i sicrhau bod yr AI yn addasu i naws a gofynion penodol y dasg dan sylw.
Hyfforddiant Model Gwobrwyo
Yn y trydydd cam, rydych chi'n hyfforddi model ar wahân i gydnabod a gwobrwyo allbynnau dymunol y mae AI yn eu cynhyrchu. Mae'r cam hwn yn ganolog i AI Learning Seiliedig ar Adborth.
Mae'r model gwobrwyo yn gwerthuso allbynnau'r AI. Mae'n pennu sgoriau yn seiliedig ar feini prawf fel perthnasedd, cywirdeb, ac aliniad â chanlyniadau dymunol. Mae'r sgorau hyn yn adborth ac yn arwain yr AI tuag at gynhyrchu ymatebion o ansawdd uwch. Mae'r broses hon yn galluogi dealltwriaeth fwy cynnil o dasgau cymhleth neu oddrychol lle gallai cyfarwyddiadau penodol fod yn annigonol ar gyfer hyfforddiant effeithiol.
Dysgu Atgyfnerthu trwy Optimeiddio Polisi Agosol (PPO)
Nesaf, mae'r AI yn cael Dysgu Atgyfnerthu trwy Optimeiddio Polisi Procsimol (PPO), dull algorithmig soffistigedig o ddysgu peiriannau rhyngweithiol.
Mae PPO yn caniatáu i'r AI ddysgu o ryngweithio uniongyrchol â'i amgylchedd. Mae'n mireinio ei broses gwneud penderfyniadau trwy wobrau a chosbau. Mae'r dull hwn yn arbennig o effeithiol mewn dysgu ac addasu amser real, gan ei fod yn helpu'r AI i ddeall canlyniadau ei weithredoedd mewn amrywiol senarios.
Mae PPO yn allweddol wrth addysgu'r AI i lywio amgylcheddau cymhleth, deinamig lle gallai'r canlyniadau dymunol esblygu neu fod yn anodd eu diffinio.
Timu Coch
Mae'r cam olaf yn cynnwys profi'r system AI yn y byd go iawn yn drylwyr. Yma, mae grŵp amrywiol o werthuswyr, a elwir yn 'tîm coch,' herio'r AI gyda gwahanol senarios. Profant ei allu i ymateb yn gywir ac yn briodol. Mae'r cam hwn yn sicrhau y gall yr AI drin cymwysiadau byd go iawn a sefyllfaoedd anrhagweladwy.
Mae Timing Coch yn profi hyfedredd technegol yr AI a chadernid moesegol a chyd-destunol. Maent yn sicrhau ei fod yn gweithredu o fewn ffiniau moesol a diwylliannol derbyniol.
Trwy gydol y camau hyn, mae RLHF yn pwysleisio pwysigrwydd cyfranogiad dynol ym mhob cam o ddatblygiad AI. O arwain yr hyfforddiant cychwynnol gyda data wedi'i guradu'n ofalus i ddarparu adborth cynnil a phrofion byd go iawn trwyadl, mae mewnbwn dynol yn hanfodol i greu systemau AI sy'n ddeallus, yn gyfrifol, ac yn gyfarwydd â gwerthoedd a moeseg ddynol.
Casgliad
Mae Dysgu Atgyfnerthu gydag Adborth Dynol (RLHF) yn dangos cyfnod newydd mewn AI wrth iddo asio mewnwelediadau dynol â dysgu peiriannau ar gyfer systemau AI mwy moesegol a chywir.
Mae RLHF yn addo gwneud AI yn fwy empathetig, cynhwysol ac arloesol. Gall fynd i'r afael â rhagfarnau a gwella datrys problemau. Mae ar fin trawsnewid meysydd fel gofal iechyd, addysg a gwasanaeth cwsmeriaid.
Fodd bynnag, mae mireinio'r dull hwn yn gofyn am ymdrechion parhaus i sicrhau effeithiolrwydd, tegwch ac aliniad moesegol.
