Mae patrwm cyfarwydd wedi dod i'r amlwg mewn roboteg a systemau ymreolus: mae demo blaenllaw yn rhedeg yn hyfryd ar y llwyfan, mae'r un system yn baglu mewn warws byw bythefnos yn ddiweddarach, ac mae'r post-mortem yn beio "realiti" am fod yn fwy anniben na'r amgylchedd prawf. Mae rhai lleisiau yn y maes yn dadlau mai'r haen goll yw caledwedd - gafaelwyr gwell, synwyryddion grym-torque, croeniau cyffyrddol. Mae'r ddadl honno'n gywir, ond yn anghyflawn. Mae hyd yn oed caledwedd synhwyro delfrydol yn cynhyrchu ffrydiau o signalau crai y mae'n rhaid i fodel eu... dysgu i ddehongli. Nid y synhwyrydd yw'r tagfa wirioneddol o dan y rhan fwyaf o fethiannau Deallusrwydd Artiffisial Corfforol. Dyma'r amlfoddol Data hyfforddi AI corfforol sy'n dysgu modelau beth yw ystyr y signalau hynny, sut maen nhw'n cydberthyn â gweledigaeth, a pha gamau i'w cymryd pan fydd y byd yn gwrthdaro. Prin fod y data hwnnw'n bodoli ar raddfa ddiwydiannol - a dyna'r haen sydd ar goll.
Beth Yw'r "Haen Goll" mewn Deallusrwydd Artiffisial Corfforol Mewn Gwirionedd
Mae'r ddolen AI Ffisegol gyfarwydd — synhwyro, penderfynu, gweithredu, addasu — yn cael ei thrafod fel pe bai'n broblem caledwedd a phensaernïaeth. Yn ymarferol, mae pob saeth yn y ddolen honno yn ymddygiad dysgedig. Sense yn golygu model sy'n troi ffrydiau synhwyrydd swnllyd, uchel-ddimensiwn yn amcangyfrifon cyflwr y gellir gweithredu arnynt. Penderfynwch yn golygu polisi sydd wedi gweld digon o amrywiadau i gyffredinoli. Gweithredu yn golygu rheolaeth a ddysgwyd yn erbyn deinameg go iawn. Addasu yn golygu cydnabod, mewn milieiliadau, bod gafael yn llithro neu fod rhan wedi'i chamlinio - a chywiro yng nghanol symudiad. Ni ellir rhaglennu'r un o'r ymddygiadau hynny i fodolaeth. Fe'u dysgir o enghreifftiau. Pan na all system AI Ffisegol addasu yn ystod cyswllt, yr achos arferol yw nad oedd ei ddata hyfforddi erioed yn cynnwys digon o enghreifftiau wedi'u labelu o gyswllt i ddysgu oddi wrthynt. Gall y caledwedd ffrydio'r signalau cywir. Mae angen y set ddata ar y model o hyd sy'n gwneud i'r signalau hynny olygu rhywbeth.
Pam mae Setiau Data Gweledigaeth yn Unig yn Torri Deallusrwydd Artiffisial Corfforol
Dychmygwch weithredwr cyflawni maint canolig yn cyflwyno casglwr cydweithredol ar draws tair canolfan ddosbarthu. Hyfforddwyd model gweledigaeth y casglwr ar filiynau o ddelweddau cynnyrch. Mae'n nodi eitemau ar unwaith. Wythnos un o'r defnydd byw, mae'r perfformiad yn edrych yn iawn. Wythnos tri, mae'r trwybwn yn gostwng o draean. Nid yw'r eitemau y mae'r casglwr yn cael trafferth â nhw yn anodd eu defnyddio. gweldMaen nhw'n anodd eu trin: cartonau hanner-falu sy'n anffurfio wrth ddod i gysylltiad, bwndeli wedi'u lapio mewn lapio crebachlyd sy'n llithro, a chregyn bylchog plastig adlewyrchol sy'n drysu amcangyfrif dyfnder pan gânt eu cyfuno â goleuadau uwchben. Dywedodd data gweledigaeth wrth y model sut olwg oedd ar yr eitemau. Ni ddywedodd dim yn y set hyfforddi wrtho sut roeddent yn teimlo, sut roeddent yn ymateb i rym, na phryd roedd gafael ar fin methu.
Dyma'r bwlch strwythurol yn y rhan fwyaf o bentyrrau AI Ffisegol - ac mae'n ymddangos mewn setiau data cyn iddo ymddangos ar lawr y ffatri.
| dimensiwn | Set ddata gweledigaeth yn unig | Set ddata hyfforddi AI Corfforol amlfoddol |
|---|---|---|
| Modaliaethau | Delweddau RGB, dyfnder achlysurol | Gweledigaeth, dyfnder, cyffyrddol, grym/torque, proprioception, sain |
| Ffynhonnell dal | Delweddau wedi'u crafu neu eu llwyfannu | Wedi'i gasglu at ddiben o ryngweithiadau go iawn neu dros y ffôn |
| Math o anodiad | Blychau ffiniol, segmentu, dosbarthiadau | Digwyddiadau cyswllt, llithro, ansawdd gafael, proffiliau grym, aliniad amserol |
| Economeg graddfa | Rhad i'w ddyblygu | Drud — mae angen rhyngweithio corfforol ar bob sampl |
| Addasrwydd tasg i lawr yr afon | Canfyddiad, llywio | Trin, addasu, rheolaeth gyfoethog o ran cyswllt |
Mae meincnodau trin a adolygwyd gan gymheiriaid wedi dangos y gall ychwanegu data cyffyrddol at biblinellau hyfforddi golwg-yn-unig godi cyfraddau llwyddiant trin tua 20 pwynt canran, gyda chynnydd ystyrlon arall o rag-hyfforddi gweledol-cyffyrddol ar y cyd (Ffynhonnell: canlyniadau meincnod IEEE/RSJ IROS, 2024). Nid yw'r gwahaniaeth yn gynyddrannol. Dyma'r llinell rhwng demo a defnydd.
Pedair Haen Set Data Hyfforddiant AI Corfforol Go Iawn
Mae adeiladu set ddata sy'n dysgu model i weithredu yn y byd ffisegol mewn gwirionedd yn cymryd pedair haen sydd wedi'u cysylltu'n dynn. Os hepgorwch unrhyw un ohonynt, bydd y pentwr uwchben yn cwympo.
- Cipio amlfoddol. Rhaid i'r set ddata gynnwys yr hyn y bydd y robot yn ei brofi mewn gwirionedd: fideo RGB a dyfnder cydamserol, LiDAR neu stereo lle bo'n berthnasol, signalau cyffyrddol (dosbarthiad pwysau, dirgryniad, llithro), darlleniadau grym a thorc yn y pwynt cyswllt, data proprioceptive am gyflwr y gafaelydd, ac yn aml sain. Mae'r rig dal yr un mor bwysig â'r synwyryddion - lleoliad, calibradu, a'r gallu i gyrraedd yr achosion ymyl sydd bwysicaf. Mae timau sy'n adeiladu hyn yn fewnol fel arfer yn paru fflydoedd mewnol ag arbenigwr. Casglu data AI corfforol partner i gyrraedd yr amrywiaeth, y ddaearyddiaeth, ac ehangder senario sydd eu hangen ar set ddata gadarn.
- Cydamseru amser a chyfuno synwyryddion. Mae pigyn cyffyrddol ar 1,500 Hz yn ddiystyr heb wybod beth oedd y llif gweledigaeth a'r synhwyrydd grym yn ei ddangos yn yr un milieiliad. Aliniad amserol ar draws dulliau yw'r hyn sy'n gadael i fodel ddysgu, er enghraifft, bod ciw gweledol penodol yn rhagweld digwyddiad llithro 40 milieiliad cyn i bwysau cyffyrddol ostwng. Heb gydamseru, mae gennych ffrydiau cyfochrog yn hytrach na data hyfforddi.
- Anodiad cyfoethog o ran cyswllt. Dyma'r haen anoddaf a'r un y mae'r rhan fwyaf o raglenni'n ei thanamcangyfrif. Mae angen i anodyddion labelu ansawdd gafael, eiliadau llithro, cychwyn a rhyddhau cyswllt, ystum y gwrthrych y tu mewn i'r gafaelydd, anffurfiad o dan rym, a ffiniau amserol is-weithredoedd. Mae cael hyn yn iawn yn gofyn am dimau anodi hyfforddedig, adolygiad aml-haen, a chanllawiau cyson ar draws dulliau - a dyna pam mae'r rhan fwyaf o weithrediadau difrifol yn dibynnu ar a llif gwaith anodiadau data strwythuredig yn hytrach na cheisio ei raddio ad hoc.
- Adborth gweithredol parhaus. Unwaith y bydd system AI Ffisegol wedi'i defnyddio, mae pob dewis llwyddiannus, pob methiant agos, a phob methiant yn dod yn ddata ffres. Mae timau sy'n cau'r ddolen - cipio, labelu, ailhyfforddi, ailddefnyddio - yn gweld enillion cyfansawdd. Mae timau nad ydynt yn gwylio eu modelau'n symud yn dawel wrth i'r byd newid o'u cwmpas.
Pam fod Anodiad AI Corfforol yn Ddisgyblaeth Wahanol
Nid yw anodi data hyfforddi AI Corfforol yn labelu delweddau gyda chamau ychwanegol. Mae'n ddisgyblaeth wahanol. Meddyliwch amdano fel hyfforddi cogydd prentis yn hytrach na dangos fideos coginio iddyn nhw. Mae fideo yn dysgu cydnabyddiaeth — toriad julienne yw hwnna, toriad brunoise yw hwnMae prentisiaeth yn dysgu sut beth yw cyllell finiog yn erbyn winwnsyn cadarn, pryd mae padell yn ddigon poeth heb wirio thermomedr, a sut i addasu gafael pan fydd y ddolen yn mynd yn llithrig. Mae angen rhywun ochr yn ochr â'r prentis ar yr ail fath o ddysgu, gan labelu'r profiad byw o bryd i'w gilydd. Mae anodi AI corfforol yn gweithio yn yr un ffordd: nid yw anodyddion yn marcio'r hyn sy'n weladwy yn unig; maent yn labelu digwyddiadau cyswllt, proffiliau grym, dechrau llithro, a ffiniau amserol gweithredoedd ar draws ffrydiau synhwyrydd cydamserol. Mae angen anodyddion sy'n ymwybodol o'r parth, QC cryf, ac offer arbenigol. Wedi'i wneud yn dda, mae'n troi cipio amlfoddol crai yn y math o... data hyfforddi roboteg sydd mewn gwirionedd yn dysgu model i ymdrin â chyswllt. Os caiff ei wneud yn wael, mae'n cynhyrchu sŵn wedi'i labelu.
Casgliad — Mae Caledwedd yn Gorffen y Ddolen; Mae Data yn ei Dechrau
Mae gafaelwyr gwell, croeniau cyffyrddol, a synwyryddion grym yn gynnydd gwirioneddol. Nid yw'r un ohonynt yn dileu'r angen am y setiau data amlfoddol, cydamserol, wedi'u hanodi'n gyfoethog sy'n dysgu model beth mae'r signalau hynny'n ei olygu mewn cyd-destun. Y sefydliadau sy'n cau'r bwlch rhwng demos AI Ffisegol a defnyddiau AI Ffisegol yw'r rhai sy'n trin data fel seilwaith o'r radd flaenaf - gan ei gasglu'n fwriadol, ei anodi â thrylwyredd parth, a bwydo data gweithredol yn ôl i hyfforddiant fel dolen barhaol. Mae caledwedd yn gorffen y ddolen synhwyro-penderfynu-gweithredu-addasu. Data hyfforddi yw'r hyn sy'n ei gychwyn.
Beth sy'n gwneud data hyfforddi AI Corfforol yn wahanol i ddata hyfforddi AI cyffredin?
Mae'n amlfoddol, wedi'i gydamseru ag amser, ac wedi'i gipio o ryngweithiadau corfforol go iawn neu deleweithredol. Fel arfer, testun neu ddelweddau sy'n cael eu crafu ar y cyd yw data hyfforddi AI cyffredin. Rhaid i ddata hyfforddi AI corfforol gynnwys ffrydiau synhwyrydd - gweledigaeth, dyfnder, cyffyrddol, grym, proprioception - a gofnodwyd yn ystod cyswllt gwirioneddol â gwrthrychau ac amgylcheddau.
Pam nad yw data gweledigaeth yn ddigon ar gyfer robotiaid sy'n trin pethau?
Gall camerâu ddweud wrth robot sut olwg sydd ar wrthrych, nid sut mae'n ymateb i rym, a yw gafael yn llithro, neu sut mae deunydd yn anffurfio o dan bwysau. Mae trin yn broblem gyswllt. Heb ddata cyffyrddol a grym yn y set hyfforddi, nid oes gan y model sail ar gyfer addasu yn ystod cyswllt.
Pam mae setiau data cyffyrddol a chyfoethog o ran cyswllt mor brin?
Yn wahanol i ddelweddau rhyngrwyd, mae pob pwynt data cyffyrddol yn gofyn am ryngweithio corfforol - robot neu ddyn yn cyffwrdd, yn gafael, neu'n trin rhywbeth mewn gwirionedd. Mae hynny'n gwneud cipio data yn araf, yn ddrud, ac yn sensitif i galibro rig, felly mae setiau data cyhoeddus ar raddfa fawr yn parhau i fod yn brin.
A all data synthetig ac efelychu ddisodli cipio amlfodd yn y byd go iawn?
Mae efelychu yn werthfawr, yn enwedig ar gyfer senarios prin neu beryglus, ond mae bylchau rhwng efelychu a real yn parhau i fod yn sylweddol ar gyfer dynameg cyswllt, cydymffurfiaeth deunydd, a sŵn synhwyrydd. Mae'r piblinellau hyfforddi AI Ffisegol cryfaf yn cyfuno data synthetig a real yn hytrach na dibynnu ar y naill neu'r llall ar ei ben ei hun.
Ble ddylai tîm AI Ffisegol ddechrau os yw ei set ddata yn cynnwys gweledigaeth yn bennaf?
Dau le. Yn gyntaf, nodwch pa fethiannau cynhyrchu sy'n cael eu gyrru gan gyswllt — llithro, anffurfio, camliniad — gan mai dyna'r methiannau y gall data eu trwsio yn unig. Yn ail, cynlluniwch raglen gipio wedi'i thargedu sy'n ychwanegu'r dulliau coll (cyffyrddol, grym, proprioception) ar y tasgau penodol lle bydd yn symud y nodwydd, yn hytrach na cheisio ailadeiladu'r set ddata gyfan ar unwaith.
