Mae'r rhan fwyaf o dimau AI ffisegol yn gwybod bod angen data arnynt. Ychydig sy'n gwybod bod angen pentwr ohono arnynt. Mae'r galluoedd sydd eu hangen ar robot humanoid, AV, neu warws sydd wedi'i ddefnyddio - canfyddiad, gweithredu, dilyn cyfarwyddiadau, gweithredu llif gwaith aml-gam - yn mapio i haen wahanol o ddata hyfforddi, gyda gwahanol ddulliau casglu, dyfnder anodi, a rheolaethau ansawdd. Mae pentwr set ddata AI ffisegol yn ffordd o feddwl am yr haenau hynny fel un system integredig yn hytrach na phedwar penderfyniad caffael heb gysylltiad.
Siop Cludfwyd Allweddol
- Mae gan y pentwr set ddata AI ffisegol bedair haen sy'n gysylltiedig â phedair gallu byd go iawn.
- Mae Haen 1 yn cwmpasu data gweithgaredd dynol ac arddangos ar gyfer canfyddiad a dealltwriaeth.
- Mae Haen 2 yn cipio data trin robotiaid ar gyfer cyflawni tasgau y gellir eu hailadrodd.
- Mae Haen 3 yn alinio gweledigaeth, iaith a gweithredu ar gyfer dilyn cyfarwyddyd ar raddfa fawr.
- Mae Haen 4 yn cefnogi cwblhau tasgau aml-gam, dros gyfnod hir mewn amgylcheddau go iawn.
- Mae pob haen yn bwydo'r nesaf; mae gwendidau isod yn ymledu i fyny'r pentwr.
Pam meddwl am ddata AI ffisegol fel pentwr?
Mae data AI ffisegol yn ymddwyn fel pentwr oherwydd bod pob haen gallu yn dibynnu ar yr haenau oddi tano. Mae data canfyddiad heb ddata gweithredu yn cynhyrchu model sy'n gweld ond na all symud. Mae data gweithredu heb aliniad iaith yn cynhyrchu model sy'n symud ond na all ddilyn cyfarwyddiadau. Mae data llif gwaith hir-orwel heb gyfarwyddyd cadarn yn dilyn yn cwympo ar y dasg aml-gam gyntaf.
Mae set ddata AI ffisegol agored NVIDIA, a ryddhawyd i'r gymuned datblygwyr, yn cynnwys miloedd o oriau o fideo aml-gamera ar amrywiaeth heb ei hail (NVIDIA, 2025), a hyd yn oed ar y raddfa honno, mae angen haenau penodol i dasgau eu hunain uwchben timau i lawr yr afon. Mae data hyfforddi ymlaen llaw yn angenrheidiol, nid yn ddigonol.
Haen 1: Beth mae data dealltwriaeth ddynol yn ei gynnwys?
Data gweithgaredd dynol a data arddangos yw data dealltwriaeth ddynol — lluniau person cyntaf a thrydydd person o fodau dynol yn gwneud tasgau mewn amgylcheddau go iawn. Mae'n dysgu'r model sut olwg sydd ar y byd a sut mae bodau dynol yn symud drwyddo.
Data arddangos dynol: Recordiadau fideo a synhwyrydd o fodau dynol yn cyflawni tasgau, gydag anodiadau sy'n alinio arsylwadau â gweithredoedd, bwriadau neu ganlyniadau.
Mae'r haen hon yn bwydo canfyddiad, dealltwriaeth o olygfa, a chasgliadau bwriad. Cwestiynau o ansawdd i'w gofyn:
- A yw'r data'n cwmpasu'r amgylcheddau y bydd eich robot yn gweithredu ynddynt?
- A yw arddangosiadau wedi'u hanodi ar lefel y gweithredu atomig, neu fesul clip yn unig?
- A yw caniatâd y cyfranogwr wedi'i ddogfennu a'i olrhain?
L1 Shaip casglu data Mae haen yn dal gweithgaredd yn y byd go iawn ar draws ceginau, ffatrïoedd, warysau, cyfleusterau gofal iechyd a ffyrdd — amgylcheddau sy'n cyd-fynd â chyd-destunau defnyddio yn hytrach nag amodau labordy.
Haen 2: Beth mae data gweithredu tasgau yn ei gynnwys?
Data trin robotiaid yw data gweithredu tasgau — llwybrau, cyflyrau cymalau, rhyngweithiadau gwrthrychau, a dynameg cyswllt ar gyfer tasgau ffisegol ailadroddadwy. Mae'n dysgu'r model sut i weithredu, nid dim ond beth i'w ganfod.
Data trin robotiaid: Dilyniannau â stamp amser o gyflyrau robotiaid, ystumiau'r effeithydd terfynol, a rhyngweithiadau gwrthrychau, wedi'u dal yn ystod teleweithrediad, gweithrediad sgriptiedig, neu ailchwarae arddangos.
Dyma lle mae strwythur penodol i ymgorfforiad yn ymddangos. Mae cyfluniadau cymalau, geometreg gafaelwyr, a mannau gweithredu yn amrywio ar draws robotiaid, felly anaml y gellir cludo data trin ar draws ymgorfforiadau heb ail-dargedu. Mae ymdrechion traws-ymgorfforiad — fel setiau data sy'n uno 22 ymgorfforiad robot o dan un cynllun gweithredu (DeepMind/Stanford et al., 2024) — wedi gwneud hyn ychydig yn haws, ond mae data trin penodol i dasgau yn parhau i fod yn rhaglen gasglu ymarferol.
Haen 3: Beth mae data VLA yn ei ychwanegu?
Mae data VLA yn ychwanegu aliniad iaith at weledigaeth a gweithredu — mae pob pennod yn cario cyfarwyddyd iaith naturiol sy'n gysylltiedig â'r trywydd sy'n ei gyflawni.
Data Gweledigaeth-Iaith-Gweithredu (VLA): Data hyfforddi ar lefel pennod sy'n cynnwys arsylwadau gweledol cydamserol, cyfarwyddiadau iaith naturiol, a llwybrau gweithredu gyda labeli llwyddiant.
Yr haen hon yw'r hyn sy'n galluogi dilyn cyfarwyddiadau. Hebddi, gall model trin gyflawni un dasg hyfforddedig; ag ef, gall yr un asgwrn cefn gyffredinoli ar draws cannoedd o gyfarwyddiadau. Y ddalfa: mae angen i ddisgrifiadau iaith fod yn atomig, yn benodol, ac wedi'u halinio â ffiniau gweithredu gwirioneddol - nid crynodebau amwys. Mae cywirdeb anodi yn yr haen hon yn pennu a yw VLA wedi'i diwnio'n fanwl yn cyffredinoli i awgrymiadau newydd neu'n cofio'r set hyfforddi.
Haen 4: Beth mae data tasgau hirhoedlog yn ei gynnwys?
Mae data tasgau hir-orwel yn cwmpasu llifau gwaith aml-gam — dilyniannau lle mae'n rhaid i'r robot gwblhau un is-dasg i ddechrau'r nesaf. Mae coginio pryd o fwyd, didoli paled warws, a chydosod pecyn yn dasgau hir-orwel. Mae pob un yn ei gwneud yn ofynnol i'r model olrhain cyflwr, adfer o fethiant is-dasg, a chadwyn sgiliau.
Roedd set ddata ymchwil a oedd yn canolbwyntio ar drin pen bwrdd gorwel hir yn cynnwys 200 o benodau ar draws 20 o dasgau aml-gam gyda golygfeydd anniben (awduron LHManip, arXiv, 2024) — bach o ran graddfa ond wedi'i strwythuro'n dynn. Mae timau cynhyrchu fel arfer yn adeiladu setiau gwerthuso gyda channoedd i filoedd o benodau gorwel hir, ynghyd ag olion trin eithriadau ar gyfer adfer methiannau.
Sut mae'r pedair haen yn bwydo'r defnydd
| haen | Gallu wedi'i Ddatgloi | Yr hyn y mae timau fel arfer yn ei golli |
|---|---|---|
| L1 — Dealltwriaeth ddynol | Canfyddiad, bwriad, cyd-destun yr olygfa | Amgylchedd sy'n cyfateb i safle defnyddio |
| L2 — Cyflawni tasgau | Triniaeth ailadroddadwy | Dynameg cyswllt, adferiad methiant |
| L3 — Dilyn cyfarwyddiadau | Cyffredinoli traws-dasgau | Labeli iaith atomig, wedi'u halinio â gweithredoedd |
| L4 — Cwblhau llif gwaith | Tasgau byd go iawn aml-gam | Trin eithriadau, olrhain cyflwr |
Dychmygwch dîm awtomeiddio diwydiannol sy'n llwyddo i gyrraedd Lefel 1 ac Lefel 2 - canfyddiad clir, trin llyfn mewn profion - ond yn hepgor Lefel 3. Mae eu robot yn dewis unrhyw wrthrych rydych chi'n pwyntio ato ond ni all ddilyn cyfarwyddyd llafar heb newidiadau cod. Mae hepgor Lefel 4 yr un cymeriad: mae'r system yn trin tasgau sengl, yna'n torri ar yr ail gam. Mae pob haen sydd ar goll yn capio'r nenfwd defnydd.
Ardystiadau a Chydymffurfiaeth ar gyfer Data Deallusrwydd Artiffisial Ffisegol
Mae rhaglenni data AI ffisegol yn gorwedd o fewn amgylchedd rheoleiddio a chaffael tynnach, yn enwedig ar gyfer gofal iechyd, symudedd ymreolaethol, ac achosion defnydd diogelwch gweithwyr. Mae prynwyr menter yn gofyn am reolaethau strwythuredig gynyddol cyn llofnodi contractau casglu neu anodi.
- ISO 27001 ar gyfer rheoli diogelwch gwybodaeth.
- SOC 2 Math II ar gyfer rheolaethau sefydliadau gwasanaeth.
- Rheolyddion wedi'u halinio â HIPAA ar gyfer data symudiadau clinigol neu adsefydlu.
- Fframweithiau GDPR a CCPA ar gyfer caniatâd cyfranogwyr a hawliau data.
Mae Shaip yn gweithredu o dan bob un o'r fframweithiau hyn ar draws rhaglenni casglu byd-eang. Gall prynwyr adolygu manylion penodol ar y tudalen diogelwch a chydymffurfiaeth cyn cwmpasu ymgysylltiad AI corfforol.
Casgliad: Y pentwr yw'r strategaeth
Nid rhestr wirio caffael yw pentwr set ddata AI ffisegol; dyma bensaernïaeth system y gellir ei defnyddio. Mae timau sy'n ei drin fel un adeiladwaith integredig - dealltwriaeth ddynol yn bwydo trin, trin yn bwydo dilyn cyfarwyddiadau, y cyfan yn bwydo gweithrediad hir-orwel - yn llongau robotiaid sy'n gweithio yn y byd go iawn. Mae Shaip yn gweithredu fel y partner seilwaith data ar draws y pedair haen, gan gynnwys AI amlfodd llifau gwaith sy'n pontio canfyddiad, iaith a gweithredu o dan un ymgysylltiad.
Beth yw pentwr set ddata AI ffisegol?
Mae pentwr set ddata AI ffisegol yn fframwaith pedair haen sy'n mapio mathau data hyfforddi i alluoedd robotiaid. Mae Haen 1 yn cwmpasu gweithgaredd dynol ar gyfer canfyddiad, mae Haen 2 yn cwmpasu trin robotiaid, mae Haen 3 yn cwmpasu data gweledigaeth-iaith-gweithred ar gyfer dilyn cyfarwyddiadau, ac mae Haen 4 yn cwmpasu tasgau aml-gam hir-orwel. Mae pob haen yn galluogi gallu defnyddio penodol.
A oes angen adeiladu'r pedair haen yn fewnol bob amser?
Nid oes angen adeiladu'r pedair haen yn fewnol. Mae setiau data cyn-hyfforddi cyhoeddus yn cwmpasu llawer o Haen 1, a mireinio data dethol ar Haenau 2 i 4 yw lle mae rhaglenni mewnol neu raglenni partner yn canolbwyntio. Y cwestiwn pendant yw a yw'r data'n cyd-fynd â'r amgylchedd defnyddio, nid a gafodd ei gasglu gan y cwmni ei hun.
Pa haen sy'n cael ei thanamcangyfrif fwyaf gan dimau AI corfforol?
Haen 4 — data tasgau hir-orwel — yw'r un sydd wedi'i danamcangyfrif fwyaf. Yn aml, mae timau'n adeiladu piblinellau canfyddiad a thrin cryf, yna'n tybio bod dilyniannu'n dod am ddim. Yn ymarferol, mae angen arddangosiadau penodol, olion trin eithriadau, a setiau gwerthuso sy'n dal moddau methiant is-dasgau ar dasgau aml-gam. Heb hynny, mae'r defnydd yn stopio mewn arddangosiadau un dasg.
Sut mae'r pentwr set ddata AI ffisegol yn gysylltiedig â modelau VLA?
Mae pentwr set ddata AI ffisegol yn ymwneud â modelau VLA ar Haen 3. Mae data hyfforddi VLA yn eistedd ar yr haen dilyn cyfarwyddiadau, gan dynnu ar ddata canfyddiad Haen 1 a data trin Haen 2 fel sylfeini. Mae angen i VLA sydd wedi'i adeiladu'n dda berfformio; yna mae Haen 4 yn ei ymestyn i lif gwaith aml-gam yn y byd go iawn.
A yw data synthetig yn rhan o'r pentwr set ddata?
Mae data synthetig yn rhan o bob haen o'r pentwr set ddata ond anaml y mae'n disodli data go iawn yn llwyr. Mae cynhyrchu synthetig yn graddio digwyddiadau prin, achosion ymyl, ac amrywiadau ymgorfforiad. Mae data go iawn yn angori dynameg cyswllt, trosglwyddo rhwng y cyfieithiad a'r realiti, a rhyngweithio dynol-robot. Mae rhaglenni aeddfed yn defnyddio'r ddau, gyda meincnodau wedi'u paru sy'n monitro'r bwlch perfformiad rhwng y cyfieithiad a'r realiti.
Pa mor hir mae'n ei gymryd i adeiladu'r pentwr set ddata AI ffisegol llawn?
Mae adeiladu pentwr set ddata AI ffisegol llawn fel arfer yn cymryd misoedd i flynyddoedd, yn dibynnu ar gwmpas a'r ymgorfforiad. Rhaglenni casglu ar draws amgylcheddau amrywiol yw'r rhan hiraf. Mae timau'n cyflymu trwy ddechrau gyda mireinio data Haen 3 wedi'i ffocysu ar gyfer tasg darged, yna ehangu allan i lif gwaith Haen 4 a sylw Haen 1 ehangach wrth i'r achos defnydd lleoli sefydlogi.
