Mae set ddata egocentrig yn gasgliad strwythuredig o recordiadau fideo a synhwyrydd person cyntaf - wedi'u dal o gamera wedi'i gosod ar y pen, y frest, neu'r arddwrn - a ddefnyddir i hyfforddi roboteg a systemau AI ymgorfforol ar sut mae pobl yn gweld, yn symud ac yn gweithredu. Dyma'r cyfatebiaeth agosaf i'r hyn y bydd camera ar fwrdd robot yn ei weld yn ystod gweithrediad, a dyna pam ei fod wedi dod yn sylfaenol i hyfforddiant model gweledigaeth-iaith-gweithredu (VLA).
Mae robot sydd wedi'i hyfforddi ar luniau labordy yn unig yn aml yn damwain y diwrnod cyntaf y mae'n gadael y labordy. Anaml y model yw'r rheswm. Y data ydyw.
Mae'r rhan fwyaf o fideos hyfforddi yn cael eu ffilmio o dribodd neu gamera nenfwd. Mae'r math yna o luniau yn dangos yr ystafell, ond nid y gwaith. Nid y llaw. Nid y gwrthrych. Nid yr union ongl y bydd camera mewnol robot yn ei gweld pan fydd yn codi cwpan neu'n agor drôr mewn gwirionedd. Y bwlch hwnnw yw'r hyn y mae set ddata egocentrig wedi'i hadeiladu i'w gau.
Mae'r canllaw hwn yn mynd drwy beth yw set ddata egocentrig, pam mae data person cyntaf wedi dod yn sylfaen roboteg fodern a deallusrwydd artiffisial ymgorfforol, sut olwg sydd ar ddata da mewn gwirionedd, a beth y dylai timau edrych amdano cyn trwyddedu neu gomisiynu un.
Beth yw set ddata egocentrig?
Mae set ddata egocentrig yn gasgliad strwythuredig o ddata fideo a synhwyrydd a gipiwyd o safbwynt person cyntaf. Mae'r camera yn eistedd ar ben, brest neu arddwrn y person sy'n gwneud tasg - weithiau ar y robot ei hun - felly mae'r recordiad yn dangos y byd yn union fel mae'r actor yn ei weld.
Mae "egogganolog" yn syml yn golygu o'r hunanMae camera trydydd person yn dangos beth sy'n digwydd mewn ystafell. Mae camera egocentrig yn dangos beth mae dwylo, llygaid ac offer yr actor yn ei wneud tra bo'n digwydd. Mae'r gwahaniaeth hwnnw'n swnio'n fach. I dimau roboteg, mae'n bopeth.
Mae'r rhan fwyaf o setiau data egocentrig modern yn paru fideo â signalau ychwanegol - dyfnder, symudiad, sain, ac weithiau olrhain llygaid neu ddwylo - fel y gellir astudio un foment o sawl ongl ar unwaith.
Pam mae data egocentrig yn bwysig ar gyfer roboteg a deallusrwydd artiffisial ymgorfforol
Mae robotiaid yn methu yn y byd go iawn am restr fach o resymau. Mae safbwynt anghywir yn eistedd ger y brig.
Mae hyfforddi ar ddata person cyntaf yn dileu'r cam cyfieithu hwnnw. Mae'r model yn dysgu o'r un olygfa y bydd yn ei defnyddio'n ddiweddarach. Mae ymchwil dysgu robotiaid diweddar wedi dangos y gall polisïau a hyfforddwyd ar ddata person cyntaf berfformio'n well na pholisïau a hyfforddwyd gan drydydd person o 15–30% ar dasgau trin, yn dibynnu ar y math o dasg. Mae'r wobr yn amlwg yn y gwaith ei hun: gafaelion glanach, amseru llaw-llygad gwell, ymatebion craffach i annibendod a golygfeydd rhannol.
Dyma hefyd pam mae data person cyntaf wrth wraidd AI Corfforol systemau a'r don newydd o modelau gweledigaeth-iaith-gweithredu — systemau sy'n derbyn mewnbwn gweledol a chyfarwyddyd llafar neu ysgrifenedig, yna'n allbynnu gweithred go iawn yn y byd ffisegol.
Y tu mewn i set ddata egocentrig o ansawdd uchel
Nid yw fideo crai ar ei ben ei hun yn ddigon. Mae casglu data egocentrig o ansawdd uchel yn paru fideo person cyntaf â sawl signal arall:
- Fideo cydamserol mewn cydraniad da, yn aml o fwy nag un ongl (pen, brest, neu arddwrn)
- Data dyfnder sy'n helpu model i ddeall pa mor bell yw gwrthrych, nid dim ond ble mae'n ymddangos yn y ffrâm
- Data synhwyrydd symudiad (IMU) sy'n olrhain symudiad y pen a'r corff ffrâm wrth ffrâm
- sain — sy'n cario symiau rhyfeddol o gyd-destun, fel cyllell ar fwrdd neu berson yn siarad gerllaw
- Olrhain llaw neu lygad ar gyfer tasgau lle mae sylw a gafael yn bwysig
Y broblem yw bod rhaid i hyn i gyd gyd-fynd i'r filieiliad. Os yw'r nant ddyfnder yn symud chwarter eiliad y tu ôl i'r fideo, mae'r model yn dysgu'r achos-ac-effaith anghywir. Egosentrig cadarn anodi data ar ben cipio wedi'i galibro'n dda yw'r hyn sy'n troi recordiadau crai yn ddata parod ar gyfer hyfforddiant.
Lluniau labordy yn erbyn cipio byd go iawn
Mae'n helpu i ddelweddu math gwahanol o broblem hyfforddi.
Dychmygwch ddysgu rhywun i reidio beic trwy chwarae iddyn nhw luniau drôn yn unig wedi'u tynnu o'r uchod. Bydden nhw'n gweld y beic, y ffordd, a'r llwybr. Ni fydden nhw'n gweld y siglo yn y bariau llywio, y ffordd mae'r llygaid yn sganio ymlaen mewn corneli, na sut mae'r corff yn symud cyn troi. Bydden nhw'n gwybod yn dechnegol beth yw beicio. edrych felFydden nhw ddim yn gwybod sut i do hynny.
Mae gan ddata labordy yr un broblem ar raddfa fawr. Goleuadau glân, un gwrthrych ar fwrdd glân, un dasg fesul clip - mae'n daclus, ond nid dyma'r byd y mae robot yn llongio iddo. Yn aml, mae modelau sydd wedi'u hyfforddi ar luniau labordy yn gweithio ar ddiwrnod un ac yn cwympo'n ddarnau ar ddiwrnod tri deg, pan fydd y goleuadau'n fflachio, dau berson yn croesi llwybrau, neu dri SKU yn eistedd ar yr un silff.
Mae cipio egocentrig yn y byd go iawn yn dod â'r sŵn yn ôl i mewn. Y sŵn hwnnw sy'n gwneud i fodelau ddal eu gafael ar ôl eu defnyddio.
Y pedair haen o bentwr set ddata egocentrig
Mae angen gwahanol haenau data ar wahanol broblemau. Anaml y bydd set ddata a adeiladwyd ar gyfer un swydd yn cwmpasu ffynnon arall. Dyma ffordd syml o feddwl am yr haenau y mae'r rhan fwyaf o dimau AI corfforol yn eu pentyrru at ei gilydd i adeiladu set ddata AI ymgorfforol gyflawn:
| haen | Beth mae'n ei gipio | Beth mae'n ei hyfforddi |
|---|---|---|
| Dealltwriaeth ddynol | Gweithgaredd dynol go iawn mewn amgylcheddau bob dydd | Canfyddiad sylfaenol — sut mae pobl yn symud, yn dal gwrthrychau, yn newid tasgau |
| Cyflawni tasgau | Data trin: llwybrau, gafaelion, cyflyrau cymalau | Rheoli symudiadau robotiaid ac ailadrodd sgiliau |
| Cyfarwyddyd yn dilyn | Gweledigaeth + cyfarwyddiadau llafar neu ysgrifenedig + gweithredoedd | Modelau gweledigaeth-iaith-gweithredu sy'n troi cyfarwyddyd yn weithred go iawn |
| Cwblhau llif gwaith | Data tasg hir, aml-gam gyda thrin eithriadau | Rhesymu hirhoedlog ac adferiad pan fydd rhywbeth yn mynd o'i le |
Mae'r rhan fwyaf o dimau cynhyrchu yn tynnu o fwy nag un haen. Mae humanoid sydd angen llwytho peiriant golchi llestri, er enghraifft, yn tynnu o leiaf dri: arddangosiadau dynol, trin manwl, a strwythur tasgau cam wrth gam.
Lle mae data egocentrig yn gyrru galw go iawn
Mae'r math yna o fwlch yn ymddangos ar draws diwydiannau, a dyna pam mae'r galw am ddata hyfforddi person cyntaf yn cynyddu mewn rhai mannau penodol:
- Robotiaid dynol a robotiaid cartref. Coginio, glanhau, rhoi nwyddau bwyd i ffwrdd. Tasgau sy'n edrych yn hawdd nes i chi wylio robot yn rhoi cynnig arnyn nhw.
- Symudedd ymreolaethol. Gyrru, ymddygiad yn y caban, danfon ar y filltir olaf. Mae cipio person cyntaf yn cau'r bwlch rhwng efelychiad a strydoedd go iawn.
- Setiau data egocentrig diwydiannol. Lloriau ffatri, llinellau cydosod, safleoedd olew a nwy — a ddefnyddir i hyfforddi canfod diogelwch, olrhain ergonomig, a roboteg sy'n cynorthwyo gweithwyr.
- Data fideo llawfeddygol person cyntaf. Cipio gweithdrefnau o gamerâu ar y pen a wisgir gan lawfeddygon, a ddefnyddir i hyfforddi modelau cymorth a systemau realiti estynedig meddygol.
- Data egocentrig ymddygiad defnyddwyr manwerthu. Delweddau gwisgadwy o siopwyr mewn siopau go iawn, a ddefnyddir i astudio sylw, llywio a gwneud penderfyniadau ar y silff.
Diwydiannau gwahanol, yr un angen sylfaenol: data sy'n edrych fel y gwaith, nid y labordy.
Beth sy'n gwneud set ddata egocentrig yn barod ar gyfer modelau?
P'un a ydych chi'n adeiladu darparwyr data mewnol neu'n eu gwerthuso, mae pum peth yn gwahanu data gradd ymchwil oddi wrth ddata sy'n dal ei dir mewn cynhyrchiad:
- Dyfnder anodiad data egosentrig. Nid blychau ffiniol yn unig. Ystumiau dwylo, cyflyrau gwrthrychau, camau gweithredu, a bwriad — i gyd wedi'u halinio i'r ffrâm gywir.
- Calibradiad synhwyrydd. Cysoni amser ar draws fideo, dyfnder, sain a symudiad fel bod y model yn gweld un foment gydlynol, nid pum nant sy'n symud.
- Gorchudd achos ymyl. Golau isel, rhwystr, golygfeydd gorlawn, digwyddiadau prin. Yr achosion lle mae data labordy yn gadael bylchau'n dawel. Mae arolygon prynwyr yn y diwydiant yn gyson yn rhestru ansawdd anodiadau a sylw achosion ymylol fel y ddau faen prawf pwysicaf wrth werthuso partneriaid data.
- Caniatâd a chydymffurfiaeth. Mae fideo person cyntaf yn sensitif yn ôl y diffiniad. Mae angen caniatâd cyfranogwyr wedi'i ddogfennu ar setiau data, dad-adnabod wynebau lle bo angen, a chydymffurfiaeth â fframweithiau fel GDPR a HIPAA. Mae rheolaethau gwerthwyr fel ISO 27001 ac SOC 2 Math II yn ychwanegu'r haen weithdrefnol y mae timau cyfreithiol menter yn ei disgwyl.
- Parodrwydd o'r un peth i'r llall. Lluniau o'r byd go iawn sy'n paru'n lân â data synthetig, fel y gall timau raddio hyfforddiant heb golli'r sail sy'n gwneud modelau'n ddibynadwy.
Ansawdd casglu data yw'r rhan anoddaf i'w thrwsio yn ddiweddarach. Gwnewch hi'n iawn wrth y ffynhonnell, a bydd gweddill y biblinell yn symlach.
Siopau tecawê allweddol
- Mae set ddata egocentrig yn ddata fideo a synhwyrydd person cyntaf — wedi'i gipio o safbwynt yr actor ei hun — a ddefnyddir i hyfforddi roboteg a modelau AI ymgorfforol yn y ffordd y byddan nhw'n gweld y byd mewn gwirionedd mewn defnydd.
- Mae data person cyntaf yn cau'r bwlch rhwng canfyddiad a gweithredu sy'n achosi i robotiaid sydd wedi'u hyfforddi mewn labordy fethu ar sifftiau go iawn.
- Mae data egocentrig o ansawdd yn amlfoddol — fideo, dyfnder, sain, symudiad ac olrhain — wedi'u cydamseru i'r milieiliad.
- Mae parodrwydd cynhyrchu yn golygu mwy na dim ond anodiadau — mae'n golygu sylw ar ymyl yr achos, amgylcheddau byd go iawn, parodrwydd o'r un peth i'r llall, a llwybr cydymffurfio wedi'i ddogfennu.
Sut gall Shaip helpu
Os yw eich tîm wedi mynd heibio i'r cam "oes angen data egocentrig arnom" ac i mewn i "sut ydyn ni'n ei gael mewn gwirionedd", dyna lle mae Shaip yn ffitio i mewn.
Rydym yn rhedeg y biblinell ddata lawn y tu ôl i raglenni AI ffisegol — cipio person cyntaf mewn amgylcheddau go iawn, anodi gradd VLA, data synthetig, RLHF, a meincnodau gwerthuso o dan un ymgysylltiad. Ychydig o fanylion penodol:
- Cipio o'r byd go iawn, nid lluniau labordy. Camerâu wedi'u gosod ar y pen, sbectol glyfar, a dyfeisiau gwisgadwy ar draws ceginau, warysau, ffatrïoedd, cyfleusterau gofal iechyd, a siopau.
- Cydamseru aml-synhwyrydd. Fideo, IMU, LiDAR, sain, a dyfnder — wedi'u calibro a'u halinio o ran amser i'r milieiliad.
- Anodiad wedi'i adeiladu ar gyfer hyfforddiant VLA. Gwrthrychau, gweithredoedd, rhyngweithiadau llaw-gwrthrych, bwriad, a chyd-destun gofodol.
- Cymorth Sim-i-real. Cynhyrchu synthetig a phiblinellau Real2Sim sy'n ymestyn y sylw heb golli sylfaen yn y byd go iawn.
- Cydymffurfiaeth o'r diwrnod cyntaf. ISO 27001, SOC 2 Math II, yn barod ar gyfer HIPAA, a GDPR — gyda chasglu caniatâd yn gyntaf a tharddiad data sy'n barod ar gyfer archwiliad.
Os yw hynny'n cyfateb i ble mae eich rhaglen AI gorfforol yn mynd, byddem yn falch o gwmpasu cynllun peilot.
Casgliad
Nid fideo person cyntaf yn unig yw set ddata egocentrig. Mae'n ffordd strwythuredig o ddysgu peiriannau i weld a gweithredu yn yr un ffordd â phobl. I dimau roboteg a deallusrwydd artiffisial ymgorfforol, dyma'r gwahaniaeth rhwng model sy'n arddangos yn dda ac un sy'n cludo. P'un a yw'r nod yn ddynolryw, ymreolaeth, neu ffatrïoedd clyfar, mae data egocentrig ar gyfer datblygu roboteg a deallusrwydd artiffisial yn dod yn haen graidd o bob strategaeth set ddata deallusrwydd artiffisial ymgorfforol ddifrifol - nid un ddewisol. Y timau sy'n ei gael yn iawn yw'r rhai sy'n trin data - casglu, anodi, dilysu, a chydymffurfiaeth - fel rhan graidd o'r system, nid cam o'i blaen.
Beth yw set ddata egocentrig mewn termau syml?
Mae'n set strwythuredig o recordiadau fideo a synhwyrydd a gipiwyd o safbwynt person cyntaf - fel arfer o gamera a wisgir ar y pen, y frest neu'r arddwrn - a ddefnyddir i hyfforddi systemau AI ar sut mae pobl yn gweld ac yn gwneud tasgau.
Pam mae angen data egocentrig ar dimau roboteg yn lle fideo trydydd person rheolaidd?
Mae fideo trydydd person yn dangos yr olygfa o safbwynt rhywun sy'n sefyll o gwmpas. Mae robotiaid yn gweithredu o'u safbwynt eu hunain. Mae hyfforddiant ar ddata person cyntaf yn cau'r bwlch rhwng yr hyn y mae'r model yn ei ddysgu a'r hyn y mae'r robot yn ei weld mewn gwirionedd yn y gwaith, gyda chynnydd cywirdeb wedi'i ddogfennu o 15–30% ar dasgau trin.
Pa synwyryddion a ddefnyddir yn gyffredin i gasglu data egocentrig?
Camerâu RGB, synwyryddion dyfnder, synwyryddion symudiad (IMU), a sain. Mae llawer o osodiadau hefyd yn ychwanegu olrhain llaw neu lygaid. Ar gyfer roboteg ymreolus, weithiau mae LiDAR yn cael ei ychwanegu at ei gilydd ar gyfer mapio gofodol.
Sut mae data egocentrig yn ffitio i mewn i hyfforddiant gweledigaeth-iaith-gweithredu (VLA)?
Mae modelau VLA yn cymryd mewnbwn gweledol a chyfarwyddyd iaith, yna'n allbynnu gweithred. Mae data egocentrig yn rhoi'r triphlyg golygfa, cyfarwyddyd a chanlyniad cyfatebol sydd eu hangen arnynt i ddysgu'r mapio hwnnw'n ddibynadwy.
Beth sy'n gwahaniaethu set ddata egocentrig o safon ymchwil oddi wrth un o safon defnydd?
Tri pheth: ansawdd anodiadau mwy llym, sylw amgylcheddol ehangach mewn lleoliadau byd go iawn yn hytrach na labordai, a llwybr cydymffurfio wedi'i ddogfennu sy'n cwmpasu caniatâd, preifatrwydd, a tharddiad data sy'n barod ar gyfer archwiliad.
