Mae anodi ystum dwylo yn broses o labelu sut mae llaw a'i bysedd yn symud ar draws pob ffrâm o fideo, fel y gall robotiaid ddysgu trin deheuig, tebyg i drin dynol. Gall robotiaid heddiw gerdded, rholio a gafael mewn blwch. Yr hyn maen nhw'n dal i gael trafferth ag ef yw'r pethau bach - botymu crys, edafu cebl, codi un grawnwin heb ei falu. Yn Shaip, rydyn ni'n gweld hyn bob dydd: nid dysgu robot i symud yw'r rhan anodd o AI corfforol, mae'n dysgu ei ddwylo i ymddwyn . Ac mae hynny'n dibynnu ar ansawdd y data ystum dwylo y tu ôl iddo.
Mae'r post hwn yn mynd i'r afael yn fanwl â dwylo yn benodol. Os ydych chi eisiau'r darlun ehangach yn gyntaf, dechreuwch gyda'n canllaw i ddata hyfforddi robotiaid a setiau data trin - dyma bennod ddeheurwydd y stori honno.
Pam mai deheurwydd yw'r rhwystr go iawn wrth drin robotiaid?
Deheurwydd yw'r tagfa oherwydd bod symudiad bras wedi'i ddatrys i raddau helaeth ac nid yw rheolaeth fanwl ar fysedd. Gellir dysgu robot i gyrraedd a chau gafaelydd. Mae ei ddysgu i rolio pen rhwng dau fys, neu ail-gafael mewn sgriwdreifer yng nghanol tasg, yn her wahanol - ac mae'n dibynnu'n llwyr ar ddata sy'n dal sut mae bysedd yn symud mewn gwirionedd.

Dyma'r ffordd syml rydyn ni'n ei esbonio i gleientiaid:
- Symudiad a gafael bras — yn gweithio ar y cyfan. Mae digon o ddata yn bodoli.
- Triniaeth gain, aml-fysedd — ddim yn gweithio gan mwyaf. Prin fod y data yn bodoli.
- Y bwlch — enghreifftiau hyfforddi sy'n cofnodi beth wnaeth pob bys, ym mha drefn, a phryd y cyffyrddodd â'r gwrthrych.
Dyna'n union beth mae anodiad ystum llaw yn ei gynhyrchu. Hebddo, gall robot adnabod care esgidiau ond does ganddo ddim syniad sut i glymu un.
Beth yn union yw anodiad ystum llaw?
Mae anodiad ystum llaw yn fath o anodiad pwynt allweddol lle mae cymalau'r llaw — y migyrnau, segmentau'r bysedd, blaenau'r bysedd, a'r arddwrn — yn cael eu marcio a'u holrhain trwy bob ffrâm o glip. Mae'n troi fideo cyffredin o law yn gofnod glân, strwythuredig o symudiad y gall model ddysgu ohono.

Yn ymarferol, mae ein timau'n labelu pedwar peth ar bob llaw:
- Y sgerbwd llaw — set gyson o bwyntiau ar draws y bysedd a'r arddwrn (cynllun o dros 20 pwynt fel arfer).
- Symudiad cymalau — sut mae'r pwyntiau hynny'n plygu ac yn cylchdroi wrth i'r dasg ddatblygu.
- Y symudiad dros amser — llwybr llyfn pob pwynt o'r ffrâm gyntaf i'r olaf, nid dim ond cipluniau ynysig.
- eiliadau cyswllt — yr union fframiau lle mae bys yn cyffwrdd, yn gafael mewn, neu'n gollwng gafael mewn gwrthrych.
Y bedwaredd eitem honno yw lle mae deheurwydd yn byw. Gall unrhyw un nodi ble mae llaw; y gwerth yw cofnodi'r sut a'r pryd.
Sut mae anodiad deheurwydd yn wahanol i anodiad pwynt allweddol safonol?
Mae anodiad deheurwydd yn anodiad pwynt allweddol sy'n cael ei ddal i far llawer uwch. Mae gwaith pwynt allweddol safonol yn ateb "ble mae'r llaw?" Mae anodiad deheurwydd yn ateb "beth wnaeth pob bys, ym mha drefn, a phryd wnaeth gysylltiad?" - sef yr unig fersiwn y gall model trin hyfforddi arni mewn gwirionedd.
Mae'r gwahaniaeth yn fwyaf amlwg ochr yn ochr:
| Yr hyn rydyn ni'n ei labelu | Anodiad pwynt allweddol safonol | Anodiad ystum llaw gradd ddeheurwydd |
|---|---|---|
| Detail | Safle llaw, fesul ffrâm | Symudiad bysedd llawn, pob ffrâm |
| Dyfnder | Fflat, 2D | 3D — sut mae cymalau'n symud yn y gofod |
| amser | Ffrâm wrth ffrâm, annibynnol | Un symudiad llyfn, parhaus |
| Cysylltu | Anaml yn cael ei labelu | Gafael, cyffwrdd, a rhyddhau wedi'u marcio |
| occlusion | Yn aml yn cael ei hepgor | Wedi'i gasglu a'i lenwi'n ofalus |
| Beth mae'n dda amdano | Ystumiau, olrhain dwylo | Dysgu robotiaid i drin |
Y golofn dde yw'r hyn rydyn ni'n ei hadeiladu yn Shaip, oherwydd dyma'r unig golofn y gall robot medrus ddysgu ohoni.
Sut mae anodiad ystum llaw yn troi fideo dynol yn sgil robot?
Mae anodiad ystum llaw yn bont rhwng fideo dynol rhad ac arddangosiadau robotiaid drud. Ail-dargedu yw'r cam sy'n mapio symudiadau llaw wedi'u labelu gan berson ar law robot, felly mae arddangosiad dynol yn dod yn rhywbeth y gall robot ei gopïo. Mae ffilmio pobl yn hawdd ac yn raddadwy; mae dal arddangosiadau robotiaid go iawn yn araf ac yn gostus - felly'r llwybr call yw dysgu robotiaid gennym ni.
Mae'r llif rydyn ni'n ei redeg ar gyfer cleientiaid fel hyn:
- cofnod — tynnu fideo person cyntaf (“yr hyn mae fy nwylo’n ei weld”) o berson yn gwneud tasg.
- Anodi — labelwch ystum y llaw ar draws pob ffrâm i adfer symudiad llawn y bys.
- Ail-dargedu — mapio'r symudiad hwnnw ar law'r robot fel y gall atgynhyrchu'r weithred.
Enghraifft ddefnyddiol: i ddysgu robot cegin i gracio wy, does dim angen mil o robotiaid yn ymarfer. Mae angen fideo glân, wedi'i labelu'n dda, o bobl yn cracio wyau - yr anodiad yw'r hyn sy'n gwneud y ffilm honno'n addysgadwy.
Ble mae data trin deheuig yn cael ei ddefnyddio mewn gwirionedd?
Mae data deheurwydd yn bwysig lle bynnag y mae'n rhaid i beiriant drin y byd ffisegol yn ofalus. Dyma'r adran y mae'r rhan fwyaf o drosolygon yn ei hepgor, felly mae'n werth bod yn bendant. Porthiant anodiadau ystum llaw a deheurwydd:
Robotiaid dynol a robotiaid cartref — plygu dillad, llwytho peiriant golchi llestri, trin gwrthrychau bob dydd sydd o bob siâp.
Awtomeiddio warysau a manwerthu — codi eitem fregus oddi ar silff heb ei difrodi, neu ddidoli cynhyrchion cymysg yn ôl teimlad.
Gofal iechyd a roboteg gynorthwyol — dyfeisiau adsefydlu a breichiau cynorthwyol y mae'n rhaid iddynt symud yn ysgafn o amgylch pobl.
Gweithgynhyrchu ac atgyweirio — defnyddio offer, llwybro ceblau, a chydosod rhannau bach lle na fydd gafael bras yn gwneud y tro.
AR/VR a dyfeisiau gwisgadwy — rhyngweithio dwylo naturiol, rheoli ystumiau, a rhyngwynebau olrhain dwylo.
Yr edau gyffredin: mae pob un yn methu heb ddata hyfforddi sy'n dal symudiad bysedd manwl. Dyna'r angen y mae gwaith symudiad, ystum a deheurwydd Shaip wedi'i gynllunio i'w ddiwallu.
Pa mor fawr sydd angen i ddata deheurwydd fod - a pha mor dda?
Mae graddfa'n bwysig, ond mae ansawdd yn bwysicach. I roi'r raddfa mewn persbectif, casglodd un set ddata ymchwil nodedig a gyhoeddwyd yn 2025 829 awr o fideo trin person cyntaf gyda thracio dwylo mewn parau ar draws 194 o dasgau bob dydd - a ddisgrifiwyd gan ei awduron fel y set ddata trin deheuig fwyaf o'i fath ( Apple Machine Learning Research, 2025 ). Dyna'r cyfeiriad y mae'r maes yn anelu ato: mawr, wedi'i labelu'n gyfoethog, ac amrywiol o ran tasgau.
Ond nid yw cyfaint yn unig yn hyfforddi robot da. Yn ein profiad ni yn Shaip, mae'r rhan fwyaf o fethiannau deheurwydd yn deillio o ansawdd label , nid maint y set ddata. Mae'r problemau anodd yn rhai ymarferol:
- Bysedd cudd — mae dwylo'n gorchuddio eu hunain a'r gwrthrychau maen nhw'n eu dal yn gyson.
- Bysedd tebyg — mae'n hawdd cam-labelu un bys fel ei gymydog.
- Symudiad cyflym — mae symudiadau cyflym yn cymylu'r union fframiau sydd bwysicaf.
- Cysondeb dros amser — gall un label cymal sigledig ddifetha dilyniant symudiad cyfan.
Dyma pam mae pob prosiect deheurwydd yn Shaip yn rhedeg trwy dimau hyfforddedig, sydd â phobl yn y ddolen a phroses ansawdd aml-gam — dilysu pas cyntaf, calibradu yn erbyn set safon aur, ac adolygiad rhyddhau terfynol — gyda chytundeb rhyng-anodyddion a throthwyon derbyn penodol i dasgau wedi'u gosod fesul prosiect. Mae data glân yn rhatach na robot a ddysgodd y symudiad anghywir.
Sut mae Shaip yn helpu
Yn Shaip, rydym yn ymdrin â'r daith gyfan — o gasglu fideo arddangos person cyntaf a dynol, i labelu manwl gywir ar ystum dwylo a deheurwydd, i ddata parod ar gyfer ail-dargedu y gall eich tîm hyfforddi arno. Mae'r cyfan yn cael ei gyflwyno o dan ddiogelwch gradd menter (ISO 27001 ac SOC 2 Math II) gan weithlu rheoledig, wedi'i wirio.
Archwiliwch ein datrysiadau data hyfforddi AI Corfforol , gweler sut rydym yn cynnal casgliad data fideo egocentrig ar gyfer y data deheurwydd lluniau person cyntaf y mae'n dechrau ohono, neu darllenwch ein canllaw cydymaith ar beth yw set ddata egocentrig.
Beth yw anodiad ystum llaw?
Labelu cymalau llaw — migyrnau, segmentau bysedd, blaenau bysedd, ac arddwrn — ar draws pob ffrâm o fideo yw anodiad ystum llaw. Mae'n creu data strwythuredig sy'n dysgu robotiaid a modelau AI sut mae llaw yn symud ac yn trin gwrthrychau dros amser.
Sut mae anodiad deheurwydd yn wahanol i anodiad pwynt allweddol safonol?
Mae anodiad pwynt allweddol safonol yn nodi ble mae llaw, ffrâm wrth ffrâm, mewn 2D. Mae anodiad deheurwydd yn ychwanegu dyfnder, symudiad llyfn dros amser, ac eiliadau cyswllt wedi'u labelu — gan gynhyrchu data y gall robot ei ddefnyddio mewn gwirionedd i ddysgu trin manwl, aml-fys.
Beth yw ail-dargedu mewn data ystum llaw?
Mae ail-dargedu yn mapio symudiadau llaw wedi'u labelu gan berson ar law robot, felly mae arddangosiad dynol yn dod yn weithred y gall y robot ei hatgynhyrchu. Dyma sut mae fideo dynol toreithiog yn cael ei droi'n ddata hyfforddi robotiaid prin a gwerthfawr.
Pam mae deheurwydd yn cyfyngu ar yr hyn y gall robotiaid ei wneud?
Mae deheurwydd yn cyfyngu ar robotiaid oherwydd bod tasgau bras fel cerdded a gafael syml yn cael eu datrys i raddau helaeth, tra bod rheolaeth fanwl â bysedd — ail-gafael mewn offeryn, trin gwrthrych cain — yn brin o'r data hyfforddi sy'n dal sut mae bysedd yn symud. Mae anodiad ystum llaw yn cyflenwi'r signal coll hwnnw.
Pa ddiwydiannau sy'n defnyddio data deheurwydd?
Mae roboteg humanoid a chartref, awtomeiddio warysau a manwerthu, robotiaid gofal iechyd a chynorthwyol, gweithgynhyrchu ac atgyweirio, a rhyngweithio â llaw AR/VR i gyd yn dibynnu ar ddata deheurwydd i drin gwrthrychau yn y byd go iawn yn ddiogel ac yn fanwl gywir.
A yw maint y set ddata neu ansawdd y label yn bwysicach?
Mae'r ddau yn bwysig, ond mae ansawdd y label fel arfer yn penderfynu'r canlyniad. Mae setiau data mawr yn helpu, ond mae'r rhan fwyaf o fethiannau deheurwydd yn olrhain yn ôl i labeli llaw anghyson neu anghywir - a dyna pam mae Shaip yn paru graddfa â rheolaeth ansawdd llym, sy'n cynnwys pobl.
A all Shaip gasglu a labelu fideo o law'r person cyntaf?
Ydw. Mae Shaip yn casglu ac yn anodi fideos arddangos person cyntaf a fideos arddangos dynol, gan gynhyrchu data ystum llaw cywir, sy'n barod i'w ail-dargedu o dan reolaethau ISO 27001 a SOC 2 Math II.