Golfi ja pesapalli kiigete markerita liikumiskaamera parandamine RTMPose ja RTMDet abil: ülalt alla lähenemine

Golfi ja pesapalli kiigete markerita liikumiskaamera parandamine RTMPose ja RTMDet abil: ülalt alla lähenemine

Kokkuvõte

See valge paaber dokumenteerib RTMPose ja RTMDet rakendamist golfi ja pesapalli kiigete täpsel ja tõhusal poosi hindamisel. Kasutades reaalajas jõudlusele optimeeritud tipptasemel tehnikaid, võimaldavad need mudelid keha liigutuste üksikasjalikku jälgimist golfi ja pesapalli kiigete ajal – kriitiliselt oluline funktsioon spordi analüütika parandamiseks. Toome esile ülalt alla lähenemise eelised, kus kasutusele võetav RTMDet detektor tuvastab golferi ja pesapalli mängija iga kaadris ning RTMPose hindab võtmekeha liigendite asukoht.

1. Sissejuhatus

Poosi hindamine on muutunud oluliseks spordi jõudluse analüüsil, võimaldades täpset sportlaste liigutuste jälgimist. Golfis ja pesapallis annab mängija kiigete biomehhaaniliste andmete hõivamine väärtuslikke teadmisi kiigete dünaamika kohta, aidates professionaalidel ja amatööridel oma tehnikaid täiustada. Traditsioonilised 2D poosi hindamise meetodid seisavad sageli silmitsi latentsuse ja täpsuse probleemidega, eriti reaalajas stsenaariumites. See paaber pakub lahendust, kasutades RTMPose ja RTMDet MMPose raamistikus golfi ja pesapalli kiigete üksikasjalikuks poosi hindamiseks.

2. Taust

Golfi ja pesapalli kiigete keerukus nõuab keha liigutuste täpset mõõtmist. Olemasolevad poosi hindamise meetodid ei pruugi pakkuda reaalajas jõudluseks vajalikku täpsust. Süvaõppe ja arvutinägemise edusammud on toonud esile mudelid nagu RTMPose ja RTMDet, mis pakuvad paranenud täpsust ja tõhusust.

3. Ülalt alla lähenemine RTMDet ja RTMPose abil

–joonise sisestamine–

3. RTMPose: kiirkiirus poosi hindamise mudel

RTMPose [1] on mõeldud kiirkiirusega reaalajas poosi hindamiseks, optimeeritud tõhusaks käitamiseks piiratud riistvaral.

Põhifunktsioonid:

Mudeli arhitektuur ja tõhusus: RTMPose kasutab CSPNeXt-i selga [1, 2], tasakaalustades kiirust ja täpsust. CSPNeXt on optimeeritud tihedate ennustusülesannete, nagu poosi hindamine ja objekti tuvastamine jaoks, pakkudes kõrget resolutsiooni ja täpsust, säilitades arvutuslikku tõhusust.

Võtmepunkti ennustamine: Kasutab SimCC-põhist algoritmi [1, 3], käsitledes võtmepunktide horisontaal- ja vertikaalseid positsioone eraldi klassifitseerimisülesannetena. See kompaktne esitus vähendab arvutuslikku koormust ja sobib erinevatel seadmetel kasutamiseks.

4. RTMDet: tuvastamise selg

RTMDet [4] toimib detektorina RTMPose eelnevalt ülalt alla müüraumusses, tuvastades golferi või pesapalli mängija asukohta iga kaadri piires.

Põhifunktsioonid:

Mudeli arhitektuur ja tõhusus: RTMDet kasutab CSPDarkNeti muudetud versiooni [5], mis on treenitavamad ja täpsemad kui paljud YOLO mudelid. Muudetud versioon kasutab suure kerneli sügavust convolutioone keerukuse ja kiiruse tasakaalustamiseks ning on tõhus nii GPU kui CPU peal. See on ideaalne reaalajas rakenduste, nagu spordi jõudluse jälgimine, jaoks.

Paindlikkus: Käsitleb erinevaid objekti tuvastamise ülesandeid, sealhulgas eksemplari segmenteerimist ja pööratud objekti tuvastamist. Tagab mängija täpse lokaliseerimise isegi dünaamilistes stseenides.

5. RTMDet ja RTMPose kasutamise eelised golfi ja pesapalli kiigete analüüsil

5.1 Suurem täpsus rahvastikuta stseenides

Tüüpilistes golfi/pesapalli seadetes, kus kaadris on väheseid inimesi, isoleerib RTMDet golferi/pesapalli mängija, võimaldades RTMPose-l töödelda iga tuvastatud isikut kõrge täpsusega. See väldib alumiselt ülespoole meetodite keerukust, mis töötlevad kaadris olevate kõigi isikute kõiki võtmepunkte samaaegselt. Ülalt alla lähenemine võib sisaldada ka RTMDet järeltöötlusalgoritmi, mis tuvastab õige isiku (st golferi või pesapalli mängija) enne poosi hindamist. Lisaks on RTMPose treenitud laiendatud pildimaterijalil, mis sisaldab

5.2 Tõhus arvutus ja reaalajas jõudlus

Kerge mudelite, nagu RTMDet ja RTMPose, kasutamine säilitab madala latentsuse, võimaldades reaalajas kiige analüüsi tavakasutajate riistvaral. See on eriti kasulik otseandmete tagasiside andmiseks koolituse või treeningu ajal. Swing Catalyst markerita liikumiskaamera süsteem on üks väheseid stuudiosüsteeme, mis pakub golfitele ja pesapalli mängijatele otseliinil liikumiskaamera tagasisidet.

5.3 Üksikasjalik võtmepunkti analüüs

RTMPose tuvastab 26 keha võtmepunkti seadistuse [6], mis on kuvatud allpool joonisel 1, olulised golfi ja pesapalli kiigete kinemaatika analüüsimisel. Halpe26 on laiendatud seadistus, mis sisaldab jalgu ja pead lisakohti võrreldes tavalisemat Coco seadistusega, millel on 17 markeri.

–joonisel sisestamine–

6. Golfi ja pesapalli kiigete markerita liikumiskaamera metodoloogia

6.1 Tuvastamise faas: RTMDet

RTMDet rakendatakse golferi või pesapalli mängija videokaabritele, genereerides piirtelgi mängija ümber, mis ovat RTMPose poolt edastatavad. See fokusseerib poosi hindamist asjaomastel pildipiirkondadel, vähendades arvutuslikku koormust.

–pildi sisestamine–

6.2 Poosi hindamise faas: RTMPose

RTMPose hindab võtmepunkti positsioone piirtelgi sees. Kriitilised liigendid golfi ja pesapalli kiigete analüüsil hõlmavad käekalu, küünarnukke, õlgu, puusasid ja põlvi. Need võtmepunktid hindavad keha nurki ja positsioone kiige faasides: tagasihoidmine, allapoole löömise faas ja läbi jätkamine.

–pildi sisestamine–

6.3 Jõudluse meetermõõdud

RTMPose üldist jõudlust mõõdetakse meetermõõdudega nagu keskmine täpsus (AP) poosi hindamise etalonidel nagu MS COCO. Allpool on tavaliselt kasutatavate Coco etalone paremalt järjestatud mudelite jõudlus. MS COCO val andmestikul on RTMPose-X paremalt tulemuslik mudel, võimeline pakkuma reaalajas tagasisidet ja saavutab kuni 75,8% AP-d kaadrite kiirusega, ületades ?? FPS tavakasutajate GPU-del, muutes selle sobivaks kiirkiiruseks spordi analüüsiks.

Järg Mudel Resolutsioon Suurus/parameetrid (milj) AP Realse aja järeldus

1 Sapiens-2B 1024x768 2000 82,2 Ei

2 Sapiens-1B 1024x768 1000 82,1 Ei

3 Sapiens-0.6B 1024x768 600 81,2 Ei

4 Sapiens-0.3B 1024x768 300 79.6 Ei

5 VitPose-H 256x192 632 79.4 Ei

6 RTMPose-X 384x288 49 78.8 Jah

7 VitPose-L 256x192 307 78.6 Ei

8 RTMPose-L 384x288 28 78.3 Jah

9 HRFormer 256x192 43 77.2 Ei

10 HRNet-UDP 384x288 64 77.2 Jah

11 VitPose-B 256x192 86 77.0 Jah

12 RTMPose-L 256x198 28 76.7 Jah

13 RTMPose-M 384x288 14 76.6 Jah

14 HRNet 384x288 64 76.3 Jah

15 VitPose-S 256x192 43 75.8 Jah

16 RTMPose-M 256x192 14 74.9 Jah

17 SimpleBaseline 256x192 60 73.5 Jah

18 FastPose 256x192 79 73.3 Jah

7. Rakendamine golfiswingu analüüsil

RTMPose-X ja RTMDet-M raamistiku rakendamisel:

Jälgi liigendite liikumist kaadri kaupa: Pakub kopleksseid andmeid swingi iga faasi analüüsimiseks.

Paku reaalajas tagasisidet: Võimaldab saada koheseid teadmisi swingi postuuri ja vormi kohta treeningseanssidel.

Võrdle ideaalsete mehaanikaga: Võimaldab võrdlust ideaalsete swingi kinemaatiliste andmete vastu, et tuvastada parandamise valdkonnad.

8. Kokkuvõte

RTMPose-X ja RTMDet-M integreerimine pakub võimsat lahendust reaalajas golfiswingu analüüsiks. Kõrge täpsuse, madala latentsuse ja erinevate riistvaraplatvormide ühilduvusega võimaldab see ülalt alla lähenemine detailseid teadmisi swingi mehaanika kohta. Sellel on oluline potentsiaal nii amatööri- kui ka professionaalsete golferite jõudluse parandamisel.

9. Tulevik tehtavad tööd

Tulevased arengud võivad hõlmata:

Masinõppe algoritmide integreerimine: Et pakkuda ennustavat analüütikat ja soovitada parandusi swingi efektiivsuse parandamiseks.

Laiendamine mitmeosalejate stsenaariumidele: Rakendatavuse parandamine meeskondasportides või grupitreeningu keskkondades.

Kasutajasõbraliku liidese arendamine: Rakenduste või tööriistade loomine, mis muudavad selle tehnoloogia kättesaadavaks treenerite ja spordilastele ilma tehnilistest kogemustest.

Lisa

Üksikasjalik metodoloogia: ülalt alla lähenemine golfiswingu poosi hindamisele kasutades RTMPose-X ja RTMDet-M

Ülevaade

Siin kirjeldatud metodoloogia esitab üksikasjalikud sammud ülalt alla lähenemiseks reaalajas poosi hindamise jaoks golfi ja pesapalli swingul, kasutades RTMPose võtmepunktide lokaliseerimise tugevusi ja RTMDet objekti tuvastamise tugevusi. Protsess jaguneb mitmeteks etappideks: tuvastamine, võtmepunktide lokaliseerimine ja järeltöötlus, millest igaüks panustab keha liigendite täpsele ja tõhusale hindamisele golfiswingil biomehhaanilise analüüsi jaoks.

–Sisesta joonis–

1. Tuvastamise faas: reaalajas lokaliseerimise RTMDet-M abil

Ülalt alla lähenemise esimene etapp hõlmab golferi tuvastamist video iga kaadris. Spordiolukorras, eriti golfi puhul, koosneb stseeni tavaliselt ühest mängijast, mis lihtsustab tuvastamise ülesannet võrreldes rahva stseenidega.

1.1 Mudeli arhitektuur

RTMDet-M kasutatakse torujoonisesse objekti detektorina. See kasutab konvolutsioonilist närgusvõrku (CNN) selgroog, spetsiaalselt CSPNeXt selgkonda, mis on loodud reaalajas objekti tuvastamise jõudluse optimeerimiseks, säilitades samal ajal tasakaalu kiiruse ja täpsuse vahel. Arhitektuuri peamised aspektid:

Suure kerneli sügavuse konvolutsioonid: Neid kasutatakse selgroo ja kaelaosades, suurendades vastuvõtva välja samal ajal madala arvutuskuluga.

Feature pyramid network (FPN): Mitmetasandilise tunnuste eraldamise tehnika, mis võimaldab objektide tuvastamist erinevates skaalades, tagades, et golfer saab tuvastada olenemata nende kaugusest kamerast.

1.2 dünaamiline siltide määramine

RTMDet-M kasutab dünaamilist siltide määramise strateegiat, mis parandab tuvastamise täpsust, määrates objektidele pehmed sildid klassifikatsiooni ja lokaliseerimise kaoto kombinatsiooni alusel. Siltide määramist kontrollib SimOTA algoritm, mis dünaamiliselt valib positiivsed proovid nende tõenäosuse alusel maapeale objektile vastavaks. See meetod tagab robustse tuvastamise erinevates valgustus- ja keskkonnatingimustes, mida koheldakse välistingimustes golfistsenaariume.

1.3 Piiritelg Ennustamine

Detektor väljastab piiritelgid, mis ümbritsevad golferi igal kaadril. Need piiritelgid pakuvad ruumilisi piiranguid, milles poosi hindamise mudel opereerib, vähendades arvutuskoormust järgneva poosi hindamise faasi jaoks, keskendudes ainult kaadri olemasolevatele aladele. Selles kontekstis genereerib RTMDet-M piiritelgid reaalajas üle 300 FPS kiirkiirus-riistvaral, tagades, et see saab kiirte golfikiige dünaamikaga kaasas käia.

1.4 Isiku mittemaximaalse Supressiooni (NMS)

Mitmeisikuseintes (kuigi golfikiige analüüsis haruldased) hõlmab RTMDet-M poosi mittemaximaalse supressiooni (NMS) algoritmi, mis kõrvaldab üleliigseid võtmepunkti tuvastamisi, tagades, et säilitatakse ainult enesekindlaimad tuvastamised igaühe jaoks. See on oluline juhtudel, kus kattuvaid piiritelge võidakse avastada rahvarohketel stseenidel või videojärgenditel.

1.5 Treeningu Andmestik ja Jõudlus

RTMDet-M on treenitud binaarseks klassifikatsiooniülesandeks Object356 andmestiku isikueksemplari puhul.

2. Poosi Hindamise Faas: RTMPose-X Võtmepunkti Lokalisatsioon

Kui golfer on piiritelg määratud, hõlmab järgmine faas võtmekeha liigendite täpse asukoha hindamist selles piirkonnas. RTMPose-X, kõrgjõudlusega poosi hindamise mudel, kasutatakse selleks.

2.1 SimCC-Põhine Võtmepunkti Lokalisatsioon

RTMPose-X kasutab SimCC (Simple Coordinate Classification) algoritmi, mis käsitleb võtmepunkti lokalisatsiooni klassifikatsiooniprobleemina. Traditsiooniliste kuumkaartide meetoditega võrreldes jagab SimCC iga võtmepunkti x ja y koordinaadid sahtliteks ja klassifitseerib täpse sahtli, kus iga võtmepunkt asub. See lähenemisviis vähendab arvutuslikku keerukust märkimisväärselt ja parandab järeldusekiirust, säilitades samal ajal kõrget täpsust inimese poosi hindamise ülesannetele.

2.2 CSPNeXt Selgroog

Sarnaselt RTMDet-M-ile kasutab ka RTMPose-X CSPNeXt selgroodi, mis on kohandatud tihedate ennustamisülesannete jaoks, nagu poosi hindamine. CSPNeXt selgroog on selle stsenaariumi puhul kasulik järgmistel põhjustel:

Kerge arhitektuur: Mudeli arhitektuur on ette nähtud parameetrite arvu minimeerimiseks ja läbilaskevõime maksimeerimiseks, muutes selle ideaalseks reaalajas rakendustele.

Efektiivne omaduste eraldamine: CSPNeXt omaduste eraldamise kihistud on optimeeritud kõrge eraldusvõimega piltide töötlemiseks, mis on ülioluline kiiresti liikuvate kehaosade väikeste üksikasjadega avastamiseks golfikiige ajal, nagu randmed, küünarnukid ja põlved.

2.3 Võtmepunkti Esitus

RTMPose-X väljastab võtmepunkti asukohad kõigi asjaomaste kehaosade jaoks, sealhulgas:

Ülemkeha liigendid: õlad, küünarnukid, randmed ja kael

Keha alumise osa liigendid: puusad, põlved ja pahkluulid

Täiendavad liigendid: pea, seljasammas ja muud kiigete analüüsiga seotud võtmepunktid

Sisendpiltide eraldusvõim 384x288 tagab, et isegi subtiiilsed liigendite liigutused saab täpselt registreerida, säilitades samal ajal süsteemi võimelisust reaalajas tööle.

2.4 RTMPose eeltöötlus: Erapooletud Andmete Töötlemine (UDP)

Enne, kui lõigatud pilt sisestatakse RTMPose mudelisse, tehakse erapooletud andmete töötlemise (UDP) samm. UDP lahendab kriitilised kalded RTMPose andmete töötlemisel treenimise ja testimise ajal, eriti koordinaatsüsteemi ja võtmepunkti formaadi teisenduste puhul. Tavalistes inimese poosi hindamise müras teevad standardoperatsioonid nagu ümberpööramine ja suuruse muutmine sageli väljundeid valesti joondatuks, eriti pikslipõhiste teisenduste tõttu, mis põhjustavad täpsuse kaotust ja ümberpööratud piltide mittejäägust. UDP parandab neid, luues erapooletu koordinaatsüsteemi teisenduse, säilitades semantilist joondamist erinevate koordinaatruumide vahel oluliste operatsioonide ajal (lõikamine, suuruse muutmine, pööramine, ümberpööramine). UDP tutvustab ka erapooletu võtmepunkti formaadi teisendust, kodeerides võtmepunktid kuumkaartidesse ilma positsioonilise kaldeta, veel rohkem täpsustatud Gaussi jaotusest teadlike dekodeerimisprotsessi kaudu. See andmete töötlemise lähenemisviis parandab süstemaatiliselt mudeli jõudlust, nagu näidatakse ulatuslikud testid COCO ja CrowdPose andmestikus, kus see saavutas parandatud täpsuse ja vähenenud järelduslatentsuse kogu ülalt alla ja alt üles mudelites [Ref].

3. Järeltöötlus ja Poosi Täiustamine

Kui võtmepunktid on ennustatud, rakendatakse poosi hindamise täpsustamiseks ja kaadrite vahel stabiilsuse tagamiseks mitmeid järeltöötluse samme.

3.1 Poosi Silumine

Golfikiigetes on kiire liikumised, mis võivad kaadrite vahel hinnangulistes võtmepunkti positsioonides põhjustada müra või kõikumisi. Selle leevendamiseks rakendatakse One-Euro Filter’it, et silumine võtmepunkti trajektoorid ajas, tagades, et väikesed, mittefüüsikalised kõikumised võtmepunkti ennustamistes elimineeritakse. One-Euro Filter opereerib, reguleerides filtri ribalaiu dünaamiliselt liikumise kiiruse alusel, mis on ideaalne stseenidele nagu golfikiigetes, kus liikumise kiirus erineb märkimisväärselt erinevate faasidega (tagasihoidmine, allapoole löömise faas ja läbi jätkamine).

3.2 Kaadri Jäetavate Mehhanism

Edasiste optimiseerimiste jaoks rakendatakse kaadri jäetavate mehhanismi, kus tuvastamine tehakse ainult võtmekaadritel ja poosi hindamine interpoleeritakse vahekaadreid jaoks. See vähendab arvutuskoormat dramaatiliselt ilma täpsust ohverdamata stseenides, kus kaadrite vahel on piiratud liikumine, nagu golfikiige aegluubiga analüüs.

4. Ajaline Jälgimine ja Järjestuse Järjepidevus

Kuna golfikiigetes on omast olemusest järjestuslikud, on poosi hindamises ajalise järjepidevuse säilitamine väga oluline. RTMPose-X lahendab seda ajalisate jälgimistehnikate kaudu, mis tagavad, et võtmepunkti ennustamised on järjestikustel kaadrite vahel järjekindlad. See hõlmab võtmepunkti positsioonide jälgimist ajas ja tagab, et nende trajektoorid järgivad realistlikke liikumismalle biomehaaniliste piirangute alusel.

4.1 Võtmepunkti Kiirus ja Kiirendus Analüüs

Lisaks võtmepunkti positsioonide jälgimisele hindab RTMPose-X ka iga võtmepunkti kiirust ja kiirendust. See teave on väga oluline golfikiige dünaamika analüüsimiseks, pakkudes ülevaate võtmeressursi meetermõõdudest, nagu:

Kiiruse kiirus: Arvutatud randme kiiruse põhjal allapoole löömise faasi ajal.

Puusa pöörlemine: Analüüsitud puusa liigendite pöörlemiskiiruse kaudu.

Maila teekond ja pea kiirus: Otseselt järeldatud randme ja küünarnuki trajektooridest.

Neid meetermõõdusid saab võrrelda professionaalsete kriteeriumitega, et anda tagasisidet mängija kiigete mehaanikale.

5. Järeldus ja Reaalajas Jõudlus

Terve ülalt alla lähenemise müra on optimeeritud reaalajas jõudlusele, võimaldades poosi hindamist üle 90 FPS modernsel GPU-del. Väga tõhusate mudeli arhitektuuride (CSPNeXt) ja kiire järelduse tehnikate (SimCC) kasutamine tagab, et süsteem saab käsitleda kõrge kaadrite kiiruse videosisendi, muutes selle sobivaks reaalajas tagasisidele treeningu seansside ajal.

6. Hindamine ja Validatsioon

RTMPose-X ja RTMDet-M mudeleid hinnatakse standardsel andmestikul nagu COCO ja MPII, näidates tugevat jõudlust keskmise täpsusega (AP) 75,8% COCO andmestiku keha võtmepunktidel. Need tulemused valideeritakse golfikiige andmestiku tegelike märkustega, tagades mudeli robustsuse dünaamiliste spordiliigutuste registreerimiseks.

6.1 Jõudluse meetermõõdud

Mean Squared Error (MSE): Kasutatakse võtmepunktide ennustuste täpsuse kvantifitseerimiseks võrreldes maapealsete tõeandmetega.

Average Precision (AP): Hindab poosi hindamise mudeli üldist jõudlust.

Kaadri töötlemise aeg: Benchmarkitud, et tagada süsteem vastab reaalajas nõuetele (<10 ms kaadri kohta).

7. Kokkuvõte

Ülalt alla lähenemine, kasutades RTMPose-X ja RTMDet-M, pakub tõhusat ja täpset meetodit reaalajas poosi hindamiseks spordanalüütikas, eriti golfi kiigete analüüsimiseks. Robustse võtmepunktide tuvastamise, ajalise jälgimise ja reaalajas järeldamise abil pakub see metoodika detailseid biomehhaanilisi teadmisi golfi kiigete dünaamikast, aidates parandada jõudlust ja ennetada vigastusi.

Viited

[1] RTMpose https://arxiv.org/pdf/2303.07399

[2] CSPNeXt https://www.sciencedirect.com/science/article/pii/S0952197624000447

[3] SIMCC https://arxiv.org/abs/2107.03332

[4] RTMdet https://arxiv.org/pdf/2212.07784

[5] CSPDarkNet

[6] Halpe26

[] AI väljakutse dataset:

[] MS Coco dataset:

[7] Crowdpose dataset: https://arxiv.org/pdf/1812.00324

[] MPII dataset:

[] sub-JHMBD dataset: