Poboljšanje Hvatanja pokreta bez markera u Golfu i Bejzbolu Koristeći RTMPose i RTMDet: Pristup Odozgo Nadole

Poboljšanje Hvatanja pokreta bez markera u Golfu i Bejzbolu Koristeći RTMPose i RTMDet: Pristup Odozgo Nadole

Sažetak

Ovaj tehnički dokument opisuje primenu RTMPose i RTMDet za preciznu i efikasnu Procenu pozicije zamaha u golfu i bejzbolu. Koristeći najnovije tehnike optimizovane za rad u realnom vremenu, ovi modeli omogućavaju detaljno praćenje pokreta tela tokom zamaha u golfu i bejzbolu—kritična osobina za poboljšanje perormanse u analitici sporta. Ističemo prednosti Pristupa Odozgo Nadole, gde RTMDet detektor prepoznaje golfера ili bejzbolera u svakom kadru, a RTMPose procenjuje pozicije ključnih Zglobova tela.

1. Uvod

Procena pozicije postala je ključna u analizi perormanse sporta, omogućavajući precizno praćenje pokreta sportista. U golfu i bejzbolu, snimanje biomehaničkih podataka zamaha igrača pruža dragocene uvide u dinamiku zamaha, pomagajući stručnjacima i amaterima da usavršavaju svoje tehnike. Tradicionalne metode 2D Procene pozicije često se suočavaju sa izazovima latencije i preciznosti, posebno u scenarijima realnog vremena. Ovaj rad predlaže rešenje koristeći RTMPose i RTMDet u mmpose Framework za detaljnu Procenu pozicije tokom zamaha u golfu i bejzbolu.

2. Pozadina

Kompleksnost zamaha u golfu i bejzbolu zahteva precizno merenje pokreta tela. Postojeće metode Procene pozicije možda ne pružaju potrebnu preciznost za rad u realnom vremenu. Napredak u dubokom učenju i računarskoj viziji uveo je modele kao što su RTMPose i RTMDet, koji nude poboljšanu preciznost i efikasnost.

3. Pristup odozgo nadole sa RTMdet i RTMpose

–insert figure–

3. RTMPose: Model Procene pozicije Visoke Performanse

RTMPose [1] je dizajniran za Procenu pozicije visoke performanse u realnom vremenu, optimizovan da radi efikasno na ograničenom hardware-u.

Ključne Osobine:

Arhitektura modela i efikasnost: RTMpose koristi CSPNeXt kao njegovu kičmu [1, 2], balansirajući brzinu i preciznost. CSPNeXt je optimizovan za zadatke gustog predviđanja kao što su Procena pozicije i Detekcija objekta, pružajući visoku rezoluciju i preciznost dok održava računarsku efikasnost.

Predviđanje Ključnih Tačaka: Koristi SimCC-zasnovani algoritam [1, 3], tretirajući horizontalne i vertikalne pozicije Ključnih Tačaka kao odvojene probleme klasifikacije. Ova kompaktna reprezentacija smanjuje računarsko opterećenje i pogodno je za primenu na različitim uređajima.

4. RTMDet: Kičma Detekcije

RTMDet [4] deluje kao detektor koji prethodi RTMPose u cevovodu odozgo nadole, identifikujući lokaciju golfеra ili bejzbolera unutar svakog kadra.

Ključne Osobine:

Arhitektura modela i efikasnost: RTMDet koristi modifikovanu verziju CSPDarkNet [5] koja je trenabilnija i preciznija od mnogih YOLO modela. Modifikovana verzija koristi konvolucije u dubini sa velikim jezgrom za balansiranje kompleksnosti i brzine, i efikasna je na GPU i CPU. Idealna je za aplikacije u realnom vremenu kao što je praćenje perormanse sporta.

Svestranost: Obrađuje različite zadatke Detekcije objekta, uključujući Segmentaciju instanci i rotiranu Detekciju objekta. Osigurava preciznu lokalizaciju igrača, čak i u dinamičnim scenarijima.

5. Prednosti korišćenja RTMDet i RTMPose u Analizi Zamaha u Golfu i Bejzbolu

5.1 Viša Preciznost u Netrpidim Scenama

U tipičnim scenarijima golfa/bejzbola sa malo pojedinaca na kadru, RTMDet izoluje golfеra/bejzbolera, omogućavajući RTMPose da obradi svaku detektovanu osobu sa visokom preciznošću. Ovo izbegava kompleksnost metoda odozdo prema gore koje obrađuju sve Ključne Tačke za sve osobe u kadru istovremeno. Pristup odozgo nadole može takođe uključiti post-processing algoritam RTMdet koji identifikuje ispravnu osobu (npr. golfеra ili bejzbolera) pre nego što izvrši Procenu pozicije. Pored toga, RTMPose je unapred treniran na proširenoj slikovnoj građi koja sadrži

5.2 Efikasna Računanja i Performansa Realnog Vremena

Korišćenjem laganих modela, kao što su RTMdet i RTMpose, održava se niska latencija, omogućavajući analizu zamaha u realnom vremenu na hardveru potrošačkog nivoa. Ovo je posebno korisno za pružanje trenutne povratne informacije pri treniranju ili coaching sesijama. SwingCatalyst sistem Hvatanja pokreta bez markera je jedan od nekoliko studio sistema koji pružaju povratnu informaciju Hvatanja pokreta u realnom vremenu golfеrima i bejzbolerama.

5.3 Detaljna Analiza Ključnih Tačaka

RTMPose detektuje postavu od 26 Ključnih Tačaka Tela [6] prikazanih na slici 1 ispod, esencijalne za analizu kinematike zamaha u golfu i bejzbolu. Halpe26 je proširena postava koja uključuje dodatne markere na nogama i glavi u poređenju sa standardnijom COCO postavom sa 17 markera.

–Insert Figure–

6. Metodologija za Hvatanje pokreta bez markera u Golfu i Bejzbolu

6.1 Faza Detekcije: RTMDet

Primenjen na video kadre golfеra ili bejzbolera, RTMDet generiše Ograničavajuće Okvire oko igrača, koji se prosleđuju RTMPose. Ovo fokusira Procenu pozicije na relevantne oblasti slike, smanjujući računarsko opterećenje.

–Insert Image–

6.2 Faza Procene pozicije: RTMPose

RTMPose procenjuje pozicije Ključnih Tačaka unutar Ograničavajućeg Okvira. Kritični Zglobovi za analizu zamaha u golfu i bejzbolu uključuju zapešće, laktove, ramena, kukove i kolena. Ove Ključne Tačke procenjuju uglove tela i pozicije tokom faza zamaha: Povlačenja, Povratnog Zamaha i Nastavka Zamaha.

–Insert Image–

6.3 Metrike Performanse

Opšta performansa RTMPose se meri korišćenjem metrika kao što je Prosečna Preciznost (AP) na benchmark-ima Procene pozicije kao što je MS COCO. Ispod je performansa najbolje rangiranih modela na često korišćenom COCO benchmark-u. Na MS COCO val dataset-u, RTMPose-X je model sa najboljim performansama koji je u mogućnosti da pruži povratnu informaciju u realnom vremenu i dostiže do 75.8% AP sa brzinama frejma koje prelaze ?? FPS na GPU-ima potrošačkog nivoa, čineći ga pogodnim za analizu sporta Visoke Brzine.

Rang Model Rezolucija Veličina/parametri (Mil) AP Inferenca u realnom vremenu

1 Sapiens-2B 1024x768 2000 82.2 Ne

2 Sapiens-1B 1024x768 1000 82.1 Ne

3 Sapiens-0.6B 1024x768 600 81.2 Ne

4 Sapiens-0.3B 1024x768 300 79.6 Ne

5 VitPose-H 256x192 632 79.4 Ne

6 RTMPose-X 384x288 49 78.8 Da

7 VitPose-L 256x192 307 78.6 Ne

8 RTMPose-L 384x288 28 78.3 Da

9 HRFormer 256x192 43 77.2 Ne

10 HRNet-UDP 384x288 64 77.2 Da

11 VitPose-B 256x192 86 77.0 Da

12 RTMPose-L 256x198 28 76.7 Da

13 RTMPose-M 384x288 14 76.6 Da

14 HRNet 384x288 64 76.3 Da

15 VitPose-S 256x192 43 75.8 Da

16 RTMPose-M 256x192 14 74.9 Da

17 SimpleBaseline 256x192 60 73.5 Da

18 FastPose 256x192 79 73.3 Da

7. Primena u Analizi Golf Zamaha

Primenom RTMPose-X i RTMDet-M okvira:

Praćenje Pokreta Zglobova Kadar po Kadar: Pruža sveobuhvatne podatke za analizu svake faze zamaha.

Pružanje Povratne Informacije u Realnom Vremenu: Omogućava trenutne uvide u držanje tela i formu zamaha tokom treninga.

Poređenje sa Idealnom Mehanikom: Omogućava poređenje sa idealnom kinematskom mehanikom zamaha da bi se identifikovala polja za poboljšanje.

8. Zaključak

Integracija RTMPose-X i RTMDet-M nudi moćno rešenje za analizu golf zamaha u realnom vremenu. Sa visokom preciznošću, malom latencijom i kompatibilnošću sa različitim hardverskim platformama, ovaj pristup odozgo nadole pruža detaljne uvide u mehaniku zamaha. Ima značajan potencijal da pomogne kako amaterskim tako i profesionalnim golfzerima u poboljšanju svojih perfornansi.

9. Budući Rad

Budući razvoj mogao bi da uključi:

Integracija Algoritama Mašinskog Učenja: Da bi se pružila prediktivna analitika i predlozi za poboljšanje efikasnosti zamaha.

Proširenje na Scenarije sa Više Osoba: Poboljšanje primenljivosti u timskim sportovima ili okruženju grupnog treninga.

Razvoj Korisničkog Interfejsa Koji Je Lako Koristiti: Kreiranje aplikacija ili alata koji čine ovu tehnologiju dostupnom trenerima i sportistima bez tehničkog znanja.

Prilog

Detaljna Metodologija: Pristup Odozgo Nadole za Procenu Pozicije Golf Zamaha Korišćenjem RTMPose-X i RTMDet-M

Pregled

Metodologija opisana ovde daje prikaz detaljnih koraka uključenih u pristup odozgo nadole za procenu pozicije u realnom vremenu golf i bezbola zamaha, koristeći prednosti RTMPose za lokalizaciju ključnih tačaka i RTMDet za detekciju objekta. Proces je podeljen na nekoliko etapa: detekcija, lokalizacija ključnih tačaka i naknadna obrada, od kojih svaka doprinosi preciznoj i efikasnoj proceni telesnih zglobova u golf zamahu za biomehaničku analizu.

–Umetnite sliku–

1. Faza Detekcije: Lokalizacija u Realnom Vremenu sa RTMDet-M

Prva etapa pristupa odozgo nadole uključuje detekciju golfzera u svakom kadru videa. U sportskim scenarijima, posebno u golfu, scena obično se sastoji od jednog igrača, što pojednostavljuje zadatak detekcije u poređenju sa scenarijima sa mnogobrojem ljudi.

1.1 Arhitektura Modela

RTMDet-M se koristi kao detektor objekta u cevovodu. Koristi konvolucionu neuronsku mrežu (CNN) hrbtenu, konkretno CSPNeXt hrbtenu, dizajniranu da optimizuje performansu detekcije objekta u realnom vremenu, dok održava balans između brzine i tačnosti. Ključni aspekti arhitekture uključuju:

Konvolucije sa velikim kernelom sa dubinskom separacijom: Koriste se u slojevima hrbtene i grla, povećavajući receptivno polje dok se održava niska računska cena.

Piramidska mreža karakteristika (FPN): Tehnika ekstrakcije karakteristika na više skala koja omogućava detekciju objekata na različitim skalama, osiguravajući da golfzer može biti detektovan bez obzira na njegovu distancu od kamere.

1.2 Dinamička Dodelela Oznaka

RTMDet-M koristi strategiju dinamičke dodeele oznaka koja poboljšava tačnost detekcije dodeljujući meke oznake objektima na osnovu kombinacije klasifikacije i greške lokalizacije. Dodelela oznaka je vođena SimOTA algoritmom, koji dinamički bira pozitivne uzorke na osnovu njihove verovatnoće da se podudaraju sa osnovnom istinom objekta. Ova metoda osigurava robusnu detekciju u različitim uslovima osvjetljenja i okruženja često naiđenih u scenarijima golfa na otvorenom.

1.3 Predviđanje Ograničavajućeg Okvira

Detektor ispisuje Ograničavajuće Okvire koji okružuju golfera u svakom kadru. Ovi Ograničavajući Okviri pružaju prostorne ograničavajuće faktore unutar kojih će raditi model za procenu Pozicije, smanjujući računsku opterećenja u sledećoj fazi procene Pozicije fokusirajući se samo na relevantne delove kadra. U ovom kontekstu, RTMDet-M generiše Ograničavajuće Okvire u realnom vremenu sa više od 300 FPS na visoko performantnom hardveru, osiguravajući da može pratiti brze dinamike Zamaha golfera.

1.4 Supresija Više Osoba (NMS)

U okruženjima sa više osoba (mada retko u analizi Zamaha golfera), RTMDet-M uključuje algoritam Supresije Više Osoba (NMS) za Ključne Tačke koji uklanja redundantna otkrića Ključnih Tačaka, osiguravajući da se čuvaju samo najozbiljnija otkrića za sve. Ovo je kritično u slučajevima gde se mogu detektovati preklapajući Ograničavajući Okviri u gužvastim scenama ili video sekvencama.

1.5 Dataset obuke i Perforamnsa

RTMDet-M je obučavan na zadatku binarnu klasifikaciju na instancama osoba u Object356 datasetu.

2. Faza Procene Pozicije: Lokalizacija Ključnih Tačaka RTMPose-X

Kada se Ograničavajući Okvir golfera uspostavi, sledeća faza uključuje procenu precizne lokacije ključnih Zglobova tela unutar te regije. RTMPose-X, model za procenu Pozicije visokih performansi, koristi se u tu svrhu.

2.1 Lokalizacija Ključnih Tačaka Zasnovana na SimCC

RTMPose-X koristi algoritam SimCC (Simple Coordinate Classification), koji tretira lokalizaciju Ključnih Tačaka kao problem klasifikacije. Za razliku od tradicionalnih metoda zasnovanih na Toplotnim Mapama, SimCC deli x i y Koordinate svake Ključne Tačke na kutije i klasifikuje tačnu kutiju u kojoj se svaka Ključna Tačka nalazi. Ovaj pristup značajno smanjuje računsku kompleksnost i poboljšava brzinu zaključivanja dok zadržava visoku tačnost za zadatke procene pozicije čoveka.

2.2 CSPNeXt Pozadina

Slično RTMDet-M, RTMPose-X takođe koristi CSPNeXt pozadinu, koja je prilagođena za zadatke gustog predviđanja kao što je procena Pozicije. CSPNeXt pozadina je prednostna u ovoj situaciji iz sledećih razloga:

Laka arhitektura: Arhitektura modela je dizajnirana da minimizira broj parametara dok maksimizira propusnost, čini je idealnom za aplikacije u realnom vremenu.

Efikasna ekstrakcija karakteristika: CSPNeXt slojevi ekstrakcije karakteristika su optimizovani za obradu slika visoke rezolucije, što je kritično za detekciju malih detalja u brzo pokretnim delovima tela tokom Zamaha golfera, kao što su Zapešće, Lakat i Kolena.

2.3 Reprezentacija Ključnih Tačaka

RTMPose-X ispisuje lokacije Ključnih Tačaka za sve relevantne delove tela, uključujući:

Zglobovi gornjeg dela tela: Ramena, Lakati, Zapešće i Vrat

Zglobovi donjeg dela tela: Kukovi, Kolena i Gležnjevi

Dodatni Zglobovi: Glava, Stub vertebralnog stuba i druge ključne tačke relevantne za analizu Zamaha

Rezolucija od 384x288 za ulazne slike osigurava da čak i subtilna kretanja u Zglobovima mogu biti precizno uhvaćena, dok se i dalje čuva sposobnost sistema da radi u realnom vremenu.

2.4 RTMPose obrada unapred: Nepristrasna Obrada Podataka (UDP)

Pre nego što se odsečena slika unese u RTMpose model, izvršava se faza Nepristrasne Obrade Podataka (UDP). UDP rešava kritične pristrasnosti u obradi podataka RTMpose tokom obuke i testiranja, konkretno u Transformacijama koordinatnog sistema i formata Ključnih Tačaka. U konvencionalnim cevovodima procene Pozicije čoveka, standardne operacije kao što su prebacivanje i preoblikovanje često pogrešno poravnavaju izlaze, posebno zbog transformacija na osnovu piksela, što dovodi do gubitka preciznosti i neporavnavanja prebačenih slika. UDP ispravlja ovo uspostavljanjem nepristrasne Transformacije koordinatnog sistema, čuvajući semantičko poravnanje kroz različite Koordinatne prostore tokom bitnih operacija (setkovanje, preoblikovanje, rotacija, prebacivanje). UDP takođe uvodi nepristrasnu Transformaciju formata Ključnih Tačaka kodiranjem Ključnih Tačaka u Toplinske Mape bez unošenja pozicione pristrasnosti, dalje usavršano kroz proces dekodiranja svesnog Gausove distribucije. Ovaj pristup obrade podataka sistematski poboljšava Performansu modela, kao što je pokazano opsežnim testovima na COCO i CrowdPose datasetima, gde je dostigao poboljšanu tačnost i smanjenu latenciju zaključivanja preko top-down i bottom-up modela [Ref].

3. Naknadna Obrada i Usavršavanje Pozicije

Kada se Ključne Tačke proslede, primenjuje se nekoliko koraka Naknadne Obrade da se usavrši procena Pozicije i osigura stabilnost tokom frejma.

3.1 Izglađivanje Pozicije

Zamahi golfera uključuju brzo kretanje, što može unositi šum ili fluktuacije u procenjene pozicije Ključnih Tačaka tokom frejma. Da bi se to ublažilo, primenjuje se One-Euro Filter da izgladi trajektorije Ključnih Tačaka tokom vremena, osiguravajući da se male, nefizičke fluktuacije u predviđanjima Ključnih Tačaka eliminišu. One-Euro Filter radi tako što dinamički prilagođava propusnost filtera na osnovu brzine kretanja, što je idealno za scenarije kao što su Zamahi golfera, gde se kretanje značajno razlikuje u brzini kroz različite faze (Povlačenje, Povratni Zamah i Nastavak Zamaha).

3.2 Mehanizam Preskakanja Frejma

Za dodatnu optimizaciju, primenjuje se mehanizam preskakanja frejma, gde se detekcija vrši samo na ključnim kadrima, a procena Pozicije se interpolira za međufrejme. Ovo drastično smanjuje računsku opterećenja bez žrtvovanja tačnosti u scenarima sa ograničenim kretanjem između frejma, kao što je analiza Zamaha golfera u usporenom kretanju.

4. Vremensko Praćenje i Konzistentnost Redosleda

S obzirom da su Zamahi golfera po prirodi sekvencijalni, čuvanje vremenske konzistentnosti u proceni Pozicije je vitalno. RTMPose-X se bavi ovim kroz tehnike vremenskog praćenja, koje osiguravaju da su predviđanja Ključnih Tačaka konzistentna kroz uzastopne frejme. Ovo uključuje praćenje Ključnih Tačaka tokom vremena i osiguravanja da njihove trajektorije prate realistične šablone kretanja zasnovane na biomehaničkim ograničavajućim faktorima.

4.1 Analiza Brzine i Ubrzanja Ključnih Tačaka

Pored praćenja pozicija Ključnih Tačaka, RTMPose-X takođe procenjuje Brzinu i Ubrzanje svake Ključne Tačke. Ova informacija je kritična za analizu dinamike Zamaha golfera, pružajući uvid u ključne metrike Perforamnse kao što su:

Brzina Zamaha: Izračunata na osnovu Brzine Zapešća tokom Povratnog Zamaha.

Rotacija Kuka: Analizirana kroz Rotacionu Brzinu Zglobova Kuka.

Putanja palice i brzina Glave: Zaključena indirektno iz trajektorija Zapešća i Lakta.

Ove Metrike se mogu upoređivati sa stručnjačkim etalon vrednostima da se pruža povratna informacija o Mehanici Zamaha igrača.

5. Zaključivanje i Perforamnsa u Realnom Vremenu

Ceo top-down cevovod je optimizovan za Performansu u realnom vremenu, omogućavajući procenu Pozicije sa više od 90 FPS na modernim GPU zajednicama. Korišćenje veoma efikasnih arhitektura modela (CSPNeXt) i brzih tehnika zaključivanja (SimCC) osigurava da sistem može rukovati video ulazom visokog frejma, čini ga pogodnim za povratnu informaciju u realnom vremenu tokom sesija obuke.

6. Evaluacija i Validacija

RTMPose-X i RTMDet-M modeli su evaluirani na standardnim datasetima kao što su COCO i MPII, pokazujući jaku Performansu sa prosečnom preciznošću (AP) od 75,8% na COCO datasetu za Ključne Tačke tela. Ovi rezultati su validovani nasuprot anotacijama bazne istine u datasetima Zamaha golfera, osiguravajući robusnost modela u hvatanju dinamičkih sportskih kretanja.

6.1 Metrike Перформанса

Mean Squared Error (MSE): Koristi se za kvantifikovanje tačnosti predviđanja ključnih tačaka u odnosu na osnovna anotiranja.

Average Precision (AP): Procenjuje ukupnu перформансу modela procene pozicije.

Vreme obrade frejma: Testirano kako bi se osiguralo da sistem ispunjava zahteve rada u realnom vremenu (<10 ms po frejmu).

7. Zaključak

Pristup odozgo nadole koristeći RTMPose-X i RTMDet-M pruža efikasnu i tačnu metodu za procenu pozicije u realnom vremenu u sportskoj analitici, posebno za analizu zamaha u golfu. Sa robusom detekcijom ključnih tačaka, vremenskim praćenjem i zaključivanjem u realnom vremenu, ova metodologija nudi detaljne biomehanske uvide u dinamiku zamaha u golfu, pomažući u poboljšanju перформanse i sprečavanju povređivanja.

Reference

[1] RTMpose https://arxiv.org/pdf/2303.07399

[2] CSPNeXt https://www.sciencedirect.com/science/article/pii/S0952197624000447

[3] SIMCC https://arxiv.org/abs/2107.03332

[4] RTMdet https://arxiv.org/pdf/2212.07784

[5] CSPDarkNet

[6] Halpe26

[] AI izazov dataset:

[] MS Coco dataset:

[7] Crowdpose dataset: https://arxiv.org/pdf/1812.00324

[] MPII dataset:

[] sub-JHMBD dataset: