Il miglior approccio per il riconoscimento di gesti 2D in VR?

Question

Sono lo sviluppatore di un gioco che utilizza il riconoscimento dei gesti con l'auricolare VR per camere Viva di HTC Vive e sto cercando di migliorare l'accuratezza del riconoscimento dei gesti.

(Il gioco, per il contesto:. http://store.steampowered.com//app/488760 E 'un gioco in cui lanciare incantesimi disegnando simboli nell'aria.)

Attualmente sto usando l'algoritmo di 1 dollaro per 2D riconoscimento dei gesti, e utilizzando un ortografica fotocamera legata alla rotazione orizzontale del giocatore per appiattire il gesto che il giocatore disegna nello spazio.

Tuttavia, sono sicuro che ci devono essere approcci migliori al problema!

devo rappresentare i gesti in 2D nelle istruzioni, così idealmente mi piacerebbe:

Trova il vettore ottimale su cui per appiattire il gesto. Appiattitelo nello spazio 2D. Usa il miglior algoritmo di riconoscimento dei gesti per riconoscere quale gesto è.

Sarebbe davvero bello avvicinarsi al 100% di precisione in tutte le circostanze. Attualmente, ad esempio, il gioco tende a confondersi quando i giocatori cercano di disegnare un cerchio nel pieno della battaglia, e presume che stiano disegnando una forma Z.

Tutti i suggerimenti sono benvenuti. Grazie in anticipo.

Answer 1

Mi sembra questo plugin chiamato Gesture Recognizer 3.0 potrebbe dare una grande intuizione su ciò che passo si dovrebbe prendere

Gesture Recognizer 3.0

Inoltre, ho trovato questo javascript lib riconoscimento dei gesti in github

Jester

Spero che aiuti.

Answer 2

Credetemi o meno, ma ho trovato questo post due mesi fa e ho deciso di testare le mie abilità VR/AI preparando un pacchetto Unity destinato a riconoscere i gesti magici in VR. Ora, io sono tornato con una demo completa VR: https://ravingbots.itch.io/vr-magic-gestures-ai

Il sistema di riconoscimento tiene traccia un vettore gesto e poi la proietta su una griglia 2D. Puoi anche configurare una griglia 3D molto facilmente se vuoi che il sistema funzioni con le forme 3D, ma non dimenticare di fornire un set di allenamento adeguato che cattura un gran numero di variazioni di forma.

Naturalmente, il pacchetto è universale, ed è possibile utilizzarlo per un'applicazione non magico pure. Il codice è ben documentato. La documentazione online resa a un PDF ha più di 1000 pagine: https://files.ravingbots.com/docs/vr-magic-gestures-ai/

Il pacchetto è stato testato con HTC Vive. Il supporto per Gear VR e altri dispositivi VR viene progressivamente aggiunto.

Answer 3

Personalmente raccomando AirSig Copre più funzioni come l'autenticazione tramite i controller. La versione di Vive e la versione di Oculus sono gratuite. "Sarebbe davvero bello avvicinarsi al 100% di precisione in tutte le circostanze." La mia esperienza è che i gesti incorporati hanno una precisione superiore al 90%, la parte della firma è superiore al 96%. Spero che soddisfi le tue esigenze.