Facial moCap

[bd.design]

Ciao volevo sapere se con cinema4d è possibile realizzare una sorta di facial mocap.
Visto che si può fare con blender ho pensato che magari cinema avesse qualche metodo o libreria per farlo.
Voi avete mai provato a fare motion capture, magari anche con qualche altro programma?
Vi ringrazio

[cappellaiomatto]

Ciao
ufficialmente è possibile fare tutto in Cinema, al momento non so esattamente cosa ci sia di professionale in giro, sicuramente un sacco di homebrew realizzati per lo più con il kinect.

penso che se cerchi su google "mocap cinema 4d" te ne escono per così di progettini, però aspettati anche di dover installare dll, compilare codice etc etc essendo roba homebrew è destinata ad un pubblico smanettone e quindi non viene impachettata per essere pronta all'uso....anzi a volte bisogna prendere questi progetti a martellate per farli andare

Io personalmente avevo fatto qualche esperimento con un wiimote per il tracking di una scia e con un facial motion capture scritto tramite le opencv, librerie opensource davvero potenti presenti in rete.

Il problema più grosso è sicuramente rendere stabile la comunicazione di cinema con il sistema di mocap, la gestione dei thread è la causa di bombe continue sull'ide e altra cosa da non sottovalutare è l'effetto tremore del mocap.

Es: quando avevo catturato i punti con il wiimote la sensibilità era molto alta e quindi se facevi uno zoom sulla traccia vedevi una vibrazione che in animazione può essere brutta da vedere.

Sicuramente questo genere di cose vanno corrette via software ma ovviamente fanno la differenza tra un homebrew e un prodotto per uso professionale

Sull'acquisizione da webcam invece la potenza non bastava mai, e riprodurre sempre le stesse condizioni di luce era un impresa tutte le volte.
Questi sistemi si basano su un filtro che elimina i colori non voluti e si concentra ad esempio sul rosso o giallo o cmq qualcosa che spicca, il problema è che il rosso ha un gamma molto ampia che il computer rileva e quindi dovevo perdere un sacco di tempo ogni volta a ricalibrare il filtro perchè le condizioni di luce non erano uguali.
Inoltre processare un segnale video in tempo reale e fare il tracking non è proprio roba da fare con un computer standard.
Il risultato non era male tutto sommato, ma da li a farci qualcosa di serio ce ne passa.

Considera che devi adattare il viso del character al viso acquisito, quindi magari calibrare bene i movimenti e lavorare molto di fino con i cluster point e le pesature del viso.

Per quanto riguarda il kinect sinceramente lascia molto a desiderare.....provato anche quello non abbinato a cinema ma sciolto con il suo sdk e vari sdk homebrew ...... diciamo che la precisione non è il suo forte

Hai 2 modi per usarlo, o ti fai restituire lo skeleton o la mappa di profondità.

Sulla mappa di profondità ci si possono fare effetti carini ma non motion capture, inoltre per costruzione ha un problema di ombra nella cattura perchè i raggi infrarossi vengono sparati in obliquo per vedere il ritorno.
Questo comporta che se ad esempio metti una mano vicino al sensore vedi la macchia nera sui bordi e quella va levata via software cosa non banale....insomma anche li c'è da perdere parecchio tempo prima di ottenere qualcosa di serio.

Se usi il suo sdk semplificato con lo skeleton ti restituisce l'ossatura del corpo ma considera che lo spazio di manovra è massimo 1 metro per 2 forse anche meno, se ti metti troppo vicino non ti rileva se ti metti troppo lontano idem e comunque ha un campo visivo ridotto, non a caso su xbox giochi in uno così così in 2 male.....poi non parliamo del lag...altra nota dolente del sistema


I sistemi professionali di mocap usano un sacco di telecamere e hanno una potenza di calcolo non indifferente.....
quindi se ti vuoi divertire con poco trovi un sacco di cose in rete ma non sperare di tirarci fuori chissà cosa

[bd.design]

ciao ti ringrazio per la risposta, anche io avevo fatto qualcosa con puredata ed il kinect usando lo skeleton e per le cose interattive è molto bello, ma finisce li.
Vedrò di trovare terzi programmi per la capture...
Però è brutto pensare che ci sia la possibilità di scolpire con c4d e per la motion nulla.
Sarebbe bello se si potessero unire i dati HUD con la cam!
A presto!

[faccione]

Mi aggrego a questo post abbastanza recente per chiedere se esistono souzioni low-cost per fare mocap che non prevedano l'utilizzo di Kinect, Wiimote ecc.
Siccome vorrei fare un progetto di mocap (non facciale ma per un corpo) e sono totalmente ignorante al riguardo mi chiedevo se è possibile ottenere dei risultati anche con delle comuni videocamere HD (l'università me ne mette a disposizione anche 3-4). Tuttavia, anche se questa soluzione dovesse andare bene, non saprei veramente come continuare.

Sono gradite idee oppure incitazioni a desistere!

[cappellaiomatto]

Prova a dare un occhio qui

http://ipisoft.com/