Ispirato da un articolo di Isabella Poggi e Francesca D’Errico “Tracking a leader’s humility and its emotions from body, face and voice” ho scoperto il software per l’analisi delle emozioni: “Vokaturi” dal loro sito : “Vokaturi emotion recognition software. The Vokaturi software can understand the emotion in a speaker’s voice just as well as people can.”
Ho quindi creato una piccola interfaccia che manipolando filmati con il software FFMpeg elabora un filmato in ingresso per ricomporlo con l’analisi delle emozioni realizzata con OpenVokaturi e rappresentata in un immagine. In sintesi si tratta di 6 passi :
partendo da un filmato in ingresso :
- Viene estratto l’audio in formato .wav
- L’audio viene elaborato con OpenVokaturi (Curve) che risponde con un file di testo che esprime per ogni secondo il coefficiente stimato sulle 5 emozioni principali (neutralità, paura, rabbia, tristezza e gioia)
- Genera con una classe java che ho predisposto delle immagini (una per secondo) che rappresentano quanto indicato nel file di testo della fase 2
- Le immagini vengono ‘montate’ in un filmato .mp4
- Il video con le immagini viene affiancato al video originale generando il file finale
- E’ possibile visionare il file finale
Ho preparato qualche esempio elaborato, che si trova sotto la categoria di articoli ‘Vokaturi‘
