Sound verstehen

http://www.lloydwatts.com/images/WCCI_2012_LloydWatts.pdf

Will auch so spielen können

So wie ich das verstehe müssen wir die Software selbst nachschreiben. Oder gibt es einen anderen Weg. Wir könnten den Author auch mal anschreiben.

Wenn man es in Python schreiben will, empfiehlt sich PyQtGraph weil es sich gut für echtzeit plotting eignet dh sehr minimalistisch und schnell ist.
Ich hatte mal etwas ähnliches mit einem Beschleunigungssensor (ca. 1kHz) gemacht.

Fig. 3. Output of real-time, high-resolution functioning model of major auditory pathway
elements. (a) Waveforms, at the level of the eardrums at the two ears. (b) Cochlea energy, as
seen by the Multipolar Cells in the Cochlear Nucleus. (c) Inter-aural time difference (ITD), as
computed by the medial superior olive (MSO). (d) Inter-aural level difference (ILD), as
computed by the lateral superior olive (LSO) and normalized in the inferior colliculus (IC). (e)
Correlogram, as computed in the nucleus of the lateral lemniscus (NLL) and inferior colliculus
(IC). (f) Pitch Chroma Spiral (cortical pitch representation). (g) Pitch-adaptive spectral
smoothing, with formant tracking (cortical speech representation). (h) Vocal Articulator
mapping, in the sylvian parietal-temporal junction (SPT). (i) Polyphonic pitch. (j) Speech
recognition. (i) Speaker identification.

(a) und (g) sieht für mich aus wie ein Spektrogram (linker + rechter Kanal)
, (f) wie ein eine polare Darstellung der aktuellen FFT. Die andere sehen komplizierter aus. (h) finde ich spannend.
Hast du schon gefunden wie die einzelnen Maße berechnet werden?

1 „Gefällt mir“

Ich habe das Paper oben noch nicht ausreichend studiert.

Jetzt sind wir ja wieder 10 Jahre später und es müsste haufenweise open-source (tensor-)-Zeugs geben, um damit zu spielen.

Loyd Watts macht interessante Sachen. Ich bin über seine Filme zu Spinoren auf ihn gekommen.