El sonido como dato: de la onda al espectrograma y de vuelta

Una máquina nunca trabaja con sonido: trabaja con una representación del sonido, y elegirla es el 90 % del problema. Analizar audio es convertir presión de aire en una imagen de frecuencias que una red pueda mirar; generarlo es recorrer ese mismo camino al revés. Alimentar audio crudo a un modelo y esperar que aprenda es el error que hace que «la IA no funcione» sin ningún mensaje de error.

01 — Dos dominios

La misma señal, dos formas de mirarla

El sonido llega como una onda continua. El muestreo la convierte en una lista de números —miles por segundo— y a partir de ahí hay dos maneras de representarla, que no compiten: responden a preguntas distintas.

Dominio del tiempo

Forma de onda

Amplitud (volumen) a lo largo del tiempo.
Dice cuándo ocurre algo, no qué es.
Barata de calcular y de mirar.

detectar silencios y picos, cortar y empalmar, latencia baja

Dominio de la frecuencia

Espectrograma

Descompone el sonido en las frecuencias que lo componen, instante a instante.
Es una imagen: tiempo en X, frecuencia en Y, intensidad en color.
Es lo que de verdad comen las redes neuronales.

clasificar tipos de sonido, reconocer habla, entrenar CNN

Ese salto de un dominio al otro lo hace una transformada de Fourier aplicada por ventanas —trocitos cortos de señal, uno detrás de otro—, y el resultado se pasa a decibelios porque el oído y los modelos trabajan mejor en escala logarítmica.

Lo que hay que llevarse es la consecuencia práctica: convertir audio en espectrograma convierte un problema de audio en un problema de visión, y con él llega toda la maquinaria de redes convolucionales que ya existía. No es un truco de implementación, es la razón por la que el audio y la imagen acabaron compartiendo arquitecturas.

// las máquinas no escuchan: miran imágenes de frecuencias

02 — El camino inverso

Generar voz es recorrerlo al revés

La síntesis de voz hace el viaje contrario: de texto a onda. Y ahí ha pasado algo que conviene entender porque explica por qué el código de hoy es tan corto.

	Arquitectura antigua	Arquitectura actual (VITS)
Etapas	Dos: modelo acústico → vocoder	Una sola, de extremo a extremo
Piezas	Texto → espectrograma → onda	Encoder de texto → predictor de duración → generador de onda
Qué implica	Dos modelos que entrenar y que encajar	Un modelo, una llamada

El predictor de duración es la pieza que más se nota al escuchar: decide cuánto dura cada fonema, que es de donde sale el ritmo. Sin él la voz suena mecánica aunque el timbre sea perfecto.

Y la trampa práctica del audio generado: lo que devuelve el modelo es un array de números más una frecuencia de muestreo, y las dos cosas viajan juntas. Guardar el array con una frecuencia distinta de la que produjo el modelo no da error — reproduce la voz acelerada o ralentizada. Es el fallo clásico de «suena como una ardilla», y siempre es el mismo: alguien fijó la frecuencia a mano en vez de usar la que devolvió el pipeline.

03 — Antes de modelar

Las comprobaciones que ahorran el día

Comprobación	Qué detecta
¿La señal tiene longitud > 0 y frecuencia de muestreo > 0?	Que el fichero se cargó de verdad
¿Es la señal todo ceros?	Silencio puro — una gráfica vacía no es un bug del código
¿El espectrograma tiene las dos dimensiones no vacías?	Que la transformada produjo algo
¿Coincide la frecuencia de muestreo al guardar con la que devolvió el modelo?	El fallo de «ardilla»

Son cuatro if y ninguno requiere entender de señales. Están aquí porque el audio es el tipo de dato donde más fácil es procesar durante horas algo que estaba vacío desde el principio: a diferencia de un texto, nadie mira un array de 300.000 números para ver si tiene sentido.

Auditoría El material afirma que «el preprocesamiento es el 80 % del éxito en Audio AI». Es la segunda vez que aparece ese 80 % en este curso: el Módulo 10 dice, con la misma forma, que «el 80 % de la calidad de un sistema RAG depende de la preparación de datos». Dos dominios distintos, el mismo porcentaje redondo y ninguna fuente en ninguno de los dos. Como afirmación cualitativa —la representación pesa más que la elección de modelo— es razonable y esta lección la asume; como cifra, es una muletilla. Cuando el mismo número explica dos cosas distintas, no está midiendo ninguna. Y una segunda: se atribuyen «más de 1.100 idiomas» al modelo multilingüe de Meta — ¿cuántos de esos tienen calidad utilizable, y cuál es la del español? La ficha del modelo lo dice; el PDF no.

Para hacer

Ver un sonido antes de modelarlo

Coge un audio corto tuyo y dibuja las dos vistas: la forma de onda y el espectrograma. Sin entrenar nada, solo mirarlas. Después responde a una pregunta sobre cada una: en la onda, ¿dónde están los silencios? En el espectrograma, ¿qué zona se ilumina cuando hay voz y cuál cuando hay ruido de fondo?

Si las dos preguntas se contestan mirando, tu representación sirve. Si el espectrograma es una mancha uniforme, ningún modelo va a distinguir ahí lo que tú no distingues — y eso lo sabes antes de gastar una hora de entrenamiento.