Su creador, Villanueva, también realizó para el plan el Real Observatorio y el Jardín Botánico.
Precisamenete vinculado a este último se realizó el proyecto como Museo de Ciencias Naturales, siendo en tiempos de Fernando VII cuando cambió su función a la actual de Museo de arte.
Para su elaboración Villanueva recurre, una vez más, a su admirado Palladio y toma el esquema de Villa Barbaro para su edificicio: gran entrada central, dos pabellones laterales, y unión de los mismos a través de anchas alas.
En la zona trasera, el esquema se repetía sustituyendo la gran entrada columnada por un pabellón semicircular.
Las distintas entradas se realizaron según los modos neoclásicos, utilizando un sólo orden en ellas (dórico-toscano en la de Velázquez, jónico en la de Goya y corintio en la de Murillo).
Puerta de Murillo
.
Puerta de Goya, con sus dos pisos para salvar el desnivel del terreno.
Detalle del friso de la puerta de Velázquez
En todas ellas se renuncia al frontón por formas adinteladas, jugando con una de las especialidades del autor, la profundidad de los vestíbulos y su fuerte claroscuro frente al muro exterior que, en ciertos momentos del día, hace una transición a través de la luz sobre las columnas delanteras.
Para los brazos que unen los pabellones se vuelve a utilizar un motivo palladiano en sus alternancia de arcos y nichos adintelados, con un piso superior columnado y de nuevo adintelado.
Como puede verse en todas las fotografías apenas si quedan restos de decoración, y la arquitectura y la luz se vuelven los protagonistas que realizan una obra a través de la línea recta y pura.
Sus materiales son la caliza blanca y, como una forma de homenaje al pasado, el ladrillo que en las zonas laterales y traseras juega en una sobria y potente bicromía
