La Casa della Memoria è un edificio estremamente semplice: un prisma a base rettangolare (20 x 35 metri) alto 17,5 metri.

L’edificio è diviso in tre parti connesse da un pianoterra interamente libero.

Alle estremità brevi del volume, due intercapedini comprendono da un lato tutti i locali di servizio e dall'altro 5 piani di deposito librario a vista, come a vista è l'intero spazio occupato dagli uffici, disposti su due piani collegati da una scala circolare a tutta altezza dipinta di giallo. 

La presenza della grande vite gialla, incastrata tra i vari livelli dell'edificio, attribuisce agli spazi interni un’ampiezza speciale. La luce naturale riesce a illuminare ogni angolo grazie alla semplicità delle soluzioni costruttive adottate: impianti tecnologici a vista e partizioni dei locali dei piani superiori in vetro da pavimento a soffitto.

Il terzo piano è dedicato ad una sala lettura e a locali di deposito d'archivio ancora in allestimento.

Lo spazio pubblico del pianoterra, un grande open space di 20x 30 m, è adibito a eventi pubblici, anche organizzati da soggetti terzi. 
Non è disponibile per iniziative private né per eventi a pagamento.