L'idéal est de posséder une mémoire illimitée et très rapide. Or le temps d'accès augmente avec la capacité. L'idée adoptée pour l'organisation de la mémoire est donc de considérer que seules les données les plus utilisées nécessitent un temps d'accès très petit.
Ainsi la mémoire est organisée en une hiérarchie :