Actuellement, la norme est à l'utilisation de multiple caches, organisés en niveau (level).
Un cache peut être situé sur la même puce que le processeur (on-chip/internal cache), ou n'être qu'accessible via un bus externe au processeur (external cache). L'utilisation d'un cache interne permet
Une organisation typique est : un cache interne (de niveau 1) et un cache externe (de niveau 2). Le cache de niveau 2 doit être de 10 à 100 fois plus grand que le/les caches de niveau 1 pour être intéressant.