Il doit être suffisament petit pour que son coût soit proche de celui d'une mémoire principale, et que le temps d'accès soit le plus intéressant possible, et suffisament grand pour ne pas avoir à trop accéder à la mémoire principale. Des études ont montré que les caches les plus efficaces on une taille inférieure à 512 K mots, mais leur performance dépendent beaucoup de la nature des applications traitées par la machine...