[[PageOutline]] ** {{{#!html

Allocation dynamique de mémoire }}} Vous pouvez lire les [htdocs:cours/Archi-2-B6-alloc-2p.pdf slides de cours] pour voir les détails, mais voici le résumé des principes en quelques lignes. - **L'application et le noyau ont besoin d'allouer dynamiquement de la mémoire**. - L'application et le noyau disposent chacun d'un segment d'adresse propre, nommé respectivement `.data` et `.kdata`, pour leurs données. - Ces segments ont été partiellement remplis par les variables globales du programme au moment de leur chargement en mémoire. - Les allocateurs dynamiques utilisent l'espace libre de ces segments `data`. - L'application a 2 besoins distincts d'allocation dynamiques : 1. l'allocation de variables dynamiques avec une API utilisateur `malloc`/`free` 1. l'allocation de piles pour les threads avec une API ad hoc utilisée par le noyau. - Les différences entre ces deux types de types d'allocation sont les suivantes : - D'un côté, les variables dynamiques sont allouées par l'application en fonction de ses besoins. La taille des variables est quelconque, allant de quelques octets à plusieurs mégaoctets (tant que c'est possible dans la mémoire disponible). - D'un autre côté, les piles des threads sont certes dans l'espace utilisateur, mais elles sont allouées par le noyau au moment de la création des threads. Leur taille est standard et fixe (dans un vrai système, on peut choisir leur taille à la création du thread, mais pas pour kO6). - **Nous avons donc 3 allocateurs dans kO6** : - un allocateur de variables dynamiques pour l'application ; - un allocateur de piles ‘’utilisateurs’’ pour les threads de l'application, mais utilisé par le noyau ; - un allocateur de variables dynamiques pour le noyau. - L'allocateur de piles utilisateur et l'allocateur de variables doivent partager la zone libre laissée dans le segment `.data`. Ainsi l'allocateur de piles utilise la partie haute du segment `.data` et l'allocateur de variables utilise la partie basse. - **kO6 propose une API nommée `list` permettant de gérer les listes chaînées** - Cette API est définie dans le fichier `common/list.h` et elle est utilisable par l'application et le noyau, notamment dans les allocateurs. - L'API `list` permets de chaîner des éléments de liste de type `list_t`, laquelle est une structure composée d'un double pointeur pointant vers d'autres structures `list_t`. - Les éléments de liste sont embarqués dans des structures porteuses. - Ce sont les éléments de type `list_t` qui sont chaînés entre eux, mais l'API `list` permets de retrouver le pointeur sur la structure porteuse de l'élément. - L'API `list` permets l'ajout et l'extraction d'éléments de liste au début, au milieu ou à la fin d'une liste. - L'API `list` permets aussi l'ajout d'élément en utilisant une relation d'ordre choisie par l'utilisateur pour obtenir des listes triées. - L'API `list` permets le parcours de tous les éléments d'une liste. - **L'allocateur de piles pour les threads.** - C'est l'allocateur le plus simple. Il alloue les piles en réservant un segment de taille fixe (`USTACK_SIZE` défini dans `common/usermem.h`) à partir du haut du segment `.data`, tant que cela n'entre pas en collision avec l'allocateur de variables dynamiques qui utilise le bas de ce même segment. - Lors de la libération, la pile est mise dans une liste chaînée triée par adresses décroissantes en utilisant l'API `list`. - Lors de l'allocation, la liste de piles libres est consultée en premier, avant de créer une nouvelle pile. - Quand une pile est libérée et qu'elle est celle placée à l'adresse la plus basse, alors la place qu'elle occupait est rendue au noyau. - Le tri des piles libres permet d'augmenter la probabilité d'usage des piles placées en haut du segment `.data` et donc la libération des piles placées plus bas. - **L'allocateur de variables dynamiques pour l'application.** - Cet allocateur gère un segment d'adresses nommé `heap` placé en bas du segment `.data`, situé juste après les variables globales et alignées sur les lignes de caches. - l'adresse limite du `heap` est nommée `heap_end`, c'est un pointeur. - L'allocateur gère des blocs (il fallait bien donner un nom...) - Un bloc est un segment d'adresse aligné sur les lignes de caches. - Un bloc est défini par : (1) une taille (en nombre de lignes de cache) et (2) un état vide ou plein - Au début, le `heap` est vide (il ne contient pas de bloc), alors il demande de la place au kernel avec l'appel système `sbrk_heap` qui lui octroie de l'espace en déplaçant le pointeur `heap_end` vers le haut (tant que cela n'entre pas en collision avec les piles de threads qui utilisent le haut du segment `.data`. - Cette demande de place a pour effet de créer un bloc vide. - L'API de cet allocateur est `void * malloc(size_t)` et `void free(void *)` - `void * malloc(size)` (politique de remplissage first fit) - La fonction parcourt l'ensemble des blocs en commençant par le tout premier à la recherche d'un bloc vide assez grand pour contenir `size`. - Si la place restante est plus petite qu'une ligne de cache, alors l'ensemble du bloc est marqué comme `plein`. - Sinon, le bloc est scindé en deux blocs, le premier à l'état `plein` et le second à l'état `vide`. - Si l'allocateur ne trouve pas de bloc assez grand, alors il parcourt l'ensemble des blocs et si deux blocs voisins sont libres, il les réunit, puis il retente l'allocation. S'il échoue encore et il sort avec NULL. - Quand l'allocateur a trouvé un bloc, il rend un pointeur dessus. - `void free(void *)` - La fonction vérifie que l'adresse en argument a bien été allouée par `malloc()`. - Elle marque le bloc pointé comme `vide`, c'est-à-dire non alloué. - **L'allocateur de variables dynamiques pour le noyau.** - Le noyau alloue des structures ou des tables pour rendre ses services, pour les threads, les devices drivers, les ressources de synchronisation, le système de fichiers, etc. - Nous appelons ces structures et ces tables des objets (pour leur donner un nom différent de bloc), les objets ont un nombre entier de lignes de cache. Le noyau doit pouvoir allouer et libérer ses objets très rapidement. - L'API de cet allocateur est `void * kmalloc(size_t)` et `void free(void *, size_t)` - `void * kmalloc(size)` (politique de remplissable `slab`) - L'allocateur d'objets du noyau gère un tableau de listes d'objets libres de même taille. - Au départ, toutes les listes d'objets libres sont vides. - Lorsqu'une demande d'allocation est faite pour une certaine taille `T` et que la liste des objets libres de cette taille `T` est vide alors l'allocateur alloue une dalle (ou `slab` en anglais) de 4kO. - Il découpe la dalle en autant d'objets que possible de la taille `T` demandée et il chaîne ces objets pour remplir la liste d'objets libres. - Pour allouer un objet, l'allocateur prend le premier objet de la liste des objets libres de la bonne taille. - `void kfree(void *, size_t)` - Pour libérer un objet, l'allocateur se contente de le remettre au début de la liste des objets libres de la bonne taille donnée en argument. - Lors de la libération d'un objet, il peut s'avérer que tous les objets d'une dalle X sont libres. Dans ce cas, l'allocateur retire de la liste d'objets libres tous les objets appartenant à la dalle X et il rend cette dalle à la liste des dalles libres. - Les listes d'objets libres se remplissent ou se vident dynamiquement. == = A. Questions de cours La majorité des réponses aux questions sont dans le cours ou dans le rappel du cours donné au début de cette page, c'est voulu. Les questions suivent à peu près l'ordre du cours, elles sont simples, mais vous avez besoin de comprendre le cours pour y répondre :-) Quand une question vous demande si quelque chose est vrai ou faux, ne répondez pas juste "oui" ou "non », mais justifiez vos réponses avec une petite phrase. Le but de ces questions est d'évaluer vos connaissances, donc plus vous êtes précis, mieux c'est. 1. Quels sont les besoins d'allocation de l'application et du noyau ? {{{#!protected ------------------------------------------------------------------ ''' * Ici, il y en a 3. L'application a besoin de piles pour ses threads et de variables dynamiques. Le noyau a besoin de variables dynamiques pour rendre ses services. * Notez que, même si les piles des threads sont utilisées exclusivement par les threads quand ils exécutent le code de l'application en mode user, elles sont allouées par le noyau au moment de la création des threads. ''' }}} 1. L'allocation dynamique est confrontée au problème de fragmentation de l'espace libre. Il y a deux types de fragmentation, définissez-les. {{{#!protected ------------------------------------------------------------------ ''' * On parle de fragmentation pour nommer l'émiettement de l'espace libre qui se produit lorsqu'on effectue un grand nombre d'allocations puis de libérations de segments d'adresses de tailles différentes. * On parle de fragmentation externe pour l'espace entre objets alloués. * On parle de fragmentation interne pour l'espace inutilisé à l'intérieur des objets alloués, ce qui arrive quand on alloue plus que ce que l'utilisateur demande. * La fragmentation externe est d'autant plus grave que le nombre d'objets est grand et que leur taille est très différente. * Pour lutter contre la fragmentation, on peut aligner des objets alloués sur des segments par trop petit de sorte à toujours avoir des espaces utilisables entre les objets, mais cela crée une fragmentation interne. * On peut aussi gérer des ensembles d'objets de même taille. * En bref, dans le cas général, la fragmentation est inévitable, mais si on sait à l'avance quelles sont les tailles des objets alloués, alors on peut fortement la réduire. ''' }}} 1. Pourquoi l'API `list` propose-t-elle un double chaînage pour ses éléments ? {{{#!protected ------------------------------------------------------------------ ''' * Il ne faut pas seulement parcourir une liste, il faut aussi pouvoir ajouter ou extraire des éléments n'importe où. * Pour ajouter un élément devant un autre, il faut accéder à l'élément précédent et donc avoir un double chaînage. * Cela permet aussi d'ajouter en fin de liste très facilement, puis que l'élément de fin de liste est celui qui précède la racine (si on construit une liste circulaire). ''' }}} 1. Comment est-il possible de trouver le pointeur sur la structure à partir du pointeur sur l'un de ses champs ? Comment se nomme la macro (ce n'est pas une fonction) permettant ce service (la réponse est dans les slides du cours) {{{#!protected ------------------------------------------------------------------ ''' * Pour trouver le pointeur sur la structure porteuse d'un élément de liste, il faut connaître 3 choses : 1. l'adresse en mémoire de l'élément de liste, 1. le type C de la structure porteuse 1. le nom du champ de l'élément de liste dans la structure porteuse. * Le compilateur sait à quelle position le champ élément de liste (dont on lui donne le nom) se trouve dans la structure porteuse (dont on lui donne le type) et il peut déduire l'adresse de la structure porteuse à partir de l'adresse de l'élément avec une simple soustraction : adresse élément - position dans la structure * c'est la macro `list_item( &element, type_porteuse, nom_champ_élément)` * La question n'est pas posée, mais comprenez que c'est une macro, ce n'est pas une fonction parce que c'est un calcul fait par le compilateur. ''' }}} 1. À quoi sert l'allocateur de piles user ? Qui demande l'allocation ? Qui utilise les piles ? Est-ce que ces piles ont une taille variable ? {{{#!protected ------------------------------------------------------------------ ''' * L'allocateur de piles user sert pour les threads de l'application, il faut une pile par thread pour les contexte d'exécution des fonction. * C'est le noyau qui fait l'allocation des piles lorsqu'il crée les threads et ce sont les threads qui les utilisent. * Dans l'état actuel de kO6, la taille des piles n'est pas paramétrable. ''' }}} 1. Où sont allouées les piles user ? Peut-on en allouer autant que l'on veut ? dites pourquoi. {{{#!protected ------------------------------------------------------------------ ''' * Les piles user sont allouées dans la partie haute du segment `.data`. * On ne peut pas en allouer autant qu'on veut parce que le segment n'est pas infini. * Le segment `.data` contient aussi les variables globales de l'application dans la partie basse et les piles ne doivent pas entrer en collision, pas d'intersection. ''' }}} 1. Est-ce que ces piles peuvent déborder ? Si oui, est-ce vraiment un problème et que propose kO6 pour ce problème ? {{{#!protected ------------------------------------------------------------------ ''' * Oui, les piles peuvent déborder, il n'y a aucun mécanisme pour se protéger. * Un mécanisme possible serait de lever des exceptions ''accès mémoire interdit'' lorsqu'on sortirait d'une pile, mais il n'y en a pas. * C'est un problème, parce que déborder une pile, c'est écraser des données. Le plus grave, c'est que la perte de donnée due à l'écrasement peut ne pas être visible avant plusieurs dizaines de millions de cycles et le debug devient particulièrement difficile. * Pour traiter ce problème, kO6 écrit au début et à la fin des piles, des nombres magiques qui ne devront jamais être écrasés si les piles est correctement utilisées. Ces sont des sentinelles. * kO6 peut regarder périodiquement (par exemple à chaque commutation) que la pile n'a débordée, si les sentinelles sont toujours là. * Avec ce mécanisme, on ne peut pas détecter précisément quand le problème arrive mais on a une fourchette temporelle d'un tick d'horloge, c'est déjà pas mal. ''' }}} 1. Que signifie que les objets alloués sont alignés sur les lignes de cache ? Et quels sont les bénéfices de cette contrainte ? {{{#!protected ------------------------------------------------------------------ ''' * Cela signifie que l'adresse de début des objets et leur taille sont des multiples de la taille d'une ligne de cache. * Il y a trois avantages : 1. ça limite la fragmentation externe puisque les trous entre les objets font au moins une ligne, et ils ont donc plus de chance d'être utilisés. 1. ça évite les faux partages. En effet, si on met dans une même ligne de cache des variables non partagées utilisées par plusieurs threads s'exécutant sur des cœurs différents, le mécanisme de cohérence de cache se met en route à chaque modification des variables alors que c'est inutile. 1. Si les structures de données allouées de manière dynamique sont alignées alors lorsqu'on lit le premier champ de la structure on lit aussi les suivants et on bénéficie de la localité spatiale. C'est un gain en performance (certes mineur). ''' }}} 1. L'allocateur d'objets (nommés blocs dans le rappel de cours au-dessus) pour l'application utilise une politique ''first fit''. Qu'est-ce que cela signifie ? Quels sont les autres ? Existe-t-il une politique meilleure que les autres et pour quel critère ? {{{#!protected ------------------------------------------------------------------ ''' * L'allocation ''first fit'' signifie que l'allocateur utilise le premier bloc libre assez grand pour l'objet alloué. Ce bloc libre est coupé en deux s'il est trop grand pour produire un nouveau bloc libre, mais plus petit parce que amputé de la partie alloué à l'objet. * On a aussi l'allocation ''next fit'' qui consiste à ne pas partir du début dans la recherche d'un bloc libre, mais de l'endroit de la dernière affectation, et la l'allocation ''best fit'' qui consiste à trouver un bloc libre de la bonne taille en premier. * Il en existe d'autres, leur but est d'augmenter les performances et de réduire la fragmentation. * Il n'y a pas de meilleurs solutions, mais si on connaît la nature des besoins en terme d'allocation, on peut imaginer des mécanismes plus efficaces. ''' }}} 1. Rappeler le nom des deux fonctions de l'API utilisateur de cet allocateur. Est-ce que ces fonctions font des appels système à chaque fois ? Si oui, quand et pourquoi ? {{{#!protected ------------------------------------------------------------------ ''' * `void * malloc(size_t)` et `void free(void *)`. * Non, ces fonctions ne font pas d'appel système à chaque fois. L'allocateur de la libc se fait alloué un segment assez grand par l'appel système `sbrk_heap` et ensuite, il alloue des segments (nommés blocs dans le cours) et les libère à la demande. * L'appel système, c'est pour demander un peu plus plus pour `malloc()`, mais `free()` ne demande jamais de réduire l'espace. ''' }}} 1. Pour libérer un objet alloué par l'allocateur de l'application, la fonction `free()` reçoit juste le pointeur rendu par `malloc()`. Comment la fonction `free()` connaît-elle la taille qui avait été allouée ? {{{#!protected ------------------------------------------------------------------ ''' * Alors, `free()` doit retrouver la taille allouée. Il y avait plusieurs possibilités, celle choisie est la plus simple, elle consiste à ce que le premier mot du bloc alloué est utilisé pour stocker la taille du bloc. * Ainsi, si `free()` reçoit en argument l'adresse A, alors la taille du bloc est à l'adresse A-4. * Ce mot d'information est nommé `block_info`, il contient la taille en ligne de cache (ça économise des bits), un bit d'état (bloc `full` ou `empty`) et un numéro magic pour repérer d'éventuelles corruptions des données. ''' }}} 1. L'allocateur d'objets du noyau utilise un mécanisme d'allocation par dalles ou `slab` en anglais, nommé `slab allocator`. Qu'est-ce qu'un slab ? Quelle est la taille d'un slab ? Quel est l'intérêt des slabs? {{{#!protected ------------------------------------------------------------------ ''' * Un slab est un segment d'adresses contenant des objets de même taille. * Pour kO6, il n'y a qu'une seule taille, une page de 4kO, mais normalement la taille des slabs dépend de la taille des objets. En effet, quand la taille du slab n'est pas un multiple de la taille de l'objet, il y a un fragment inutile créé dans le slab. Ce fragment est d'autant plus grand que les objets sont grands. C'est pourquoi au delà d'1/8 de page (512 octets), on prend des slabs de 2, 4 ou 8 pages. * Le principal intérêt de ce mécanisme c'est sa rapidité. En effet, lorsque l'allocateur a créé ses listes d'objets libres, en prendre un est très rapide, de même que le rendre. * Le second intérêt est la réduction de la fragmentation externe, limitée aux fragments non utilisés dans les slabs. ''' }}} 1. L'allocateur d'objets du noyau gère des listes d'objets libres. Quel rapport y a-t-il entre les objets alloués et les slabs ? À quel moment les slabs sont-ils alloués ? À quel moment les slabs sont-ils libérés ? {{{#!protected ------------------------------------------------------------------ ''' * En fait, la réponse est donnée dans la réponse précédente. Les slabs contiennent les objets libres et donc les futurs objets alloués. Notez que quand un objet est alloué, il n'est plus dans le slab, il y retourne quand il est libéré. * L'allocateur alloue un slab quand on lui demande un objet d'une certaine taille, mais que la liste des objets libres de cette taille est vide. L'allocateur demande alors un slab (ici, une page de 4kO) pour remplir la listes d'objets libres et en extraire finalement un. * L'allocateur recherche les slabs entièrement rempli d'objets libres et dans ce cas, il en retire tous les objets et rend le slab. Cette politique n'est pas forcément efficace, il est sans doute préférable d'avoir toujours des listes d'objets libres non vides. On peut donc définir un seuil d'objets libre en dessous duquel ne pas descendre. ''' }}} 1. Lorsqu'on libère le dernier objet d'un slab, celui-ci est libéré, pensez-vous que cela puisse être un problème ? Si oui, avez-vous une solution ? {{{#!protected ------------------------------------------------------------------ ''' * ''' }}} 1. Les objets alloués par l'allocateur d'objets de kO6 font au maximum 4kO, pourquoi cette limite ? Est-ce un problème selon vous ? {{{#!protected ------------------------------------------------------------------ ''' * ''' }}} 1. Pour libérer un objet alloué par l'allocateur d'objets du noyau, on utilise la fonction `kfree()` qui prend en argument le pointeur alloué par `kmalloc()` et la taille allouée. Pourquoi demander la taille ? Est-ce une contrainte ? {{{#!protected ------------------------------------------------------------------ ''' * ''' }}} 1. Le premier usage des allocateurs est fait par la gestion des threads. Sur les trois allocateurs décrits ici, quels sont ceux qu’il utilise? {{{#!protected ------------------------------------------------------------------ ''' * ''' }}} 1. Chaque thread a désormais deux piles. Quelles tailles ont-elles ? À quoi servent-elles et pourquoi sont-elles utiles ? À quel moment bascule-t-on de l'une à l'autre ? {{{#!protected ------------------------------------------------------------------ ''' * ''' }}} == = B. Travaux pratiques Pour la partie pratique, vous allez devoir programmer un peu. Les premières questions sont assez faciles, les dernières un peu moins, faites ce que vous pouvez.