Changes between Initial Version and Version 1 of CaoCourseTme3

Timestamp:

Feb 15, 2007, 1:13:37 PM (18 years ago)

Author:

alain

Comment:

--

CaoCourseTme3

@@ +1 @@
+{{{
+#!html
+<h1> TME3 : Réalisation d'un parser de fichiers pour le format ".vst "</h1>
+}}}
+[[PageOutline]]
+
+= 1. Objectifs =
+
+L'objectif de ce TME est de vous familiariser avec les outils '''flex''' et '''bison''',
+qui sont des outils de la distribution GNU permettant de générer automatiquement des
+''scanners'' (un scanner est un analyseur lexical) et des ''parsers'' (un parser est un analyseur
+syntaxique) pour différents formats de fichiers.
+
+Vous allez donc développer un ''parser'' pour le sous-ensemble de la grammaire du 
+langage VHDL utilisé  par la chaîne de CAO Allianced pour décrire la vue structurelle
+(format ".vst"). La structure de donnée construite en mémoire est la structure de données ''lofig''
+présentée en cours.
+
+Nous ne vous donnons pas la grammaire du format ".vst" mais vous devrez 
+la construire en analysant les fichiers d'exemples au format ".vst" qui sont disponibles dans le répertoire
+{{{
+~encadr/cao/tme3/vst+.
+}}}
+
+Le sous-ensemble de VHDL visé permet de décrire des composants possédant des ports
+d'entrée/sortie, des signaux, et d'instancier ces composants en les connectants par les signaux.
+On fait l'hypothèse que tous les signaux sont de type bit, et il n'est donc pas demandÈ de traiter les vecteurs de bits.
+
+ 1 : Ècriture du \emph{scanner}}
+
+On rappelle qu'on appelle \texttt{token} une suite de caractËres lus dans 
+le fichier qu'on cherche ‡ analyser, et correspondant ‡ une
+expression rÈguliËre : mot-clef, identificateur, etc...
+Vous devez Ècrire le fichier \texttt{vst.l} dÈfinissant les expressions
+rÈguliËres correspondant au format .vst.
+
+On rappelle qu'en VHDL, les lettres majuscules et minuscules ne sont pas
+diffÈrenciÈes.
+Cherchez dans le manuel de \texttt{flex} une maniËre simple de
+produire un \emph{scanner} qui ne fasse pas la diffÈrence entre
+majuscules et minuscules.
+
+\begin{enumerate}
+\itemsep=-.5ex
+
+\item Ètablir la liste des mots clefs du format .vst, et en dÈduire les
+      expressions rÈguliËres en langage \texttt{lex} permettant de
+      les reconnaÓtre~;
+
+\item Ètablir la liste des opÈrateurs du langage et les rËgles
+      permettant de les reconnaÓtre.
+      On utilisera une classe pour les opÈrateurs 
+      possÈdant un seul caractËre~;
+
+\item un identificateur du VHDL commence par une lettre, suivie
+      optionnellement d'autant de lettres, chiffres ou
+      d'\emph{underscore}s que l'on veut, avec la contrainte que l'on
+      ne doit pas avoir 2 \emph{underscore}s successifs.
+      Etablir la rËgle de reconnaissance d'un identificateur~;
+
+\item un commentaire commence par \texttt{-\hspace{.2ex}-} et s'achËve en fin de
+      ligne. Etablir la rËgle permettant d'absorber ces commentaires.
+
+\item Etablir la rËgle permettant d'absorber les caractËres d'espacement et les
+      caractËres de tabulation.
+
+\end{enumerate}
+
+On donne ci-dessous une partie du fichier \texttt{vst.l} que vous devez Ècrire.
+Modifiez ce fichier en introduisant les rËgles que nous vous avons demandÈ d'Ètablir, et 
+dÈfinissez les commandes d'affichage qui permettent d'afficher la chaÓne de
+caractËres correspondant ‡ chaque token reconnu.
+
+%\small
+%\scriptsize
+\begin{verbatim}
+%{
+#include <string.h>
+#include <stdio.h>
+int yylineno = 1; /* compteur de numero de ligne */
+%}
+dÈfinitions de macro
+%%
+[ \t]           { /* Rien de rien */ }
+\n              {yylineno++;}
+regle1          {printf("TOKEN1: %s\n", yytext);}
+regle2          {printf("TOKEN2: %s\n", yytext);}
+reglen          {printf("TOKEN3: %s\n", yytext);}
+%%
+int main(void)
+{
+   yylex();
+   return 0;
+}
+\end{verbatim}
+\normalsize
+
+Nous rappellons que la compilation s'effectue grosso-modo ainsi,
+‡ charge pour vous d'intÈgrer cela dans un \texttt{Makefile}.
+
+%\small
+%\scriptsize
+\begin{verbatim}
+flex -t vst.l > vst.yy.c
+gcc -Wall -Werror -o scanner vst.yy.c -lfl
+\end{verbatim}
+\normalsize
+
+\texttt{lex} dÈclare une macro non utilisÈe dans le cas prÈsent, 
+et il y a donc un avertissement justifiÈ au moment de la compilation.
+Pour Èviter cela, il faut dÈfinir dans le prologue du fichier
+vst.l la macro \texttt{YY\_NO\_UNPUT}.
+
+\section*{Etape 2 : modification du \emph{scanner}}
+
+On cherche maintenant ‡ modifier le scanner pour qu'il affiche non plus
+la chaÓne de caractËres associÈe ‡ chaque token, mais un entier
+reprÈsentant le type du token reconnu.
+
+Pour cela~:
+
+\begin{enumerate}
+\itemsep=-.5ex
+
+\item DÈfinir dans le prologue du fichier vst.l un type ÈnumÈrÈ qui associe
+‡ chaque token un entier dÈfinissant son type. On utilise en gÈnÈral des valeurs
+supÈrieures ‡ 255 pour les token correspondant ‡ une chaÓne de plusieurs caractËres, 
+de faÁon ‡ pouvoir directement utiliser le code ascii du caractËre dans le cas
+d'un token constituÈ d'un seul caractËre. ~;
+
+\item Modifier les actions associÈes aux rËgles afin qu'elles retournent
+      le type du \emph{token}~;
+%\small
+\begin{verbatim}
+entity   {return T_ENTITY;}
+\end{verbatim}
+\normalsize
+
+\item Modifier le \texttt{main} pour qu'il affiche le type des tokens reconnus.
+      Nous rappellons que \texttt{yylex} retourne 0 lorsque la fin de fichier est lue~;
+
+\end{enumerate}
+
+\section*{Etape 3 : dÈbut de l'Ècriture du \emph{parser}}
+
+Il faut maintenant dÈfinir dans le fichier \texttt{vst.y} les rËgles de la grammaire 
+correspondant au format .vst. Ces rËgles s'appuient sur les token reconnus par flex.
+Dans ce TME, il ne sera pas question d'analyse sÈmantique ni mÍme
+d'actions ‡ effectuer lorsqu'une rËgle est activÈe.
+On se bornera donc ‡ effectuer l'analyse de syntaxe en s'assurant que les structures
+grammaticales dÈfinies permettent effectivement d'analyser le fichier exemple.vst.
+
+Cette Ètape vise ‡ analyser le fichier \texttt{signal.ex}, qui ne constitue qu'une
+partie du fichier \texttt{exemple.vst}. On cherche principalement ‡ traiter
+le problËme des rËgles permettant de reconnaÓtre un nombre variable d'arguments
+(une liste de signaux dans notre cas).
+
+\begin{enumerate}
+\itemsep=-.5ex
+
+\item dÈfinir les rËgles de grammaire correspondant ‡ la dÈclaration des signaux VHDL
+      en analysant le contenu du fichier \texttt{signal.ex} qui vous est fourni, 
+      et implanter ces rËgles dans le fichier vst.y.~;
+
+\item Dans le fichier vst.y, complÈter la dÈclaration des diffÈrents
+      token utilisÈs par le parser. 
+      On dÈclarera tous les token susceptibles d'Ítre reconnus par
+      le scanner.~;
+
+\item Comme nous n'allons pas effectuer d'actions pour ces
+      rËgles, nous utiliserons le mode \emph{debug} de bison
+      pour vÈrifier que l'analyse se passe bien.
+      Pour activer ce mode, il faut utiliser l'option \texttt{-t} de
+      bison et positionner la variable \texttt{yydebug} ‡ une
+      valeur autre que zÈro dans la fonction main()~;
+\item Il faut par ailleurs que \texttt{bison} fournisse la liste des
+      \emph{tokens} ‡ \texttt{flex}. Pour cela, il faut utiliser l'option
+      \texttt{-d}, pour demander ‡ bison de gÈnËrer un fichier \texttt{vst.tab.h}
+      contenant ces dÈfinitions.
+      Il faut donc modifier le fichier vst.l pour qure le fichier
+      \texttt{vst.tab.h} soit inclus dans le fichier vst.l et supprimer les dÈfinitions
+      de token existant par ailleurs dans vst.l.
+\item il faut Ègalement modifier la fonction \texttt{main}, qui est maintenant dÈfinie
+      dans le fichier vst.y, et doit appeller la fonction \texttt{yyparse()}.
+\end{enumerate}
+
+Voici une Èbauche du fichier \texttt{vst.y} que vous devez modifier et complÈter:
+
+%\scriptsize
+\begin{verbatim}
+%{
+#include <string.h>
+#include <stdio.h>
+
+extern int      yylex(void);
+extern int      yylineno;
+extern FILE     *yyin;
+
+int yyerror(char *s)
+{
+   fprintf(stderr, "%s line %d\n", s, yylineno);
+   return 1;
+}
+%}
+
+%token ...
+
+%%
+prod : regle TOKEN 
+     | ...
+     ;
+%%
+
+int main(int argc, char *argv[])
+{
+   if(argc != 2) {
+        printf(usage : %s filename\n", argv[0]);
+        exit(1);
+   }
+   yyin = fopen(argv[1],"r");
+   if(!yyin) {
+        printf(cannot open file : %s\n", argv[1]);
+        exit(1);
+   }
+   yydebug = 1;
+   yyparse();
+   return 0;
+}
+\end{verbatim}
+\normalsize
+
+Nous rappellons que la compilation s'effectue grosso-modo ainsi,
+‡ charge pour vous d'intÈgrer cela dans le \texttt{Makefile} dÈj‡ constituÈ
+pour \texttt{lex}.
+Nous vous rappellons que la compilation de \texttt{lex} doit dÈpendre du
+fichier d'entÍte gÈnÈrÈ par \texttt{yacc}.
+
+%\small
+%\scriptsize
+\begin{verbatim}
+bison -t -d vst.y 
+gcc -Wall -Werror -o parser vst.tab.c vst.yy.c -lfl
+\end{verbatim}
+\normalsize
+
+\section*{Etape 4 : suite et fin de l'Ècriture du \emph{parser}}
+
+L'idÈe est de construire le \emph{parser} de maniËre incrÈmentale.
+La syntaxe de la dÈclaration des signaux ayant ÈtÈ dÈfinie, vous allez,
+dans cet ordre~:
+\begin{enumerate}
+\itemsep=-.5ex
+\item dÈfinir les rËgles de dÈclaration des ports en partant
+      de l'exemple \texttt{port.ex} qui vous est fourni~;
+\item dÈfinir les rËgles de dÈclaration du composant en partant
+      de l'exemple \texttt{component.ex} qui vous est fourni~;
+\item dÈfinir les rËgles de dÈclaration de l'entitÈ en partant
+      de l'exemple \texttt{entity.ex} qui vous est fourni~;
+\item dÈfinir toutes les rËgles nÈcessaires ‡ la lecture du fichier
+      \texttt{exemple.vst}.
+\end{enumerate}
+
+Vous pouvez faire des validations intermÈdiaires simplement en dÈclarant
+un nouveau symbole de dÈpart gr‚ce ‡
+%\small
+\begin{verbatim}
+%start regle
+\end{verbatim}
+\normalsize
+
+Vous pouvez considÈrer que le TME est terminÈ lorsque le parser construit
+‡ partir des deux fichiers vst.l et vst.y est capable de lire et de reconnaitre
+la totalitÈ du fichier exemple.vst.
+
+\small
+\subsubsection*{signal.ex}
+\begin{multicols}{2}
+\begin{verbatim}
+signal opc    : bit;
+signal read   : bit;
+signal lock   : bit;
+signal a      : bit;
+signal d      : bit;
+signal ack    : bit;
+signal tout   : bit;
+signal it_0   : bit;
+signal req0   : bit;
+signal req1   : bit;
+signal gnt0   : bit;
+signal gnt1   : bit;
+signal sel1   : bit;
+signal sel2   : bit;
+signal sel3   : bit;
+signal sel4   : bit;
+signal sel5   : bit;
+signal sel6   : bit;
+signal sel7   : bit;
+signal sel8   : bit;
+signal sel9   : bit;
+signal snoopdo: bit;
+\end{verbatim}
+\end{multicols}
+\subsubsection*{port.ex}
+\begin{multicols}{2}
+\begin{verbatim}
+   port (
+      clk    : in bit;
+      resetn : in bit;
+      ireq   : out bit;
+      ignt   : in bit;
+      dreq   : out bit;
+      dgnt   : in bit;
+      opc    : out bit;
+      lock   : out bit;
+      read   : inout bit;
+      a      : inout bit;
+      d      : inout bit;
+      ack    : in bit;
+      tout   : in bit;
+      it_0   : in bit;
+      it_1   : in bit;
+      it_2   : in bit;
+      it_3   : in bit;
+      it_4   : in bit;
+      it_5   : in bit;
+      snoopdo: in bit
+   );
+\end{verbatim}
+\end{multicols}
+\subsubsection*{component.ex}
+\begin{multicols}{2}
+\begin{verbatim}
+component PIR3000
+   port (
+      clk    : in bit;
+      resetn : in bit;
+      ireq   : out bit;
+      ignt   : in bit;
+      dreq   : out bit;
+      dgnt   : in bit;
+      opc    : out bit;
+      lock   : out bit;
+      read   : inout bit;
+      a      : inout bit;
+      d      : inout bit;
+      ack    : in bit;
+      tout   : in bit;
+      it_0   : in bit;
+      it_1   : in bit;
+      it_2   : in bit;
+      it_3   : in bit;
+      it_4   : in bit;
+      it_5   : in bit;
+      snoopdo: in bit
+   );
+end component;
+\end{verbatim}
+\end{multicols}
+\subsubsection*{entity.ex}
+\begin{verbatim}
+entity EXEMPLE is
+   port (
+      clk    : in bit;
+      resetn : in bit
+   );
+end exemple;
+\end{verbatim}
+\scriptsize
+\newpage
+\subsubsection*{expemple.vst}
+\begin{multicols}{2}
+\begin{verbatim}
+end exemple;
+entity EXEMPLE is
+   port (
+      clk    : in bit;
+      resetn : in bit
+   );
+end exemple;
+
+architecture structural of system is
+component PIR3000
+   port (
+      clk    : in bit;
+      resetn : in bit;
+      ireq   : out bit;
+      ignt   : in bit;
+      dreq   : out bit;
+      dgnt   : in bit;
+      opc    : out bit;
+      lock   : out bit;
+      read   : inout bit;
+      a      : inout bit;
+      d      : inout bit;
+      ack    : in bit;
+      tout   : in bit;
+      it_0   : in bit;
+      it_1   : in bit;
+      it_2   : in bit;
+      it_3   : in bit;
+      it_4   : in bit;
+      it_5   : in bit;
+      snoopdo: in bit
+   );
+end component;
+
+component PIRAM
+   port (
+      clk    : in    bit;
+      resetn : in    bit;
+      sel    : in    bit;
+      opc    : in    bit;
+      read   : in    bit;
+      a      : in    bit;
+      d      : inout bit;
+      ack    : out   bit;
+      tout   : in    bit
+   );
+end component;
+
+component PITTY
+   port (
+      clk    : in bit;
+      resetn : in bit;
+      sel    : in bit;
+      opc    : in bit;
+      read   : in bit;
+      a      : in bit;
+      d      : inout bit;
+      ack    : out bit;
+      tout   : in bit
+   );
+end component;
+
+component PIBCU
+    port (
+       clk     : in bit;
+       req0    : in bit;
+       req1    : in bit;
+       gnt0    : out bit;
+       gnt1    : out bit;
+       sel1    : out bit;
+       sel2    : out bit;
+       sel3    : out bit;
+       sel4    : out bit;
+       sel5    : out bit;
+       sel6    : out bit;
+       sel7    : out bit;
+       sel8    : out bit;
+       sel9    : out bit;
+       snoopdo : out bit;
+       resetn  : in bit;
+       opc     : in bit;
+       read    : in bit;
+       lock    : in bit;
+       a       : in bit;
+       d       : inout bit;
+       ack     : inout bit;
+       tout    : out bit;
+       it      : out bit
+    );
+end component;
+
+signal opc    : bit;
+signal read   : bit;
+signal lock   : bit;
+signal a      : bit;
+signal d      : bit;
+signal ack    : bit;
+signal tout   : bit;
+
+signal it_0   : bit;
+signal it_1   : bit;
+signal it_2   : bit;
+signal it_3   : bit;
+signal it_4   : bit;
+signal it_5   : bit;
+
+signal req0   : bit;
+signal req1   : bit;
+
+signal gnt0   : bit;
+signal gnt1   : bit;
+
+signal sel1   : bit;
+signal sel2   : bit;
+signal sel3   : bit;
+signal sel4   : bit;
+signal sel5   : bit;
+signal sel6   : bit;
+signal sel7   : bit;
+signal sel8   : bit;
+signal sel9   : bit;
+signal snoopdo: bit;
+
+begin
+
+   r3000 : Pir3000
+   port map (
+      clk     => clk,
+      resetn  => resetn,
+      ireq    => req0,
+      ignt    => gnt0,
+      dreq    => req1,
+      dgnt    => gnt1,
+      opc     => opc,
+      lock    => lock,
+      read    => read,
+      a       => a,
+      d       => d,
+      ack     => ack,
+      tout    => tout,
+      snoopdo => snoopdo,
+      it_0    => it_0,
+      it_1    => it_1,
+      it_2    => it_2,
+      it_3    => it_3,
+      it_4    => it_4,
+      it_5    => it_5
+   );
+
+   rst : piram
+   port map (
+      clk    => clk,
+      resetn => resetn,
+      sel    => sel1,
+      opc    => opc,
+      read   => read,
+      a      => a,
+      d      => d,
+      ack    => ack,
+      tout   => tout
+   );
+
+   exc : piram
+   port map (
+      clk    => clk,
+      resetn => resetn,
+      sel    => sel2,
+      opc    => opc,
+      read   => read,
+      a      => a,
+      d      => d,
+      ack    => ack,
+      tout   => tout
+   );
+
+   bcu : pibcu
+   port map (
+      clk    => clk,
+      req0   => req0,
+      req1   => req1,
+
+      gnt0   => gnt0,
+      gnt1   => gnt1,
+      
+      sel1   => sel1,
+      sel2   => sel2,
+      sel3   => sel3,
+      sel4   => sel4,
+      sel5   => sel5,
+      sel6   => sel6,
+      sel7   => sel7,
+      sel8   => sel8,
+      sel9   => sel9,
+
+      resetn => resetn,
+      opc    => opc,
+      read   => read,
+      lock   => lock,
+      a      => a,
+      d      => d,
+      ack    => ack,
+      tout   => tout,
+      snoopdo=> snoopdo,
+      it     => it_1
+   );
+
+   ins : piram
+   port map (
+      clk    => clk,
+      resetn => resetn,
+      sel    => sel3,
+      opc    => opc,
+      read   => read,
+      a      => a,
+      d      => d,
+      ack    => ack,
+      tout   => tout
+   );
+
+   dat : piram
+   port map (
+      clk    => clk,
+      resetn => resetn,
+      sel    => sel4,
+      opc    => opc,
+      read   => read,
+      a      => a,
+      d      => d,
+      ack    => ack,
+      tout   => tout
+   );
+     
+   tty : pitty
+   port map (
+      clk    => clk,
+      resetn => resetn,
+      sel    => sel5,
+      opc    => opc,
+      read   => read,
+      a      => a,
+      d      => d,
+      ack    => ack,
+      tout   => tout
+   );
+
+   ttz : pitty
+   port map (
+      clk    => clk,
+      resetn => resetn,
+      sel    => sel9,
+      opc    => opc,
+      read   => read,
+      a      => a,
+      d      => d,
+      ack    => ack,
+      tout   => tout
+   );
+    
+end structural;
+\end{verbatim}
+\end{multicols}
+
+\end{document}
+
+