Token (análise léxica) – Wikipédia, a enciclopédia livre
2023 cita fontes, mas que não cobrem todo o conteúdo. |
Um token, em análise léxica, é uma representação de uma cadeia de caracteres, utilizado na construção de árvores sintáticas de linguagens de programação.[1]:5 Exemplos de tokens poderiam ser palavras-chave (if, else, while, int, ...), identificadores, números, sinail, ou um operador de vários caracteres, (por exemplo, := "':+"' ).
Exemplo
[editar | editar código-fonte]Suponhamos a seguinte linha de um programa:
SE Novo > MaxNúm ENTÃO
Os tokenes são:
* "SE" * "Novo" * ">" * "MaxNúm" * "ENTÃO"
E descrevem-se pelo geral em duas partes, um tipo ou classe e um valor, assim: Token=(Tipo,Valor)
Para a sequência anterior, os tokenes podem descrever-se
* [Palavra Reservada, "SE"] * [Identificador, "Novo"] * [Operador, ">"] * [Identificador, "MáxNúm"] * [Palavra Reservada, "ENTÃO"]
Ver também
[editar | editar código-fonte]Referências
- ↑ Tom Niemann. A compact guide to Lex and Yacc (PDF). [S.l.]: ePaper Press
Bibliografia
[editar | editar código-fonte]- John Levine, Doug Brown, Tony Mason (1992). lex & yacc. [S.l.]: O'Reilly Media. ISBN 9781565920002