Índice:
Definição - O que significa Análise Lexical?
A análise lexical é um conceito aplicado à ciência da computação de uma maneira muito semelhante à aplicada à linguística. Essencialmente, análise lexical significa agrupar um fluxo de letras ou sons em conjuntos de unidades que representam sintaxe significativa. Na lingüística, isso é chamado de análise e, na ciência da computação, pode ser chamado de análise ou tokenização.
Techopedia explica Análise Lexical
A idéia da análise lexical na ciência da computação é que a análise lexical divide os fluxos em "lexemes", onde um token representa a unidade básica de significado. Os tokens são agrupados de forma que o compilador de idiomas precise voltar e isolá-los para implementar as instruções de computação corretas. Basicamente, humanos e computadores fazem análises lexicais, mas os computadores fazem de maneira diferente e de uma maneira muito mais técnica. A maneira como os computadores fazem análises lexicais não precisa ser transparente para os seres humanos - apenas precisa ser programada no sistema de computação. Programas que fazem análise lexical em ciência da computação são freqüentemente chamados de lexers, tokenizers ou scanners.
