Λεκτικές μονάδες
- Τα στοιχεία μιας γλώσσας χωρίζονται σε λεκτικές μονάδες.
- Ο χωρισμός σε λεκτικές μονάδες συχνά δεν είναι προκαθορισμένος.
- Τυπικές λεκτικές μονάδες που ορίζονται είναι:
- Κάθε λεκτική μονάδα συσχετίζεται από το λεκτικό αναλυτή με τον τύπο
της (π.χ. ακέραια σταθερά) και την τιμή της (π.χ. 42).
- Μη προκαθορισμένες λεκτικές μονάδες που δεν υποστηρίζονται άμεσα
από τη γλώσσα υλοποίησης πρέπει να αποθηκευτούν σε πίνακα συμβόλων (για τα
ονόματα) ή σε δυναμική μνήμη.
- Οι δεσμευμένες λέξεις τυπικά διαχωρίζονται μεταξύ τους κατά το στάδιο της
λεκτικής ανάλυσης.
- Συχνά η αναγνώριση των δεσμευμένων λέξεων γίνεται με τη χρήση
συναρτήσεων κατακερματισμού.