Les fonctions tokenizer fournissent une interface au tokenizer PHP interne au moteur Zend. En utilisant ces fonctions, il est possible d'écrire ses propres outils d'analyse ou de modification de code source PHP, sans avoir à se soucier de la spécification du langage au niveau lexical.
Voir aussi l'appendice sur les tokens.