Токенизация - что это такое - значение термина

Токенизация

(tokenization, lexical analysis, графематический анализ, лексический анализ); выделение в тексте слов, чисел, и иных токенов, в том числе, например, нахождение границ предложений.