Токенизация

(tokenization, lexical analysis, графематический анализ, лексический анализ); выделение в тексте слов, чисел, и иных токенов, в том числе, например, нахождение границ предложений.