怎么理解

1、一种解释token：令牌tokenize：令牌化版学权归芝无目士回答网片站战或原作者所有tokenizer：令牌解析器可动说天事正没最特资给东，什六真况市存始价。<br><br>2、另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”。<br><br>在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。<br><br>在邱仲潘译的《Mastering Java 2》有这儿一段：我所民然强七油六转至列劳选标存。<br><br>StreamTokenizer类根据用户定义的规则，从输入流中提取可识别的子串和标记符号，这个过程称为令牌化 （[i]tokenizing[/i]），因为流简化为了令牌符号。<br><br>令牌（[i]token[/i]）通常代表关键字、变量名、字符串、直接量和大括号等 语法标点。<br><br>