token —- 與python解析樹一起使用的常量

源碼： Lib/token.py

---

該模塊提供了一些代表解析樹的葉子節(jié)點的數(shù)字值的常量（終端形符）。 請參閱 Python 發(fā)布版中的 Grammar/Tokens 文件獲取在該語言語法情境下的名稱定義。 這些名稱所映射的特定數(shù)字值有可能在各 Python 版本間發(fā)生變化。

該模塊還提供從數(shù)字代碼到名稱和一些函數(shù)的映射。 這些函數(shù)鏡像了 Python C 頭文件中的定義。

token.tok_name

將此模塊中定義的常量的數(shù)值映射回名稱字符串的字典，允許生成更加人類可讀的解析樹表示。

token.ISTERMINAL(x)

對終端形符值返回 True。

token.ISNONTERMINAL(x)

對非終端形符值返回 True。

token.ISEOF(x)

如果 x 是表示輸入結(jié)束的標(biāo)記則返回 True。

形符常量有：

token.ENDMARKER

token.NAME

token.NUMBER

token.STRING

token.NEWLINE

token.INDENT

token.DEDENT

token.LPAR

"(" 的形符值。

token.RPAR

")" 的形符值。

token.LSQB

"[" 的形符值。

token.RSQB

"]" 的形符值。

token.COLON

":" 的形符值。

token.COMMA

"," 的形符值。

token.SEMI

";" 的形符值。

token.PLUS

"+" 的形符值。

token.MINUS

"-" 的形符值。

token.STAR

"*" 的形符值。

token.SLASH

"/" 的形符值。

token.VBAR

"|" 的形符值。

token.AMPER

"&" 的形符值。

token.LESS

"<" 的形符值。

token.GREATER

">" 的形符值。

token.EQUAL

"=" 的形符值。

token.DOT

"." 的形符值。

token.PERCENT

"%" 的形符值。

token.LBRACE

Token value for "{".

token.RBRACE

"}" 的形符值。

token.EQEQUAL

"==" 的形符值。

token.NOTEQUAL

"!=" 的形符值。

token.LESSEQUAL

"<=" 的形符值。

token.GREATEREQUAL

">=" 的形符值。

token.TILDE

"~" 的形符值。

token.CIRCUMFLEX

"^" 的形符值。

token.LEFTSHIFT

"<<" 的形符值。

token.RIGHTSHIFT

">>" 的形符值。

token.DOUBLESTAR

"**" 的形符值。

token.PLUSEQUAL

"+=" 的形符值。

token.MINEQUAL

"-=" 的形符值。

token.STAREQUAL

"*=" 的形符值。

token.SLASHEQUAL

"/=" 的形符值。

token.PERCENTEQUAL

"%=" 的形符值。

token.AMPEREQUAL

"&=" 的形符值。

token.VBAREQUAL

"|=" 的形符值。

token.CIRCUMFLEXEQUAL

"^=" 的形符值。

token.LEFTSHIFTEQUAL

"<<=" 的形符值。

token.RIGHTSHIFTEQUAL

">>=" 的形符值。

token.DOUBLESTAREQUAL

"**=" 的形符值。

token.DOUBLESLASH

"http://" 的形符值。

token.DOUBLESLASHEQUAL

"http://=" 的形符值。

token.AT

"@" 的形符值。

token.ATEQUAL

"@=" 的形符值。

token.RARROW

"->" 的形符值。

token.ELLIPSIS

"..." 的形符值。

token.COLONEQUAL

":=" 的形符值。

token.OP

token.AWAIT

token.ASYNC

token.TYPE_IGNORE

token.TYPE_COMMENT

token.SOFT_KEYWORD

token.ERRORTOKEN

token.N_TOKENS

token.NT_OFFSET

C 形符生成器不使用以下形符類型值，但 tokenize 模塊需要它們。

token.COMMENT

形符值用于表示注釋。

token.NL

形符值用于表示非終止換行符。 NEWLINE 形符表示 Python 代碼邏輯行的結(jié)束；當(dāng)在多條物理線路上繼續(xù)執(zhí)行邏輯代碼行時，會生成 NL 形符。

token.ENCODING

指示用于將源字節(jié)解碼為文本的編碼的形符值。 tokenize.tokenize() 返回的第一個形符將始終是一個 ENCODING 形符。

token.TYPE_COMMENT

表示類型注釋被識別的形符值。 此種形符僅在 ast.parse() 附帶 type_comments=True 被發(fā)起調(diào)用時才會產(chǎn)生。

在 3.5 版更改: 增加 AWAIT 和 ASYNC 形符。

在 3.7 版更改: 形符 COMMENT、 NL 和 ENCODING 形符。

在 3.7 版更改: 移除 AWAIT 和 ASYNC 標(biāo)記。 “async” 和 “await” 現(xiàn)在被標(biāo)記為 NAME 標(biāo)記。

在 3.8 版更改: 增加了 TYPE_COMMENT, TYPE_IGNORE, COLONEQUAL. Added AWAIT 和 ASYNC 形符（它們對于支持解析對于 ast.parse() 的 feature_version 設(shè)為 6 或更低的較老的 Python 版本是必須的）。

文章題目：創(chuàng)新互聯(lián)Python教程：token —- 與Python解析樹一起使用的常量
網(wǎng)站路徑：http://m.5511xx.com/article/ccdiioe.html