StreamTokenizer (Java Platform SE 8)

java.lang.Object
- java.io.StreamTokenizer

```
public class StreamTokenizer
extends Object
```
StreamTokenizerクラスは、入力ストリームを引数に取り、それを「トークン」に構文解析し、一度に1つのトークンを読めるようにします。構文解析処理は、さまざまな状態に設定可能ないくつかのフラグと1つの表によって制御されます。ストリーム・トークナイザは、識別子、数値、引用文字列、および各種のコメント・スタイルを認識できます。
入力ストリームから読み込まれる各バイトは、'\u0000'から'\u00FF'の範囲の文字とみなされます。この文字値を使って、文字の5つの属性、つまり、空白、英字、数値、引用文字列、およびコメント文字を検索します。各文字は、これらの属性を持たないことも、複数持つこともできます。
さらに、インスタンスには4つのフラグがあります。これらのフラグが示す内容は次のとおりです。
- 行末記号を、トークンとして返すか、またはトークンを区切るだけの空白文字として扱うかを示す。
- Cスタイルのコメントを認識してスキップするかどうかを示す。
- C++スタイルのコメントを認識してスキップするかどうかを示す。
- 識別子の文字を小文字に変換するかどうかを示す。
一般的なアプリケーションは、最初にこのクラスのインスタンスを生成してから、構文表を設定し、そのあとでループの各反復内でnextTokenメソッドを呼び出して、値TT_EOFが返されるまでこのループを繰り返します。
導入されたバージョン:

JDK1.0

関連項目:

nextToken(), TT_EOF

フィールドのサマリー

フィールド
修飾子と型	フィールドと説明
`double`	`nval` 現在のトークンが数値の場合、このフィールドにはその数値が入ります。
`String`	`sval` 現在のトークンがワード・トークンの場合、このフィールドには、ワード・トークンの文字を表す文字列が入ります。
`static int`	`TT_EOF` ストリームの終わりが読み込まれたことを示す定数です。
`static int`	`TT_EOL` 行の終わりが読み込まれたことを示す定数です。
`static int`	`TT_NUMBER` 数値トークンが読み込まれたことを示す定数です。
`static int`	`TT_WORD` ワード・トークンが読み込まれたことを示す定数です。
`int`	`ttype` `nextToken`メソッドの呼出しのあと、このフィールドには読み込まれたばかりのトークンの型が入ります。

コンストラクタのサマリー

コンストラクタ
コンストラクタと説明
`StreamTokenizer(InputStream is)` 非推奨。 JDK Version 1.1以降、入力ストリームをトークン化するには、次のようにして入力ストリームを文字ストリームに変換することが推奨されています。 Reader r = new BufferedReader(new InputStreamReader(is)); StreamTokenizer st = new StreamTokenizer(r);
`StreamTokenizer(Reader r)` 指定された文字ストリームを構文解析するトークナイザを作成します。

メソッドのサマリー

すべてのメソッドインスタンス・メソッド具象メソッド
修飾子と型	メソッドと説明
`void`	`commentChar(int ch)` 引数で指定された文字以降は、1行のコメント行であることを指定します。
`void`	`eolIsSignificant(boolean flag)` 行の終わりをトークンとして処理するかどうかを判別します。
`int`	`lineno()` 現在の行番号を返します。
`void`	`lowerCaseMode(boolean fl)` ワード・トークンを自動的に小文字にするかどうかを判別します。
`int`	`nextToken()` このトークナイザの入力ストリームの次のトークンを構文解析します。
`void`	`ordinaryChar(int ch)` 文字引数がこのトークナイザの「通常」文字であることを指定します。
`void`	`ordinaryChars(int low, int hi)` `low <= c <= high`の範囲内のすべての文字cが、このトークナイザの「通常」文字であることを指定します。
`void`	`parseNumbers()` このトークナイザで数値を構文解析するように指定します。
`void`	`pushBack()` このトークナイザの次の`nextToken`メソッド呼出しで`ttype`フィールドの現行値を返し、`nval`または`sval`フィールドの値は変更しないようにします。
`void`	`quoteChar(int ch)` この文字に一致するペアで、このトークナイザの文字列定数を区切るように指定します。
`void`	`resetSyntax()` このトークナイザの構文表をリセットし、すべての文字を「通常」文字にします。通常文字の詳細は、`ordinaryChar`メソッドを参照してください。
`void`	`slashSlashComments(boolean flag)` トークナイザがC++スタイルのコメントを認識するかどうかを判別します。
`void`	`slashStarComments(boolean flag)` トークナイザがCスタイルのコメントを認識するかどうかを判別します。
`String`	`toString()` 現在のストリーム・トークンの文字列表現と、それが発生する行番号を返します。
`void`	`whitespaceChars(int low, int hi)` `low <= c <= high`の範囲内のすべての文字cが空白文字であることを指定します。
`void`	`wordChars(int low, int hi)` `low <= c <= high`の範囲内のすべての文字cがワード構成要素であることを指定します。

クラス java.lang.Objectから継承されたメソッド
clone, equals, finalize, getClass, hashCode, notify, notifyAll, wait, wait, wait

- フィールドの詳細
  - ttype
```
public int ttype
```
    nextTokenメソッドの呼出しのあと、このフィールドには読み込まれたばかりのトークンの型が入ります。単一文字トークンの場合、その値は整数に変換された単一文字です。引用文字列トークンの場合、その値は引用文字です。それ以外の場合は、次の値のいずれかになります。
    - TT_WORDは、トークンがワードであることを示す。
    - TT_NUMBERは、トークンが数値であることを示す。
    - TT_EOLは、行の終わりに達したことを示す。eolIsSignificantメソッドが引数trueで呼び出された場合、このフィールドはこの値のみを持つことができる。
    - TT_EOFは、入力ストリームの終わりに達したことを示す。
    このフィールドの初期値は -4です。
    関連項目:
    
    eolIsSignificant(boolean), nextToken(), quoteChar(int), TT_EOF, TT_EOL, TT_NUMBER, TT_WORD
  - TT_EOF
```
public static final int TT_EOF
```
    ストリームの終わりが読み込まれたことを示す定数です。
    
    関連項目:
    
    定数フィールド値
  - TT_EOL
```
public static final int TT_EOL
```
    行の終わりが読み込まれたことを示す定数です。
    
    関連項目:
    
    定数フィールド値
  - TT_NUMBER
```
public static final int TT_NUMBER
```
    数値トークンが読み込まれたことを示す定数です。
    
    関連項目:
    
    定数フィールド値
  - TT_WORD
```
public static final int TT_WORD
```
    ワード・トークンが読み込まれたことを示す定数です。
    
    関連項目:
    
    定数フィールド値
  - sval
```
public String sval
```
    現在のトークンがワード・トークンの場合、このフィールドには、ワード・トークンの文字を表す文字列が入ります。現在のトークンが引用文字列トークンの場合、このフィールドには、文字列の本体が入ります。
    ttypeフィールドの値がTT_WORDの場合、現在のトークンはワードです。ttypeフィールドの値が引用文字の場合、現在のトークンは引用文字列トークンです。
    このフィールドの初期値はnullです。
    
    関連項目:
    
    quoteChar(int), TT_WORD, ttype
  - nval
```
public double nval
```
    現在のトークンが数値の場合、このフィールドにはその数値が入ります。ttypeフィールドの値がTT_NUMBERの場合、現在のトークンは数値です。
    このフィールドの初期値は0.0です。
    
    関連項目:
    
    TT_NUMBER, ttype
- コンストラクタの詳細
  - StreamTokenizer
```
@Deprecated
public StreamTokenizer(InputStream is)
```
    非推奨。
    JDK Version 1.1以降、入力ストリームをトークン化するには、次のようにして入力ストリームを文字ストリームに変換することが推奨されています。
    Reader r = new BufferedReader(new InputStreamReader(is)); StreamTokenizer st = new StreamTokenizer(r);
    指定された入力ストリームを構文解析するストリーム・トークナイザを作成します。ストリーム・トークナイザは、次のデフォルト状態に初期化されます。
    - バイト値('A'から'Z'、'a'から'z'、および'\u00A0'から'\u00FF')はすべて英字と見なす。
    - '\u0000'から'\u0020'のバイト値はすべて空白と見なす。
    - '/'はコメント文字。
    - 単一引用符'\''と二重引用符'"'は文字列の引用文字。
    - 数値は構文解析される。
    - 行末記号は、独立したトークンではなく空白文字として扱う。
    - CスタイルおよびC++スタイルのコメントは認識しない。
    パラメータ:
    
    is - 入力ストリーム。
    
    関連項目:
    
    BufferedReader、InputStreamReader、StreamTokenizer(java.io.Reader)
  - StreamTokenizer
```
public StreamTokenizer(Reader r)
```
    指定された文字ストリームを構文解析するトークナイザを作成します。
    
    パラメータ:
    
    r - 入力ストリームを提供するReaderオブジェクト。
    
    導入されたバージョン:
    
    JDK1.1
- メソッドの詳細
  - resetSyntax
```
public void resetSyntax()
```
    このトークナイザの構文表をリセットし、すべての文字を「通常」文字にします。通常文字の詳細は、ordinaryCharメソッドを参照してください。
    
    関連項目:
    
    ordinaryChar(int)
  - wordChars
```
public void wordChars(int low,
                      int hi)
```
    low <= c <= highの範囲内のすべての文字cがワード構成要素であることを指定します。ワード・トークンは、ワード構成要素の後ろにゼロ個以上のワード構成要素または数値構成要素が続いたものです。
    
    パラメータ:
    
    low - 範囲の最小値。
    
    hi - 範囲の最大値。
  - whitespaceChars
```
public void whitespaceChars(int low,
                            int hi)
```
    low <= c <= highの範囲内のすべての文字cが空白文字であることを指定します。空白文字の機能は、入力ストリーム内でトークンを区切ることだけです。
    指定された範囲内の文字に対するその他の属性の設定はすべてクリアされます。
    
    パラメータ:
    
    low - 範囲の最小値。
    
    hi - 範囲の最大値。
  - ordinaryChars
```
public void ordinaryChars(int low,
                          int hi)
```
    low <= c <= highの範囲内のすべての文字cが、このトークナイザの「通常」文字であることを指定します。通常文字の詳細は、ordinaryCharメソッドを参照してください。
    
    パラメータ:
    
    low - 範囲の最小値。
    
    hi - 範囲の最大値。
    
    関連項目:
    
    ordinaryChar(int)
  - ordinaryChar
```
public void ordinaryChar(int ch)
```
    文字引数がこのトークナイザの「通常」文字であることを指定します。コメント文字、ワード構成要素、文字列区切り文字、空白、または数値文字として文字が持つ特殊な意味は取り除かれます。パーサーは、このような文字を検出すると、これを単一の文字トークンとして扱い、ttypeフィールドに文字の値を設定します。
    行末記号を「通常」文字にすると、StreamTokenizerが行をカウントする機能に干渉する可能性があります。linenoメソッドが、行のカウントでそのような行末記号の存在を考慮しなくなることがあります。
    
    パラメータ:
    
    ch - 文字。
    
    関連項目:
    
    ttype
  - commentChar
```
public void commentChar(int ch)
```
    引数で指定された文字以降は、1行のコメント行であることを指定します。ストリーム・トークナイザは、コメント文字から行の終わりまでの間の文字をすべて無視します。
    指定された文字に対するその他の属性の設定はすべてクリアされます。
    
    パラメータ:
    
    ch - 文字。
  - quoteChar
```
public void quoteChar(int ch)
```
    この文字に一致するペアで、このトークナイザの文字列定数を区切るように指定します。
    nextTokenメソッドが文字列定数を検出すると、ttypeフィールドには文字列区切り文字が設定され、svalフィールドには文字列の本体が設定されます。
    文字列の引用文字が検出されると、文字列の引用文字(これは含まない)の後ろから、同じ文字列の引用文字の次の出現場所、行末記号、またはファイルの終わり(これらは含まない)までのすべての文字で文字列が構成されていると認識されます。"\n"や"\t"などの通常のエスケープ・シーケンスは認識され、文字列の構文解析時に単一文字に変換されます。
    指定された文字に対するその他の属性の設定はすべてクリアされます。
    
    パラメータ:
    
    ch - 文字。
    
    関連項目:
    
    nextToken(), sval, ttype
  - parseNumbers
```
public void parseNumbers()
```
    このトークナイザで数値を構文解析するように指定します。このトークナイザの構文表が変更されます。
    0 1 2 3 4 5 6 7 8 9 . -
    これら12個の各文字が「数値」属性を持つようになります。
    パーサーは、倍精度の浮動小数点数の形式のワード・トークンを検出すると、ttypeフィールドに値TT_NUMBERを設定し、トークンの数値をnvalフィールドに入れて、このトークンをワードではなく数値として扱います。
    関連項目:
    
    nval, TT_NUMBER, ttype
  - eolIsSignificant
```
public void eolIsSignificant(boolean flag)
```
    行の終わりをトークンとして処理するかどうかを判別します。flag引数がtrueの場合、このトークナイザは行の終わりをトークンとして処理します。行の終わりが読み込まれると、nextTokenメソッドはTT_EOLを返し、ttypeフィールドにこの値を設定します。
    行は、復帰文字('\r')または改行文字('\n')で終わる文字シーケンスです。また、直後に改行文字が続く復帰文字は、行末を表す単一のトークンとして扱われます。
    flagがfalseの場合、行末文字は空白として扱われ、その機能はトークンを区切るだけです。
    
    パラメータ:
    
    flag - trueは、行末文字が独立したトークンであることを示す。falseは、行末文字が空白であることを示す。
    
    関連項目:
    
    nextToken(), ttype, TT_EOL
  - slashStarComments
```
public void slashStarComments(boolean flag)
```
    トークナイザがCスタイルのコメントを認識するかどうかを判別します。flag引数がtrueの場合、このストリーム・トークナイザはCスタイルのコメントを認識します。/*と*/の間のテキストはすべて破棄されます。
    flag引数がfalseの場合、Cスタイルのコメントは特別には扱われません。
    
    パラメータ:
    
    flag - trueは、Cスタイルのコメントを認識して無視することを示す。
  - slashSlashComments
```
public void slashSlashComments(boolean flag)
```
    トークナイザがC++スタイルのコメントを認識するかどうかを判別します。flag引数がtrueの場合、このストリーム・トークナイザはC++スタイルのコメントを認識します。スラッシュ文字('/')が2つ続く場合、これは行の終わりまで続くコメントの始まりを意味します。
    flag引数がfalseの場合、C++スタイルのコメントは特別には扱われません。
    
    パラメータ:
    
    flag - trueは、C++スタイルのコメントを認識して無視することを示す。
  - lowerCaseMode
```
public void lowerCaseMode(boolean fl)
```
    ワード・トークンを自動的に小文字にするかどうかを判別します。flag引数がtrueの場合、ワード・トークンが返されるたびにsvalフィールドの値が小文字にされます。ttypeフィールドが持つ値TT_WORDは、このトークナイザのnextTokenメソッドからのものです。
    flag引数がfalseの場合、svalフィールドは変更されません。
    
    パラメータ:
    
    fl - trueは、すべてのワード・トークンを小文字にすることを示す。
    
    関連項目:
    
    nextToken(), ttype, TT_WORD
  - nextToken
```
public int nextToken()
              throws IOException
```
    このトークナイザの入力ストリームの次のトークンを構文解析します。次のトークンの型はttypeフィールドに返されます。トークンに関する補足情報は、このトークナイザのnvalフィールドまたはsvalフィールドにあります。
    このクラスの一般的なクライアントは、まず最初に構文表を設定してからnextTokenを呼び出すループに入り、TT_EOFが返されるまでトークンを順次解析します。
    
    戻り値:
    
    ttypeフィールドの値。
    
    例外:
    
    IOException - 入出力エラーが発生した場合。
    
    関連項目:
    
    nval, sval, ttype
  - pushBack
```
public void pushBack()
```
    このトークナイザの次のnextTokenメソッド呼出しでttypeフィールドの現行値を返し、nvalまたはsvalフィールドの値は変更しないようにします。
    
    関連項目:
    
    nextToken(), nval, sval, ttype
  - lineno
```
public int lineno()
```
    現在の行番号を返します。
    
    戻り値:
    
    このストリーム・トークナイザの現在の行番号。
  - toString
```
public String toString()
```
    現在のストリーム・トークンの文字列表現と、それが発生する行番号を返します。
    次の例を一般的なものと考えることはできますが、返される文字列は正確に指定されていません。
    Token['a'], line 10
    オーバーライド:
    
    toString、クラス: Object
    
    戻り値:
    
    トークンの文字列表現
    
    関連項目:
    
    nval, sval, ttype

バグまたは機能を送信
詳細なAPIリファレンスおよび開発者ドキュメントについては、Java SEのドキュメントを参照してください。そのドキュメントには、概念的な概要、用語の定義、回避方法、有効なコード例などの、開発者を対象にしたより詳細な説明が含まれています。
Copyright© 1993, 2014, Oracle and/or its affiliates. All rights reserved.

クラスStreamTokenizer

フィールドのサマリー

コンストラクタのサマリー

メソッドのサマリー

クラス java.lang.Objectから継承されたメソッド

フィールドの詳細

ttype

TT_EOF

TT_EOL

TT_NUMBER

TT_WORD

sval

nval

コンストラクタの詳細

StreamTokenizer

StreamTokenizer

メソッドの詳細

resetSyntax

wordChars

whitespaceChars

ordinaryChars

ordinaryChar

commentChar

quoteChar

parseNumbers

eolIsSignificant

slashStarComments

slashSlashComments

lowerCaseMode

nextToken

pushBack

lineno

toString