|
アナライザ、フィルタ、トークナイザの詳細については、次のリンクを参照してください。
|
規則
|
例
|
||
単語内区切り文字 (デフォルトでは、英数字以外のすべての文字) で分割します。
|
"Wi-Fi" は "Wi" と "Fi" に分割
|
||
小文字と大文字の間で分割します。
|
"TransAM" は "Trans" と "AM" に分割
|
||
サブ単語の先頭または末尾にくる単語内区切り文字は無視されます。
|
"__hello---there, 'dude'" は "hello"、"there"、"dude" に分割
|
||
各サブ単語の末尾の "s" は除去されます。
|
"O'Neil's" は "O" と "Neil" に分割
|
規則
|
例
|
ピリオド (.) で終るトークン
|
"dot." = "dot.", "dot"
|
ダッシュ (-) で終るトークン
|
"dash-" = "dash-", "dash"
|
アンダースコア (_) で終るトークン
|
"under_" = "under_", "under"
|
|
インデックシング時と照会時でトークナイザの順序が変わらないようにします。照会時に生成されたトークンは、その単語のインデックシング時と同じでなければなりません。
|