トークンへの分解

例えば端末から 123+456*789 という式を入力したら、
Rubyの関数 gets は文字列 “123+456*789” を返す。
このままでは式として解析できないので、図のように、

トークンに分解する。数式を構成する数値や演算子が
トークンとして扱われる。