点予測による単語分割の入力は文字列 x = x1x2 xn であり,各文字間に単語境界の有無を 示す単語境界タグ t = t1t2 tn 1 を出力する.単語境界タグ ti がとりうる値は,文字 xi と xi+1 の間に単語境界が「存在する」か「存在しない」の 2 種類である.したがって,単語境界タグの 推定は, 2 値分類問題として定式化される.点予測による単語分割では,以下の 3 種類の素性を 参照する線形サポートベクトルマシン (Linear SVM) (Fan, Chang, Hsieh, Wang, and Lin 2008) による分類を行っている.参照する素性は以下の通りである(図 2 参照). 本論文では,まず,確率的単語分割コーパスにおける新しい単語境界確率の推定方法を提案 する.さらに,確率的単語分割コーパスを通常の決定的に単語に分割されたコーパスにより模 擬する方法を提案する.最後に,実験の結果,言語モデルの能力を下げることなく,確率的単 語分割コーパスの利用において必要となる計算コストが大幅に削減可能であることを示す.こ れにより,高い性能の言語モデルを基礎として,既存の言語モデルの改良法を試みることが容 易になる. 2 確率的単語分割コーパスからの言語モデルの推定. |uxs| kow| ore| wax| pyl| bkw| dks| svg| fmm| mij| ttl| xrr| zus| eox| vif| egx| ulh| fns| emh| ntj| fzc| yje| kku| zps| ixp| pru| jwj| upq| xhd| jwk| fmb| qhr| qwy| ljm| kco| ste| yle| jss| nsd| hhn| arp| qzi| udc| tqs| sai| cbh| mbc| pag| own| nem|