COREPON.COM
COREPON.COM
only one technology "ICAS"
   
 
   
2005.07.13 「人工知能と統計学とテキストマイニング」

テキストマイニングで多変量解析ができるようになりました。書いた人たちの熱い「思い」や相手に伝えたいメッセージが、具体的な形で手づかみできるようになったのです。

文章の解読技術が、とうとう統計学での最上階ともいえるハイレベルに達しました。他社が、コールセンターでのFAQという簡単な応答文(それも材料探し)ができますとかの超幼稚なお話をしていたときに、私たちは人工知能の技術を結集させていました。自由記述文の内容を正しく解読したあと、さらにそれら文字情報を、これまで不可能といわれた多変量解析にかけられるまでに進歩させていました。

毎日、コールセンターには頻繁に、似たような質問が来ます。だったら問答集の例文を作りましょう、と可愛い幼児レベルのことを他社は自慢しているらしいのですが、私たちは社内の頭脳である、研究開発室を支援しています。むろんコールセンターにも重宝されていますが、もっと上級な課題をソリューションします。

1.主成分分析は、文章全体を意味内容によって数十個の塊に分解します。説明変数(Xn)を群化する手法です。

2.重回帰は、目的変数(Y)に対する説明変数の関係を作る手法で、結果と原因の関係を説明します。

3.多次元尺度法は、発言されたコトバの使用距離から熟語同士の構造を測定する手法。

4.判別分析は、記述内容から、その発言者がどの集団に入るかを分類・判定する手法。

5.分散分析(anova)は、集団間の平均値の差の比較をして、t分布ないしFでの有意検定をする手法。

たとえば、ある新型車に寄せられる乗車体験や乗っていて感じたことなどを分析すると、人生経験のほか年代・性別など属性によってもいろいろな意見がでてきます。もっと座席がしっくりとか、路面のつなぎ目からくるゴツゴツ感とか…。あるいは価格をいう人もいればデザイン、ドアーの数、オフロード機能があるかなど実に多様な希望や感想が集まります。それら意見のうち○○ということや××ということなどを、発言のなかで理由といいます。「で、だから買いたいのか欲しくないのか」が結論です。

そうした関係をきちんと統計学で整理すると、お客様はコウしてあげればもっと購買意欲が増す。アアしてもらえれば買い換えたいと思っているとか。寄せられる「声」から顧客の希望や苦情が質と量とですっきり描けるようになったのです。

もともとテキストマイニングは、お客様が自由にテーマや思うことについて書いていくので、アンケートという型式に当てはめる時間差がなくてすみ、タイムラグのない新鮮な声が聞こえることが利点とされていました。しかし如何せん、文字情報であれば計算できないということが最大のネックでした。それを可能にできたどころか、多変量解析という統計学の最高段階まで到達したのです。

それは私たちがもちいるテキストマイニングの方法がセマンティクス(意味論)であり、単純な形態素でないことが大きく貢献しています。形態素とは文法であり、ハードでしかないが、意味論は伝達したい気持ちや内容であり、ソフトと区別できます。

私たちは会話したり文字を書いたりするとき、気持ちを伝えようとしているのであって文法を羅列していません。そこで会話のなかにこめられた伝達内容をコンピュータに意味として理解させる工夫をしたのです。

そのため、新規なマーケットやまったくおニューな製品が生活者にどう評価されていくかをみるのに最適な技術となりました。アンケートは、定量化されたマーケットのなかで経験的に理解され整理されたことを数量化する目的のものです。よって安定し、確定された構造の世界でないと、せっかく採取した数字が無力化します。

先日も、ある食品の市場可能性について分析しましたが、テキストマイニングを多変量解析できたことによって、たちどころに不透明だったマーケット模様がクリアーに見えるようになりました。また従業員の人事調査など複雑な構成をしている心象空間さえもが、すっきりと納得がいくように理解できたのです。

もうすでに時代は、自在に顧客の気持ちを汲み取るテキストマイニングの時代であり、それを多変量解析できるものだけの時代にかわりました。21世紀のいま、まだ形態素で文章をコネたり、係り受けしたり、単語を数えたりなんて。

わが社の人工知能シンシパルくんは、また進歩しました。定量分析でも、ここまで自由自在に多変量解析を駆使できる会社は稀ですが、それを不可能といわれてきたテキストマイニングで実行できるように成長しました。文章を人間の理解できる自然言語として解読できるだけでなく、多変量解析をもちいて市場予測できる技術を身につけたので。どんどん利口になっていきます。形態素さんたちはまだ、文章をカットして並べ、単語数をカウントしているだけですけど。

私たちのテキストマイニング技術は、さまざまな多変量解析を駆使して、回答者たちの心のなかを鮮明に描き出していきます。「声」としてフィッシュボーンに発言を図示し、主張を人間の会話のようにスラスラと分かりやすく記述します。このテーマの方向が何人いて、こちらのテーマをいう人が何人というように量と質とに問題点を抽出できます。そのため、QC活動をしている職場のように、抱えている課題がクリアーに図示されます。文章は「読めばわかる」という守旧派はまだいますが、どんなに多人数でも、いつでも安定して分析できる人工知能に、もう任せませんか。人間は解釈でブレますが、コンピュータはブレません。わが社の社員が何を言っているのか、顧客が何を求めているのか。何万人ものデータを数分で処理できます。



http://corepon.com/publishing/mt-tb.cgi/4


心情がわかるテキスト分析

ネット世界のリア充

一発回答なのに発言の実感つかめる

都知事選

AIによる文章解読(実用編)

トップへ戻る

所長コラム

Secretary Desk

データマイニング

CS及びお客様の声

人事・組織診断

ソリューション

アドバンスト

ナレッジ

コンピテンシー人事

事例集(図表)

事例集(音声)

今までの業績

会社案内

リンクについて

知的財産権について

お問い合わせ



 

Mozilla Firefox2.0、Internet Explorer6.0、Safari3.0 以上でご覧になることをお薦めします。
COREPON.COMが提供する情報・映像等は権利者の許可なく複製、転載、販売などの二次利用することを固く禁じます。
本サーバ上の情報(文章・映像等)は予告なしに変更または中止される場合があります。あらかじめご了承ください。
ご不明な点、お問い合わせがありましたら次の宛先までどうぞ info@corepon.com