テキストマイニングとは？

テキストマイニングとは、 コンピュータが自然言語（日常生活において使われている言葉）を処理する 「自然言語処理」と呼ばれる解析手法を用いて、文章を単語（名詞、動詞、形容詞等）に分割し、それらの出現頻度や相関関係を分析することで、大量のテキストデータから企業にとって有益な情報を抽出することを目的とした分析手法です。

また、テキストマイニングは、データマイニングから派生した研究分野であり、データマイニングの一種です。

なお、分析を行う際には、テキストマイニングツールと呼ばれるソフトウェアを利用することが一般的です。

現代ではITの発展により、 テキストマイニングで分析可能なテキストデータの種類も多種多様となってきました。

例えば、コールセンターでの顧客とオペレータのやり取りの音声記録や、インターネット掲示板、口コミサイトも含むSNSやWebサイトへの書き込み、アンケートの自由記述などが対象になり、テキストマイニングにより顧客のニーズや課題の発見、市場動向の予測などが可能です。

昨今音声認識技術の向上に伴い、音声データのテキスト化も容易となってきました。これによって恩恵を受けているの、先ほど例にも出したコールセンターです。 コールセンターでは、テキスト化した顧客との通話履歴をテキストマイニングで分析することで、業務効率改善や他部署への情報提供を行っています。

これらのテキストデータには、リアルタイムな市場動向や消費者の製品・サービスに対する意識など、企業にとって有益な情報が含まれており、 これらの情報をいち早くキャッチし、 顧客ニーズやサービス・満足度向上のために活用していくことが今後のビジネスにおいても非常に重要です。テキストマイニングは、それらの情報を収集する上で不可欠なツールとなっています。

テキストマイニングは日本語に不向き？

記述式のアンケートやコールセンターでの応対履歴などの大量の文章から有益な情報を得るためには、テキストマイニングは非常に有効な分析手法ですが、万能というわけではありません。

従来のテキストマイニングでは、文章を単語単位に分割し、過去形などの変化も戻して同じ言葉として集計できるようにする形態素解析や、 単語間の意味的な繋がりを検討する係り受け解析などが中心とされていましたが、日本語は文法が複雑ゆえ、他言語に比べて解析が困難な面もありました。

日本語の場合、同じ意味を表す言葉に多数のバリエーションがあったり、逆に同じ単語が複数の意味を持ったりする場合が多いため、英語に比べて分析する難易度が高い傾向があります。また、テキストマイニングは文章を単語や助詞などの文節で区切り解析を行う手法であり、日本語は英語のように名詞や助動詞の間に「スペース」がなく、単語ごとの区切りが難しいため、日本語には不向きです。加えて、同音異義語や、漢字・ひらがな・カタカナといった文字体系の多様性や送り仮名の振り方の違い、横文字のカタカナ表記の多様性、文末表記の多様性といった世界では類を見ないほどの表記ゆれがあるのも、単語の切り分けが困難で日本語がテキストマイニングに不利な理由として挙げられます。

しかし、不利不向きといえども、日本語では実装できないわけではありません。近年では自動翻訳技術の劇的な向上により、AIを搭載したテキストマイニングによる対応が可能となりました。ゆえに、学習機能を持ったAIに大量のテキストデータを学習させることで、言い回しやシチュエーションの細かな違いなど、自然言語特有の曖昧さも加味しつつ正確な分析・判断ができるようになりました。

テキストマイニングの利用に向いている場面

テキストマイニングは、全体像や特徴を目的とするざっくりとした分析との相性が良いと言われます。全体像の場合は、どんな単語が使われているのか、どのような話題が多いのかなどを大雑把に解析します。特徴を把握する場合、使われる単語の種類の増加数や性年代別の観点の違いなどを解析します。

これらは一定の条件下で抽出しているだけですので、 “正確に”集計することには向いておらず、分析精度は高くないということには注意が必要です。

テキストマイニングのメリット・出来ること

これまで活用するのが難しかったテキストデータを企業経営に生かせることから、テキストマイニングは注目されています。どのようなメリットがあるのか、以下で詳しく見ていきます。はじめに述べたことも含まれてはいますが、ここでは改めてまとめました。

潜在的な市場・顧客ニーズや消費者の声をすばやく察知・把握

商品やサービスの販売数を伸ばすには、市場や顧客ニーズの適切な理解が欠かせません。

しかし、インターネット上の書き込みや社内サイトへの問い合わせに溢れている顧客の声（サービスへの満足、不満足、要望など）を分析することは簡単ではありません。

そこで活用される技術がテキストマイニングです。

テキストマイニングを活用することで、バイアスのない有益な情報を抽出し、 顧客が本当に求めているニーズを素早く察知できます。実際の販売に大きな影響を及ぼす前からテキストマイニングで動向を分析できるため、サービスが売れない理由や機会損失をいち早く発見し、アクションを起こせるのです。もちろん販売前に限った話ではありません。販売後の意見や評価も分析することができます。テキストマイニングを用いて、SNSなどに投稿された意見をリアルタイムで分析することで、消費者からの意見を素早く取り入れ、商品やサービスの向上に役立てることも可能です。

また、Webサイトへのお問い合わせやアンケートなどでも、多くの意見を集約して分析できるため、顧客からの意見や要望、感想などを抜け漏れなく拾うことも可能です。

設問にとらわれない自由な感想を獲得

アンケートは一般的に設問や選択肢が設けられているため、消費者からの声が一定方向に偏ってしまう傾向があります。テキストマイニングを利用すれば、消費者へ選択肢を設けず、自由な感想を書いてもらい、その内容を分析できます。そのため、時間をかけずに、消費者の生の声を拾うことができます。

ノウハウの属人化を防ぐ

企業で保管される報告書や業務連絡といったテキストデータには、社内業務の効率化やミスの防止に役立つ情報であるナレッジが豊富に含まれています。しかし、ただ保管しているだけでうまく活用できていない企業が多いのも現状です。

このような場合でも、テキストマイニングを利用すれば、例えば営業成績が優秀な社員のナレッジを発見して共有するなど、知識やノウハウのマニュアル化などが可能になります。

データ分析の自動化によるコスト削減

テキストマイニングを活用することで、大幅なコストの削減が可能です。アンケートやインタビューのような大量のテキストデータを人間が手作業で分類・判別する場合、人件費や時間がかかります。しかし、テキストマイニングで分析を自動化することで、大幅なコストダウンが見込めます。

ビッグデータを活用した将来予測

企業経営に影響を及ぼす変化には予兆があり、それがテキストによるやり取りにも現れます。この原理を利用すれば、ビッグデータの活用による将来予測が可能です。

商品の売れ行きだけでなく、株価変動や選挙結果といったより高度な事象について一定の予測が立てられるようになります。これらのデータをもとに、生産量の調整や販売停止の可否など状況に応じた柔軟な判断ができます。

データの関係性を客観的に分析

テキストを人間が分析した場合、主観的な判断や関連性の高い情報の見落としなどが頻繁に発生します。

AIによるテキストマイニングであれば、ただ人間が読んだだけでは得られない発見や関連性の高い情報同士の結びつけが可能です。企業はより正確な情報を入手できるようになり、人材を温存してより重要度の高い業務に回すこともできます。

テキストマイニングの活用事例

テキストマイニングはすでに身近な場面で活用されており、企業運営の助けとなっています。どのような場面で活用されているか見ていきましょう。
テキストマイニングの一般的な活用方法は、消費者ニーズの分析、社内業務の改善、将来予測です。それぞれの活用方法について詳しく解説します。

消費者ニーズの分析

AI搭載のテキストマイニングの活用例としてまず挙げられるのが、SNSや電話での問い合わせ、あるいはアンケートなどにおける消費者ニーズの分析です。

コールセンターやWebサイトに寄せられるお問い合わせや記述式アンケートには、顧客の意見や要望などが反映されています。

それらのテキストデータをテキストマイニングすることでリアルタイムに顧客の声を知り、年齢や性別にわけてニーズのある商品を把握することが可能です。性別や年齢、意見の種類などさまざまなキーワードの収集・解析は、要因の関係性の気付きにつながります。

このような解析は、商品開発などに役立てることができます。また、自社商品・サービスを利用している消費者の声を拾うことができれば、そこから改善点や問題点、新たな商品・サービスの開発を発見できる可能性もあります。

テキストマイニングは、売れる理由・売れない理由といった「なぜ」の直接的な原因究明に役立てることが可能です。

以下では、先ほども例に出したコールセンターとアンケート、SNSを分析対象とした活用事例を紹介します。加えて、新たにチャットボットの例も紹介したいと思います。

コールセンターの顧客の声を分析

電話で問い合わせた際の音声記録に、自然言語解析のAIを組み合わせることで、音声をテキスト化できるようになりました。その結果、コールセンターでもテキストマイニングを活用できるようになりました。

従来、新人のオペレーターはレポート作成に手間取り、時間がかかっていましたが、書き起こしやデータ分析をAIが代行することで作業時間の削減につながります。また、先輩オペレーターのやりとりをテキストで確認できるのでナレッジの共有などもスムーズに行なえ、新人でも即戦力となるでしょう。さらに、機械学習法の採用により、分析の精度も高まっており、履歴を分類ごとに集計して問い合わせや苦情の傾向も見える化できます。

実際、近年ではコールセンターへの導入が進んでおり、AI活用により音声データの精度も高まってきています。更には、AIによる音声案内の研究も進められており、将来的な活躍が期待されています。

そのほか、リアルタイムにアラートを出す機能が搭載されたものもあります。レポート作成はバッチ処理で行われるため、通常は翌日以降の報告となりますが、「障害」「食中毒」などの音声があると直ちにアラートが出され、上司に自動的にエスカレーションします。このリアルタイム分析の仕組みは、コールセンターのみならず、SNSにも応用され、トラブルの早期解決に役立っているのです。

顧客対応によるストレスや恒常的な人材不足など、さまざまな課題を抱えるコールセンター業務において、AI搭載のテキストマイニングはまさに救世主といえるでしょう。

アンケートの分析

企業では、自社製品やサービスの品質向上のため、または自社や共催セミナーなどでのセミナー評価のため、定期的に顧客向けにアンケートを実施しています。

従来では、SNSやメールなどでアンケートを実施する際、その集計の手間や難しさから、回答方式を可能な限り自由記述式を避けて選択式にするケースが多数でした。そして、割合としては少数ながら存在する自由記述欄のアンケート結果は、担当者が手作業で集計してExcelなどで数値を集計して結果報告していることがほとんどでした。

しかし近年では、AIによる自然言語解析能力が発達し、AI搭載型のテキストマイニングツールが登場したことで、自由回答方式のアンケートでも集計や分析に人の手を煩わせることなく、ユーザーの生の声を拾い上げることが可能となっています。

大まかな手順としては、次のようになっています。まず、AIを利用して顧客の感情を特殊なアルゴリズムで読み取ります。その後、それらの感情を数段階に分類し、自社のサービスがどれだけ評価されているか可視化します。

また、顧客から寄せられるメールの文章を分析することで、トラブルを早期に発見するサービスも登場しています。例えば、「最悪」という言葉をキャッチし、どのように使われているかを学習してスコアリングすることで、トラブルが発生する危険性を高精度で予測し、警告を出すといったこともあります。

SNS分析

日々、顧客や購入を検討している人のリアルな声が大量に生み出されているSNS、口コミサイトなどのソーシャルメディアの投稿分析にテキストマイニングが利用されています。

どういったキーワードが多いか、キーワードの時系列はどのように変わってきているのか、どのような不満や改善点があるかなど、大量のテキスト情報に対してテキストマイニングをすることで、自社製品やサービスの分析だけではなく、今後のマーケティング活動に必要な顧客ニーズの発掘が可能です。これにより、ユーザーの属性に応じた効果的なアプローチが可能になります。

例えば、自社ブランドがどのように受け止められているのか、自社で積極的に販促活動をしていることがどのくらい顧客に浸透しているのか、どういった態度変容のときに自社ブランドを想起してくれるのか、など客観的な顧客分析ができるのも特徴です。

さらに、Twitterなどのつぶやきを分析することで、商品の宣伝に適したインフルエンサーを見つけ出すこともできるでしょう。

チャットボットなど質疑応答ツールの精度向上

チャットボットと呼ばれる顧客が知りたい情報を打ち込むと答えを返してくれるツールの精度向上でテキストマイニングが利用されています。

これまでは、顧客が不明点を解消したいと考えた場合、コールセンターへ直接問い合わせをしたり、FAQコンテンツを一つ一つ確認したりする必要がありました。しかしそれらの手段では、自分が求めている回答をなかなか見つけられずに顧客が不満を抱くケースが多々存在していました。

チャットボットでは、自分でFAQコンテンツを調べる必要はなく、知りたい内容に関する単語や文章を打ち込むだけで回答を見つけることができ、顧客満足度の向上も期待されています。

このチャットボットは予め質疑応答の対応表を作っていますが、顧客の打ち込んだ検索ワードや課題解決の割合、解決できなかった質問などをテキストマイニングで分析し、その結果をチャットボットのチューニングで利用して精度向上を図っています。

将来予測

テキストマイニングを上手に活用することができれば、未来予測や流行予測をすることができます。SNSにアップされるコメントは膨大な有益情報を含むため、ビッグデータとして活用が進んでいます。テキストデータであるこれらの情報はテキストマイニングに最適です。

例えば、インターネットやSNS上のつぶやきから経済・株価の変動といった経済市場の動向を予測したり、需要の伸びる分野を特定したりすることが可能です。

それ以外にも、インターネットやSNS上のコメントを解析し、インフルエンザの流行を予測できればマスクの仕入量を増やすといったことも可能です。

このように、日々の業務にテキストマイニングが活かすことができれば、効率的な会社経営が可能となるケースも多く存在します。

以下では、市場動向の予測例として、新聞記事をテキストマイニングすることで、長期市場の動向を予測したケースを紹介します。

新聞記事で長期市場動向を分析

機械学習法とテキストマイニングを組み合わせて、新聞記事から経済動向を予測するシステムが研究されています。

従来のAIを活用した経済市場予測は、日銀から発表される月報や株価などの数値データを利用していました。 しかし、これだけでは適切な投資が難しいです。

そこで、日本経済新聞の経済情報をテキスト化して投資データとする研究が行われました。

日経新聞で繰り返し使われている動詞・名詞・形容詞を抽出。同一文中に隣接している言葉もあわせて分析し、市場の長期予測を行います。約10年間のデータを分析したところ、１ヵ月後の予測では、市場平均株価において60%以上の騰落正答率を収めたと報告されています。

このように、自然言語の解析技術が向上した現在では、AIはフォーマットの定まっていないテキストデータの分析もある程度できるようになっています。

今やブログやSNS、新聞記事など、社会に溢れるさまざまなメディアから市場動向を分析することもなりつつあります。この分野の研究はまだ発展途上ではありますが、もしかすると将来的には、経済アナリストが担当している仕事がAIのする仕事に置き換わっているかもしれません。AIによるテキストマイニングは今後、企業に市場動向の新たな分析手段の獲得をもたらすのではと期待されています。

社内の業務改善

AIによるテキストマイニングは、顧客ニーズだけでなく、社内に溜まったビッグデータを解析する手法としても活用できます。

社員同士のメールやチャットをテキストマイニングを活用して解析すれば、働き方でどのようなことに悩んでいるのかを把握し、業務環境の改善につなげることができます。今後、AI技術がこのまま順調に進歩していけば、心理学の統計データや各種指標などを分析に取り入れて、 従業員の精神状態をも解析できる未来もそう遠くないと思われます。昨今普及しつつあるテレワークによる孤立感から精神的不調をきたす方もいる現状を考えると、AIによる従業員の心身の健康管理は非常に重要な意味をもつでしょう。

また、営業日報や作業報告書、レポートなどに対してテキストマイニングを実行すれば、社員の傾向を知ることができたり、業務の問題点を発見したりすることもできます。

更に、問題点の発見だけでなく、ナレッジの共有も可能です。属人化している業務であれば業務の平準化が、営業成績が優秀な従業員のナレッジがあれば、スキルの平準化が可能です。

このように、社内に蓄積された膨大なテキストデータを活用することで、企業力強化が図れます。

テキストマイニングの主な分析手法

テキストマイニングでは、いきなりテキスト情報に対して分析を行うことが難しいため、最初に分析がしやすいように前処理を行ってから分析を行うのが一般的です。

ここからは、テキストマイニングを行う前の前処理や具体的な分析手法を紹介しながら、テキストマイニングの根幹の部分について詳しく解説していきます。

センチメント分析

センチメント分析とは、 テキストマイニングの代表的な手法であり、 顧客や消費者の感情、気持ちを分析する方法です。販売した製品やサービスを実際に購入して使用した顧客や消費者が、ボジティブやネガティブなど、どういった感情を持ったのかを分析していきます。 基本的には、「肯定的」「否定的」「中立的」の3段階で評価します。 特に顧客の心情がダイレクトに反映されやすいブログ、TwitterなどのSNSなどに多く使われています。

ただし、「やばい」のような、使われる文章や年齢層によってポジティブにもネガティブにも判断ができてしまう単語もあります。「やばい」は、若い世代では肯定的な意味を持つこともしばしばありますが、年配世代では否定的な意味で利用されることが多いでしょう。このような曖昧な意味を持つ表現がテキストに含まれている場合、一度人が内容を解釈してから、テキストマイニングの辞書をチューニングすることで、分析精度を改善していく作業が必要になってきます。

共起分析

共起分析とは、一文の中に登場する単語のセットを分析する手法です。例えば「空」という単語に対して「青い」という言葉がセットで使われるといったように、関連性の高いワードの組み合わせを見つけていきます。特定の商品やサービスに対してセットで利用されるワードを分析し、課題や改善点のヒントを得るための分析手法です。ただし、全ての関係性を一度に表示しても理解しづらくなるため、情報の取捨選択が必要です。

対応分析

対応分析とは、コレスポンデンス分析とも呼ばれ、 設問を縦横にかけ合わせて作成する「クロス集計」や、 編集・集計を行う前の「ローデータ」といったデータを散布図で表現することで分析する方法です。 項目が多岐に渡っているせいで、クロス集計やグラフを比較した結果を見ただけではわかりにくいような場合に用いられる手法であり、 散布図にすることで項目の関係性が可視化され、対象データを比較しやすくなる点がポイントです。

対応分析は企画書やブランドのイメージ分析に活用されることが多いです。

主成分分析

主成分分析とは、ビックデータに代表されるような多くの分析対象があることで分析を行うのが困難な場合に、データを分析しやすくするためにできる限り分析対象となる項目を減らす手法です。この技術を「次元の縮約」と呼びます。

主成分分析を行うことで、ビックデータであっても項目を必要最小限に絞ることで見やすくすることができる反面、情報を一部切り捨てて分析することになるため、すべての情報を反映した結果と言えないという弱点もあります。切り捨てた分のデータに重要なデータが含まれることもあるため、慎重な判断を必要です。

テキストマイニングを活用するための注意点

テキストマイニングを効果的に活用するには、どのような点に注意するべきでしょうか。主には、2点挙げられます。それら2点について、続いて説明していきます。

分析結果をもとにPDCAを回す

テキストマイニングの活用を検討している場合、何かしらの改善を図りたい課題や問題があるはずです。「データ活用したい」「何か有益な情報を得られるかも」など、目的もなく何となくテキストマイニングを行ってもデータを活用できることはありません。

まず、テキストマイニングによってどうなりたいのか、どんな課題を解決したいのか。自社が目指すゴールを設定し、本分析を行う目的を明確にする必要があります。そして分析結果を基に、問題点の収集・整理を行い、それを解決する具体的な施策を決めます。

最後に、得られた分析結果と解決方法を共有して解決方法の実践後、どのような変化・効果がどれほどあったのかの評価・効果検証を行います。期待していた効果や変化が得られず目標を達成できなかった場合は、改めて解決方法を見直し改善を行っていきます。このように、繰り返しPDCAサイクルを回すことで、目標達成に近づくことができます。

テキストマイニングにかかわらず、どのような分析を行う際にも当てはまることですが、テキストマイニングによって得た結果を経営に活かすには、結果を共有して組織ぐるみで解決に臨む姿勢が大切です。

精度を高めるために辞書を作成する

単語や文節ごとに区切ってマイニングするため、テキストマイニングでは単語判定が重要です。分析対象領域における固有の言葉づかい（語彙、辞書）も必要になり、これらの有効な活用が分析のクオリティを左右すると言っても過言ではありません。

それ以外にも、１文字に対して数通りの読み方や意味を持つ漢字の扱い方も分析精度に影響を与えます。つまり、辞書にその情報を集約することでテキストマイニングの精度をあげることができます。１つの動詞も現在形や過去形、未来形などを辞書に登録する必要があります。そして、分析精度を向上させるには、辞書は定期的に更新しなければいけません。なぜなら、今も現在進行形で新しい言葉や商品、サービスが次々と誕生しているからです。 それらの情報を登録して辞書を更新していくことでテキストマイニングの最適化が図れます。

要するに、テキストマイニングの精度は、辞書に登録する単語の語彙力に依存しているということです。