Multimodal Deep Learning of Word-of-Mouth Text and Demographics to Predict Customer Rating: Handling Consumer Heterogeneity in Marketing
https://doi.org/10.48550/arXiv.2401.11888
arXivのcs.CEに初めてのpreprintを単著で投稿しました。
マーケティング的な問題意識でいうと、従来的なクロスセクションデータ (tabular data) としての顧客情報などのデータには現れてこない観測不可能な情報としての消費者の異質性をレビューの文章から理解したい。その一方で、レビューのテキストではその文章量や表現方法等によって含まれる情報量の分散が大きいため、テキスト単体での解析では十分な予測精度は出ない。よって、いわゆる大規模言語モデル(LLM)としてのBERTを組み込んで日本語のレビュー文書を分散表現に変換しつつ、クロスセクションデータはFeed-Forward Layersで処理して、それらの特徴量を統合するマルチモーダルな学習モデルを構築することにより精度が上がるというような感じ。まあ構造はいたってシンプルですよね。
この類のモデルは発展的なものもいくつかすでに提案されているけど、マーケティング応用がとにかく進んでいない（仮に応用されていたとしても体系的に検証されていなくて何をどうすれば精度が上がるのかはディープラーニング芸人以外は誰にもわからない。AIによる脱職人とはなんだったのか。）ため、いろいろな組み合わせで探索した結果を示しています。カテゴリをComputational Engineering, Finace, and Science (CE)にしているのはそのためですね。
正直なところをいうと，去年9月にacceptされた応用統計学会の論文を（宣伝がてらというと言葉が悪いけど）引用しつつ発展させるつもりで書いたんだけど、学会側の諸事情で2024年4月末の発刊予定となってまったので泣く泣く断念。追加的に英語の文書データでの分析も行った上で人工知能学会の2024年度全国大会 (JSAI2024) で報告します。JSAI2024のproceedingsが出るのは5月なのでそこには引用できそう。そして今年中に頑張って査読通して論文にまとめる。こうも急速にLLMが発達してくると、さすがに特化型マルチモーダル学習の分野がいつまで続くかちょっと自信がないので急ぎたい。
これを購買予測モデルに発展させる構想があるため、データ周りなど是非とも企業さんと一緒にやりたい案件でもあります。ご連絡は論文上のメールアドレスからお願いします。