大數據視角下的社會化媒體對證券市場的影響研究

1 導論 …………………………………………………………………… （1）
1.1 選題背景和研究意義 ……………………………………………… （1）
1.1.1 選題背景 ……………………………………………………… （1）
1.1.2 研究意義 ……………………………………………………… （6）
1.2 研究思路、研究方法和研究結構 ………………………………… （9）
1.2.1 研究思路和研究方法 ………………………………………… （9）
1.2.2 研究結構 …………………………………………………… （12）
1.3 本書主要創新點 ………………………………………………… （14）

2 文獻綜述……………………………………………………………… （17）
2.1 證券市場波動相關理論 ………………………………………… （17）
2.1.1 現代經典金融理論相關分析 ……………………………… （17）
2.1.2 行為金融理論相關分析 …………………………………… （19）
2.1.3 中國證券市場有效性研究及情緒影響分析 ……………… （22）
2.1.4 證券市場相關理論評述 …………………………………… （24）
2.2 投資者情緒與證券市場 ………………………………………… （25）
2.2.1 投資者情緒的定義和衡量 ………………………………… （26）
2.2.2 投資者情緒與證券市場收益 ……………………………… （29）
2.2.3 現存問題與分析 …………………………………………… （32）
2.3 社會化媒體與投資者情緒 ……………………………………… （35）
2.3.1 社會化媒體研究現狀 ……………………………………… （36）
2.3.2 社會化媒體情緒及其應用分析 …………………………… （38）
2.3.3 社會化媒體情緒研究評述 ………………………………… （40）
2.4 社會化媒體量化及其應用 ………………………………………… （41）
2.4.1 文本量化方法 ……………………………………………… （41）
2.4.2 預測分析模型 ……………………………………………… （46）
2.4.3 現存問題與分析 …………………………………………… （51）
2.5 本章小結 ………………………………………………………… （53）

3 系統總體設計 ……………………………………………………… （55）
3.1 問題描述及解決思路 …………………………………………… （55）
3.1.1 海量社會化媒體文本信息無法被自動、高效、準確獲取 … （55）
3.1.2 社會化媒體包含了大量的雜亂無序的噪音信息，導致很難準確判定其包含的投資者傾向性情感信息 …………………… （57）
3.1.3 基於社會化媒體的市場公眾情緒量化準確率較低、監測效能差……………………………………………………………… （59）
3.1.4 研究表明社會化媒體情緒對證券市場波動存在影響，但如何準確地刻畫其影響深度和廣度仍然是一個重大的挑戰 … （60）
3.2 現狀分析 ………………………………………………………… （61）
3.3 平臺總體結構與數據處理流程 ………………………………… （64）
3.3.1 平臺總體結構與功能模塊 ………………………………… （64）
3.3.2 總體數據處理流程 ………………………………………… （67）
3.4 本章小結 ………………………………………………………… （68）

4 社會化媒體量化與投資者情緒提取研究……………………… （70）
4.1 研究現狀與解決思路 …………………………………………… （70）
4.1.1 基於社會化媒體對證券市場波動影響的研究現狀 ……… （70）
4.1.2 解決思路 …………………………………………………… （72）
4.2 技術路線圖 ……………………………………………………… （73）
4.3 社會化媒體數據獲取與相關處理 ……………………………… （74）
4.3.1 社會化媒體數據獲取 ……………………………………… （74）
4.3.2 社會化媒體數據描述性統計分析 ………………………… （76）
4.3.3 社會化媒體數據預處理 …………………………………… （77）
4.3.4 社會化媒體數據向量化表示 ……………………………… （80）
4.4 CSCNN深度神經網路情感判定模型…………………………… （84）
4.4.1 構建訓練樣本 ……………………………………………… （84）
4.4.2 CSCNN的構建 ……………………………………………… （87）
4.4.3 CSCNN深度神經網路性能評估指標 ……………………… （93）
4.4.4 社會化媒體文本情感計算 ………………………………… （94）
4.4.5 CSCNN深度神經網路訓練實驗 …………………………… （95）
4.4.6 CSCNN深度神經網路訓練實驗測評 ……………………… （96）
4.4.7 社會化媒體文本情緒統計特徵分析 ……………………… （98）
4.5 本章小結 ………………………………………………………… （100）

5 投資者情緒指數的構造 ………………………………………… （102）
5.1 研究現狀與構造原理 …………………………………………… （102）
5.1.1 國內外研究現狀概述 ……………………………………… （102）
5.1.2 SMISI指數構造因子選擇 ………………………………… （105）
5.2 文本語句權重SR因子 ………………………………………… （106）
5.2.1 相關理論介紹 ……………………………………………… （106）
5.2.2 社會化媒體語句權重Sentence Rank算法 ………………… （108）
5.2.3 社會化媒體語句權重Sentence Rank算法實驗測評 ……… （110）
5.3 用戶影響力UI因子 …………………………………………… （113）
5.3.1 用戶影響力算法 …………………………………………… （113）
5.3.2 用戶影響力算法實驗測評 ………………………………… （113）
5.4 閱讀數量RC因子 ……………………………………………… （115）
5.4.1 閱讀數量因子算法 ………………………………………… （115）
5.4.2 閱讀數量描述性統計分析 ………………………………… （115）
5.5 點讚數量LC因子 ……………………………………………… （117）
5.5.1 點讚數量因子算法 ………………………………………… （117）
5.5.2 點讚數量統計分析 ………………………………………… （118）
5.6 投資者情緒指數SMISI的構造與分析………………………… （119）
5.6.1 SMISI的構造 ……………………………………………… （120）
5.6.2 SMISI與市場相關性統計分析 …………………………… （121）
5.7 本章小結 ………………………………………………………… （124）

6 SMISI對證券市場波動的量化研究…………………………… （126）
6.1 投資者情緒對證券市場波動的影響及其研究方法的比較與選擇…………………………………………………………………… （126）
6.1.1 統計模型 …………………………………………………… （127）
6.1.2 計量經濟學迴歸模型 ……………………………………… （127）
6.1.3 基於機器學習的模型 ……………………………………… （128）
6.2 基於Fama五因子的SMISI與市場收益率實證分析………… （128）
6.2.1 基本原理及模型構建 ……………………………………… （128）
6.2.2 模型數據來源及實證分析 ………………………………… （130）
6.3 基於VAR模型的SMISI與市場收益率實證分析 …………… （135）
6.3.1 基本原理及模型設計 ……………………………………… （135）
6.3.2 模型數據來源及實證分析 ………………………………… （137）
6.3.3 實證結論 …………………………………………………… （142）
6.4 基於情緒驅動的S－LSTM深度神經網路模型 ……………… （142）
6.4.1 經典LSTM理論基礎及問題 ……………………………… （143）
6.4.2 S－LSTM模型 ……………………………………………… （145）
6.4.3 S－LSTM性能評估指標 …………………………………… （149）
6.4.4 S－LSTM深度神經網路訓練實驗 ………………………… （150）
6.4.5 S－LSTM深度神經網路訓練實驗測評 …………………… （152）
6.4.6 基於S－LSTM深度神經網路的投資模擬 ………………… （156）
6.5 本章小結 ………………………………………………………… （158）

7 面向證券市場策略的SMQIP檢驗與分析 ………………… （160）
7.1 相關分析 ………………………………………………………… （160）
7.1.1 技術可行性分析 …………………………………………… （161）
7.1.2 相關法律問題探討 ………………………………………… （162）
7.2 SMQIP決策支持總體設計 …………………………………… （163）
7.2.1 核心算法層 ………………………………………………… （164）
7.2.2 決策支持層 ………………………………………………… （165）
7.3 市場監管支持 …………………………………………………… （167）
7.3.1 監管部門決策參考 ………………………………………… （167）
7.3.2 監管部門決策應用 ………………………………………… （168）
7.4 公司管理支持 …………………………………………………… （171）
7.4.1 公司管理決策參考 ………………………………………… （172）
7.4.2 公司管理決策應用 ………………………………………… （173）
7.5 投資決策支持 …………………………………………………… （174）
7.5.1 投資者決策參考 …………………………………………… （174）
7.5.2 投資者決策應用 …………………………………………… （175）
7.6 本章小結 ………………………………………………………… （177）

8 總結、不足與研究展望 …………………………………………… （178）
8.1 研究總結 ………………………………………………………… （178）
8.1.1 海量社會化媒體數據智能採集方案 ……………………… （178）
8.1.2 中文語句卷積神經網路（CSCNN）情感極性判定核心算法… （179）
8.1.3 社會化媒體情緒指數SMISI ……………………………… （179）
8.1.4 基於情緒驅動的長短期記憶（S－LSTM）深度神經網路模型…（179）
8.1.5 基於社會化媒體效應量化智能平台（SMQIP）的市場參與者決策支持 …………………………………………… （180）
8.2 研究的不足與改進 ……………………………………………… （180）
8.2.1 數據源類型不夠全面，尚有不足，需改進 ………………… （180）
8.2.2 使用向量作為神經網路輸入的不足與改進 ……………… （180）
8.2.3 模擬交易未考慮交易成本等因素的不足與改進 ………… （181）
8.3 研究展望 ………………………………………………………… （181）
8.3.1 基於社會化媒體平臺操縱市場行為特徵識別的研究 …… （181）
8.3.2 基於企業社會化媒體網路的影響聯動和疊加效應研究… （182）
8.3.3 深度學習神經網路在證券市場領域的應用方法創新研究…（182）
8.3.4程序化交易數量日益增長情景下的證券市場波動研究…… （182）

參考文獻 ………………………………………………………………… （183）


 

序

　　截至2017年年底，中國證券市場的上市公司數量已達到3485家，總市值達到567086.077億元。證券市場已經成為中國國民經濟的重要組成部分。證券市場是「國民經濟的晴雨表」，證券市場的穩定不僅是經濟健康發展的基石，同時在維護社會穩定、防範系統性金融風險方面也發揮著重要的作用。黨的十九大和2018年全國「兩會」明確指出，中國未來的風險主要在金融領域，要防範金融風險。現在證券監管部門已經把監控作為了第一要務。中國在短短的28年間經歷了多次的「牛」「熊」更替，其中的主要原因是投資者情緒過度樂觀或者過度恐慌，「追漲殺跌」「盲目跟風」「羊群效應」等造成了證券市場的大幅波動。市場情緒是各類投資者情緒的綜合體現，在中國證券市場中，個人投資者占比為99.73%，其情緒將對市場產生巨大的影響，並且個人投資者的情緒化交易行為相對於機構投資者來說更加普遍。現代行為金融學認為，股票價格不僅僅由股票的內在價值決定，受信息影響的投資者的心理與行為對股票的價格決定和變動也具有重大影響。

　　通過對現有文獻的梳理發現，目前研究投資者的情緒對證券市場波動影響時，通常使用間接情緒指標和直接情緒指標對投資者情緒進行測量。間接情緒指標採用客觀的測量來從側面反應投資者的情緒，但由於其基於歷史交易數據構建，在衡量投資者情緒時有明顯的滯後性；直接情緒指標可通過對投資者進行問卷調查獲得，但調查時的情緒不代表其投資決策時的情緒，這樣測量的誤差較大，並且調查成本較高。隨著互聯網的出現和發展，人們獲取信息更加便利和快捷。互聯網已經成了人們最主要的信息獲取渠道。投資者在各社會化媒體平臺中獲取、發布和傳播證券市場相關信息，其中蘊含著大量投資者的情緒。爆炸式的媒體信息吸引了學術界和業界大量研究人員嘗試使用自然語言處理技術和傳統機器學習模型來挖掘媒體信息中的投資者情緒以及分析其對證券市場波動的影響。然而受信息技術和跨學科領域的限制，目前的相關研究對社會化媒體信息挖掘的角度不夠完整，提取的投資者情緒不具代表性，使用的分析方法已無法適用於大數據背景下海量社會化媒體對證券市場影響的研究。

　　因此，本書利用定向分佈式爬蟲從社會化媒體平臺獲取完整的文本信息，提出中文語句卷積神經網路（Chinese Sentence Convolutional Neural Network，CSCNN）核心算法可以根據中文語法和語義結構提取文本情緒，結合社會化媒體文本信息的結構特點構建出社會化媒體投資者情緒指數（Social Media Investor Sentiment Index，SMISI），在基於社會化媒體情緒驅動的長短期記憶深度神經網路（Sentiment－driven Long Short－Term Memory，S－LSTM）核心算法基礎上搭建證券市場的社會化媒體效應量化智能平臺（Social Media Quantitative Intelligent Platform，SMQIP），用於探析社會化媒體投資者情緒對證券市場影響的深度和廣度。從結構上看，本書由八章組成，具體內容為：

　　第1章　導論，主要介紹選題背景、研究的意義、研究的思路和方法、全書的結構安排以及主要創新點。

　　第2章　文獻綜述，主要對社會化媒體量化、市場情緒和社會化媒體對證券市場波動影響三個方面的理論和文獻進行了系統的回顧和梳理。本章為研究社會化媒體量化、剖析社會化媒體信息與證券市場波動和防範系統性金融風險研究提供了強有力的支持和論證。

　　第3章　系統總體設計，從系統總體設計的角度，自上向下對本書的邏輯模塊和流程進行概述，對系統的數據處理流程進行說明，明確證券市場社會化媒體效應智能解決方案中模塊之間的關係，理順系統從數據抓取到文本信息處理情感提取，再到利用深度學習神經網路對社會化媒體與證券市場波動的影響進行關聯分析的流程，以確保系統模塊完整和研究順利推進。

　　第4章　社會化媒體量化與投資者情緒提取研究，主要對社會化媒體文本信息量化和投資者情緒的提取進行研究。首先對社會化媒體信息的抓取、過濾、預處理和詞彙量化過程進行了描述；隨後提出依據中文語句的語法和語義結構構建中文語句卷積神經網路（CSCNN）核心算法對文本情感極性進行判定；接著對情感判定模型進行了比較研究。

　　第5章　投資者情緒指數的構造，借鑑傳統指數構造原理，利用社會化媒體平臺文本信息結構特點，創新性地提出基於內容相似度矩陣、引用關係矩陣和回復關係矩陣的社會化媒體文本語句權重Sentence Rank算法計算語句權重，結合用戶影響力因子、閱讀數量因子和點讚數量因子，構造了社會化媒體投資者情緒指數（SMISI），為後續研究提供了重要的特徵變量。

　　第6章　SMISI對證券市場波動的量化研究， 通過實證研究， 首先將SMISI與Fama五因子模型結合，驗證了SMISI對證券市場收益率的系統性影響；接著利用VAR模型研究SMISI對證券市場波動影響的深度和廣度。隨後提出基於社會化媒體情緒驅動的S－LSTM深度神經網路模型核心算法，更加準確地捕捉社會化媒體投資者情緒對證券市場的影響效應，並通過模擬的方式驗證了SMISI在量化投資中應用的可行性。

　　第7章　面向證券市場策略的SMQIP檢驗與分析，從市場監管者、上市公司和投資者三個不同的角度剖析了社會化媒體信息引導市場情緒，導致證券市場資產價格波動，甚至影響金融穩定的內在機理。並利用具體案例從以上三個角度分別驗證了基於大數據的證券市場社會化媒體效應量化智能平台（SMQIP）的應用可行性。

　　第8章　總結、不足與研究展望，對全書進行了總結，對研究中存在的不足進行了分析和反思，對於金融智能領域的研究熱點和方向以及未來可能進行的研究計劃進行了展望。

　　本書在現有研究的基礎之上，沿著「社會化媒體———投資者情緒———證券市場波動」的主線，對基於大數據的證券市場媒體效應進行了量化分析，主要的創新之處有以下三個方面：

　　第一，提出了一個基於深度學習的公眾情緒文本挖掘方法，綜合考慮文本內容和質量的影響，以捕捉社會化媒體中的公眾情緒。本書利用中文語句卷積神經網路對證券市場環境下的文本信息進行情感判定，結合社會化媒體結構特性，創新性地提出一套基於信息內容和發布結構的公眾情緒提取方法，利用論壇特有的結構即發帖、回復、轉發和引用等構建內容和結構的關聯圖，進而得到綜合關聯關係矩陣，從散亂的、高噪音的論壇信息討論中挖掘出主導性言論。綜合考慮社會化媒體信息的重要性和情感極性，提取出公眾對上市公司、板塊或整體市場的情緒傾向。

　　第二，基於社會化媒體大數據，研究和優化了證券市場情緒指數的構建方法。本書創新性地利用統計學中指數構造原理，對正面情緒和負面情緒給予不同權重，構造了證券市場的社會化媒體投資者情緒指數（SMISI），並結合證券市場歷史交易數據，從大數據角度系統剖析社會化媒體對證券市場波動的影響機理和傳導機制，為金融學領域經典問題的研究提供了大數據驅動的探索思路；同時，結合成分股的社會化媒體情感指數，細分了社會化媒體主板情感指數、中小板情感指數和創業板情感指數等。這些指數對於金融市場監管者監控證券市場波動、上市公司決策和投資者投資組合時都有重要的參考價值。

　　第三，集成情緒判定、文本賦權和情緒指數市場效應評估等核心算法，構建了情緒對證券市場波動影響分析的系統原型，並應用於本書的研究中。本書開創性地通過以社會化媒體情緒為驅動的時序神經網路，通過改造LSTM單元，增加情緒增強門，改變了遺忘門、輸入門和輸出門數據結構，解決了深度神經網路中連續時序數據和離散時序數據融合的問題。基於此搭建的基於大數據的證券市場社會化媒體效應量化智能平臺（SMQIP），可以為市場監管機構、上市公司、投資者以及相關領域研究者提供理論參考和決策支持。以社會化媒體情緒為驅動的時序神經網路結構也可為其他領域對連續時序數據和離散時序數據問題的解決開拓新的思路。