異質圖表示學習與應用

序
前言

第一部分 概況
第1 章引言2
1.1 基本概念和定義2
1.2 圖表示學習5
1.3 異質圖表示學習及其挑戰5
1.4 本書的組織結構6
參考文獻6
第2 章異質圖表示方法的最新進展9
2.1 方法分類9
2.1.1 結構保持的異質圖表示9
2.1.2 屬性輔助的異質圖表示11
2.1.3 動態異質圖表示12
2.1.4 面向應用的異質圖表示12
2.2 技術總結14
2.2.1 淺層模型14
2.2.2 深度模型14
2.3 開源資料15
2.3.1 基準資料集15
2.3.2 開原始程式碼16
2.3.3 可用工具16
參考文獻18

第二部分 技術篇
第3 章結構保持的異質圖表示學習26
3.1 簡介26
3.2 基於元路徑的隨機遊走27
3.2.1 概述27
3.2.2 HERec 模型27
3.2.3 實驗31
3.3 基於元路徑的分解34
3.3.1 概述34
3.3.2 NeuACF 模型35
3.3.3 實驗38
3.4 關聯式結構感知的異質圖表示學習演算法43
3.4.1 概述43
3.4.2 異質圖中的關聯式結構特徵分析44
3.4.3 RHINE 模型47
3.4.4 實驗48
3.5 網路模式保持的異質圖表示學習演算法51
3.5.1 概述51
3.5.2 NSHE 模型52
3.5.3 實驗55
3.6 本章小結56
參考文獻57
第4 章屬性輔助的異質圖表示學習61
4.1 簡介61
4.2 基於層次注意力機制的異質圖神經網路62
4.2.1 概述62
4.2.2 HAN 模型63
4.2.3 實驗66
4.3 異質圖傳播網路70
4.3.1 概述70
4.3.2 語義混淆分析71
4.3.3 HPN 模型73
4.3.4 實驗76
4.4 異質圖結構學習77
4.4.1 概述77
4.4.2 HGSL 模型78
4.4.3 實驗82
4.5 本章小結84
參考文獻84
第5 章動態異質圖表示學習88
5.1 簡介88
5.2 增量學習89
5.2.1 概述89
5.2.2 DyHNE 模型89
5.2.3 實驗95
5.3 時序信息99
5.3.1 概述99
5.3.2 SHCF 模型100
5.3.3 實驗103
5.4 時序交互105
5.4.1 概述105
5.4.2 THIGE 模型106
5.4.3 實驗110
5.5 本章小結111
參考文獻112
第6 章異質圖表示學習的新興主題116
6.1 簡介116
6.2 對抗學習117
6.2.1 概述117
6.2.2 HeGAN 模型118
6.2.3 實驗121
6.3 重要性採樣122
6.3.1 概述122
6.3.2 HeteSamp 模型123
6.3.3 實驗127
6.4 雙曲空間表示130
6.4.1 概述130
6.4.2 HHNE 模型130
6.4.3 實驗132
6.5 本章小結135
參考文獻135

第三部分 應用篇
第7 章基於異質圖表示學習的推薦140
7.1 簡介140
7.2 TopN推薦141
7.2.1 概述141
7.2.2 MCRec 模型142
7.2.3 實驗145
7.3 冷開機推薦148
7.3.1 概述148
7.3.2 MetaHIN 模型149
7.3.3 實驗153
7.4 作者集識別156
7.4.1 概述156
7.4.2 ASI 模型157
7.4.3 實驗162
7.5 本章小結164
參考文獻164
第8 章基於異質圖表示學習的文本挖掘168
8.1 簡介168
8.2 短文本分類169
8.2.1 概述169
8.2.2 短文本異質圖建模169
8.2.3 HGAT 模型171
8.2.4 實驗173
8.3 融合長短期興趣建模的新聞推薦176
8.3.1 概述176
8.3.2 問題形式化177
8.3.3 GNewsRec 模型177
8.3.4 實驗182
8.4 偏好解耦的新聞推薦系統184
8.4.1 概述184
8.4.2 GNUD 模型185
8.4.3 實驗188
8.5 本章小結190
參考文獻191
第9 章基於異質圖表示學習的工業應用195
9.1 簡介195
9.2 套現用戶檢測196
9.2.1 概述196
9.2.2 預備知識196
9.2.3 HACUD 模型197
9.2.4 實驗200
9.3 意圖推薦202
9.3.1 概述202
9.3.2 問題形式化203
9.3.3 MEIRec 模型204
9.3.4 實驗207
9.4 分享推薦209
9.4.1 概述209
9.4.2 問題形式化210
9.4.3 HGSRec 模型210
9.4.4 實驗214
9.5 好友增強推薦217
9.5.1 概述217
9.5.2 預備知識218
9.5.3 SIAN 模型219
9.5.4 實驗222
9.6 本章小結226
參考文獻226

第四部分 平臺篇
第10 章異質圖表示學習平臺與實踐230
10.1 簡介230
10.2 基礎平臺231
10.2.1 深度學習平臺231
10.2.2 圖機器學習平臺234
10.2.3 異質圖表示學習平臺236
10.3 異質圖表示學習實踐237
10.3.1 構建資料集237
10.3.2 構建Trainerflow 241
10.3.3 HAN 實踐243
10.3.4 RGCN 實踐246
10.3.5 HERec 實踐248
10.4 本章小結250
參考文獻250
第11 章未來研究方向252
11.1 簡介252
11.2 保持異質圖結構253
11.3 捕獲異質圖特性253
11.4 異質圖上的圖深度學習254
11.5 異質圖表示方法的可靠性254
11.6 更多的現實應用255
11.7 其他255
參考文獻256

序
 
在當今的互聯世界中，圖和網路無處不在。在複雜網路模型中，異質網路（異質圖）將現實世界的系統建模為大量多模態和多類型物件之間的交互。由於異質網路對複雜網路固有結構的顯式建模有助於進行強大、深入的網路分析，因此異質網路顯得尤為重要。近年來，表示學習（嵌入學習）通過各種深度學習或嵌入方法來用低維分佈表示高維資料，獲得迅速發展，已成為高維資料分析的有力工具。與此同時，圖表示學習（網路嵌入）在低維空間中學習節點/邊的表示，也已經證明了它在各種圖挖掘和圖分析任務中的有效性。
 
本書是第一本專注於異質圖表示學習的書。異質圖表示學習是指在低維空間中學習異質圖中的節點/邊表示，同時為下游任務（例如，節點/圖分類和連結預測）保留異質結構和語義，近年來已成為一種功能強大、逼真且通用的網路建模工具，並越來越受到學術界和工業界的關注。
 
本書對異質圖表示學習及其應用進行了全面而廣泛的介紹，包括對該領域代表性工作的研究。本書不僅廣泛介紹了主流的技術和模型，包括結構保持、屬性輔助技術和動態圖技術，而且介紹了其在推薦、文本挖掘和工業領域的廣泛應用。此外，本書還提供了異質圖表示學習的平臺以及實踐。作為該領域的第一本書，本書總結了異質圖表示學習的最新發展，並介紹了該領域的前沿研究。總體而言，本書具有以下兩個特點：1）為研究人員闡述該領域的基本問題，以及現階段該領域的研究熱點；2）展示關於異質圖在真實系統建模和學習交互系統結構特徵上的最新應用研究。
 
本書作者在異質圖表示學習和相關領域有大量研究經驗。PhilipS.Yu是資料採擷和異質資訊網路領域的權威專家之一。石川是Philip在異質資訊網路研究領域的長期合作者，他系統地研究了基於異質圖的推薦和表示學習，將異質資訊網路建模應用於電子商務和文本挖掘領域，近年來在異質圖表示學習領域做了大量領先的工作。王嘯是網路嵌入研究領域的一位新星學者。本書系統地總結了他們在異質圖表示學習方面的貢獻，不僅可以作為學術界和工業界的指南，也可以作為本科生和研究生的教科書。希望大家可以享受本書愉快的閱讀之旅。
 
韓家煒（Jiawei Han）
Michael Aiken 講席教授
伊利諾伊大學厄巴納–香檳分校
 
前言
 
異質圖是在真實世界中普遍存在的包含不同類型的節點和邊的圖。從書目網路和社交網路到推薦系統資料，裡面都存在著異質圖。異質圖表示學習是指在低維空間中學習節點/邊表示，同時為下游任務（例如，節點/圖的分類和連結預測）保留異質結構和語義，目前這個方向吸引了相當多的關注，我們已經見證了異質圖表示學習方法在各種實際應用（如推薦系統）上的驚人表現。越來越多的關於異質圖表示學習的工作出現，也預示著這個方向是學術界和工業界的一個全球性研究趨勢。因此，全面總結和討論異質圖表示學習方法可謂迫在眉睫。
 
相比於同質圖表示學習，異質圖中的異質性使異質圖表示學習存在著特有的挑戰。例如，異質圖中存在著多種類型的邊，這使得它存在更複雜的結構，而且節點屬性也是異質的。同時，異質圖表示學習與現實世界的應用高度相關，從異質圖構建到學習，可能需要更多的領域知識。以上這些因素都會嚴重影響異質圖表示學習的性能，因此需要仔細考慮。總之，對異質圖表示學習的研究具有重要的科學和應用價值。
 
本書面向的是對異質圖感興趣的讀者，總體來說，本書是為那些希望瞭解異質圖表示學習的基本問題、技術和應用的讀者準備的。具體來說，我們希望相關領域的學生、研究人員和工程師都能從本書中得到啟發。
 
本書分為四個部分，第一部分簡要介紹整個領域，第二、三部分深入研究相關技術和應用，第四部分介紹一個異質圖神經網路演算法平臺，並探索未來方向。
 
在第一部分中，我們首先從不同方面概述最近的異質圖表示學習方法，同時總結一些公開資料，可以為這一領域的未來研究和應用提供便利。這一部分將幫助讀者迅速瞭解這個領域的整體發展。具體來說，在第1章，我們將介紹基本概念和定義，以及同質和異質圖表示學習的背景，第2章介紹方法分類和公開資料。
 
在第二部分中，我們將對有代表性的異質圖表示學習技術進行深入而詳細的介紹。這一部分將幫助讀者瞭解這個領域的基本問題，並闡明如何為這些問題設計最優的異質圖表示學習方法。在第3章中，我們將討論結構保持的異質圖表示學習方法，包括元路徑結構和網路模式結構。第4章介紹帶屬性的異質圖表示學習方法，集中介紹異質圖神經網路。之後，我們將在第5章中介紹動態異質圖表示學習方法，這些方法考慮了增量學習、時序資訊和時序交互。在第6章中，我們將討論異質圖表示學習的一些新興話題，包括對抗學習、重要性採樣和雙曲空間表示學習。
 
在第三部分中，我們將總結異質圖表示學習在現實中的應用。讀者在這一部分可以瞭解異質圖表示學習的成功應用，以及將先進的技術應用于現實場景的方法。在第7章中，我們會展示異質圖表示學習是如何改進不同推薦系統的，例如Top-N推薦、冷開機推薦和作者集識別。第8章介紹文本挖掘的應用，重點是短文本分類和新聞推薦場景。在第9章中，我們將介紹異質圖表示學習在工業界的應用，例如套現用戶檢測、意向推薦、分享推薦和好友增強推薦。
 
在第四部分中，我們將介紹一個異質圖表示學習的計算平臺，並對本書進行總結。考慮到深度學習平臺的重要性，在第10章中，我們將介紹圖機器學習的基礎平臺，特別是我們研發的異質圖神經網路演算法開源平臺OpenHGNN。同時，我們以三個代表性的異質圖神經網路為例，展示如何使用該平臺。最後，我們在第11章討論未來的研究方向和尚未解決的問題。
 
在本書的撰寫過程中，除作者外，還有其他一些人也做出了很大的貢獻，我們向所有為撰寫本書做出貢獻的人表示衷心的感謝。這些人包括薄德瑜、劉佳瑋、王睿嘉、吉余崗、紀厚業、張依丁、張夢玫、楊天持、范少華、王春辰、韓輝、崔琪、張琦、劉念、莊遠鑫、王貞儀、楚貫一、劉洪瑞、李晨、趙天宇、翟新龍、夏東林、梁峰綺。我們也要感謝PhilipS.Yu教授的許多學生的精心校對，他們是曹雨微、竇英通、範子煒、黃鶴、李霄寒、劉志偉、夏聰穎。此外，本書得到了國家重點基礎研究發展計畫（2013CB329606）和國家自然科學基金(No.U20B2045,U1936220,61772082,61702296,62002029,62172052)的支持，還得到了美國國家科學基金會III-1763325、III-1909323、III-2106758和SaTC-1930941贈款的部分支援。我們也一併表示感謝。最後，感謝我們的家人在本書寫作過程中給予我們的全心全意的支持。