作者-張兆靜 -FindBook 找書網

圖書名稱：大數據X資料探勘X智慧營運

【想深入了解大數據、資料探勘的讀者請進！！】

什麼是資料前處理？
電信業者跟資料探勘有什麼關係？
神經網路具體到底是什麼？
集群分析的演算法有哪些？

◎資料探勘的「十大經典演算法」你都認識嗎？
國際權威的學術組織the IEEE International Conference on Data Mining （ICDM）評出了資料探勘領域的十大經典演算法：C4.5、K-Means、SVM、Apriori、EM、PageRank、AdaBoost、KNN、Naive Bayes和CART。

1．C4.5演算法
C4.5是一種用在機器學習和資料探勘領域的分類問題中的演算法。它基於以下假設：給定一個資料集，其中的每一個元組都能用一組屬性值來描述，每一個元組屬於一個互斥的類別中的某一類。C4.5的目標是透過學習，找到一個從屬性值到類別的映射關係，並且這個映射能用於對新的類別未知的實體進行分類。

2．The K-Means Algorithm （K-Means演算法）
K-MeansAlgorithm是一種聚類演算法，它把n個對象根據他們的屬性分為k個分割，k
◎結構化／半結構化／非結構化資料有什麼不同？
（一）結構化資料：能夠用數據或統一的結構加以表示的資料，如數字、符號。傳統的關係資料模型，儲存於資料庫，通常可用二維表結構表示。
（二）非結構化資料：是指其欄位長度可變，並且每個欄位的記錄又可以由可重複或不可重複的子欄位構成的資料庫，用它不僅可以處理結構化資料（如數字、符號等資訊）而且更適合處理非結構化資料（全文文字、圖像、聲音、影視、超媒體等資訊）。
（三）半結構化資料： XML、HTML文檔就屬於半結構化資料。它一般是自描述的，資料結構和內容混在一起，沒有明顯的區分。

◎如何設計神經網路的拓撲結構？
在開始訓練之前，用戶必須確定網路拓撲，說明輸入層的單元數、隱藏層數（如果多於一層）、每個隱藏層的單元數和輸出層的單元數。

對訓練元組中每個屬性的輸入測量值進行規範化將有助於加快學習過程。通常，對輸入值規範化，使得它們落入0.0和1.0之間。離散值屬性可以重新編碼，使得每個域值有一個輸入單元。例如，如果屬性A有3個可能的或已知的值{a0，a1，a2}則可以分配三個輸入單元表示A，即我們可以用I0，I1，I2作為輸入單元。每個單元都初始化為0。如果A=a0，則I0置為1，其餘為0；如果A=a1，則I1置1，其餘為0；諸如此類。

神經網路可以用於分類（預測給定元組的類標號）和數值預測（預測連續值輸出）。對於分類，一個輸出單元可以用來表示兩個類（其中值1代表一個類，而值0代表另一個類）。如果多於兩個類，則每個類使用一個輸出單元。

★全書特色
全書分為九章，內容包括：大資料探勘與智慧營運的概念，資料前處理，資料探勘中的四種主流演算法：集群分析、分類分析、迴歸分析、關聯分析，增強型資料探勘演算法，資料探勘在營運商智慧營運中的應用案例，未來大資料探勘的發展趨勢等。主要提供給電信業者及其他高科技企業員工、大專院校學生和研究生，以及其他對資料探勘與精準行銷感興趣的讀者。

作者簡介：

梁棟，電機博士，碩士研究生導師，曾主持和參加多項自然科學基金項目，主要研究方向為大數據、資料探勘與智慧營運，所帶領的研究團隊在包括IEEE Internet of things Journal、IEEE International Conference on Data Mining等知名學術期刊和會議上發表學術論文二十多篇，並且長期與電信業進行科技產業化合作。

張兆靜，任職於知名電信業，大數據分析專家，曾在IEEE等著名會議上發表論文十篇，主持多項大數據與智慧營運案，曾獲公司頒發的最佳培訓實踐獎。

彭木根，電機博士，畢業後留校任教，博士生導師，擔任IET、IJCS、IJDSN、IJAP等國際SCI學術期刊論文的專刊編委、助理編委或特邀主編。曾擔任Wicon 2010、PlanNet等國際學術會議技術專題合作主席。長期擔任ICC、Globecom、WCNC、PIMRC等多個國際學術會議的技術委員。一直從事TDD無線網路資訊理論、協同網路編碼、無線網路自組織技術、TDD高效能無線傳輸與組網技術、TD-SCDMA及增強演進系統的傳輸，與增強組網技術的研發工作。

章節試閱

1.7 現有資料探勘的主要分析軟體與系統

1.7.1 Hadoop

提到大數據和資料探勘，很多人馬上想到的就是Hadoop。說到Hadoop就不能不說Google的三篇論文。Google在2003年到2006年間發表了三篇非常有名的論文，它們分別是2003年SOSP的GFS（Google File System），2004年OSDI的MapReduce以及2006年OSDI的BigTable。這三篇論文奠定了現在主流大數據分析處理系統的理論基礎。基於這些，現今演化出各式各樣的大數據處理和分析系統。

Hadoop最開始起源於Apache Nutch，後者是一個開源的網路搜尋引擎，本身也是由Lucene項目的一部分。Nutch項...

顯示全部內容

作者序

前言

資料探勘（Data Mining），是指從資料中發現知識的過程（Knowledge Discovery in Databases， KDD）。狹義的資料探勘一般指從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含其中的、人們事先不知道的、但又是潛在有用知識的過程。自從電腦發明之後，科學家們先後提出了許多優秀的資料探勘演算法。2006年12月，在資料探勘領域的權威學術會議the IEEE International Conference on Data Mining（ICDM）上，科學家們評選出了該領域的十大經典演算法：C4.5、K-Means、SVM、Apriori、EM、PageRank、AdaBoost、kNN、Naive Bayes和CART。這是資料探勘學科的一個重要里程碑，從此資料探勘在理論研究和實際應用兩方面均進入飛速發展時期，並得到廣泛關注。

在實際生產活動中，許多問題都可以用資料探勘方法來建立模型，從而提升營運效率。例如，某企業在其行動終端應用（App）上售賣各種商品，它希望向不同的客戶群體精準推送差異化的產品和服務，從而提升銷售業績。在這個案例中，如何將千萬量級的客戶劃分為不同的客戶群體，可以由資料探勘中的集群分析演算法來完成；針對某個客戶群體，如何判斷某個產品是否是他們感興趣的，可以由資料探勘中的分類分析演算法來完成；如何發現某個客戶群體感興趣的各種產品之間的關聯性，應該把哪些產品打包為方案，可以由資料探勘中的關聯分析演算法來完成；如何發現某個客戶群體的興趣愛好的長期趨勢，可以由資料探勘中的迴歸演算法來完成；如何綜合考慮公司的KPI指標、行銷政策和App頁面限制等條件，制訂最終的應用行銷方案，可以基於資料探勘中的ROC曲線建立數學模型求得最優解法來解決。

當前，許多企業正面臨前所未有的競爭壓力。以營運商企業為例，從政策層面看，當各個國家對網路提出了「提速降費」的策略：一方面要提高網路連接速度、提供更好的服務，這意味著公司成本的提高；另一方面要降低資費標準，這意味著單一產品收入的下降，營運商該如何化解這對矛盾？從營運商內部數據統計看，傳統的語音和簡訊、及其他業務收入占比正不斷下降，傳統的利潤點已經風光不再；流量收入目前已占據主要位置並保持上漲趨勢，但單純的流量經營又將面臨「管道化」壓力；未來的利潤增長點要讓位於被稱為「第三條曲線」的數位化服務。電信業者該如何經營這一新鮮事物？從外部環境看，互聯網和電子商務企業借助其在各方面的優勢，已經對營運商形成了巨大的壓力，特別是在數位化服務行銷領域，傳統營運商企業已經不再具備優勢，又該如何應對互聯網企業的全面競爭？

隨著移動互聯網和物聯網時代的來臨，人和萬事萬物被廣泛地聯繫在一起。人們在聯繫的過程產生了大量的數據，例如用戶基礎資訊、網頁瀏覽記錄、歷史消費記錄、影片監控影像，等等。據此，以Google為首的互聯網公司提出了「大數據」（Big Data）的概念，並聲稱人類已經脫離了資訊時代（Information Time， IT），進入了大數據時代（Data Time，DT）。顯然，大量數據包含了非常豐富的淺層次資訊和深層次知識。對於同一競爭領域的企業，誰能獲取最大量的數據，展開最精準的資料探勘與模組建立分析，並加以細緻化的具體實施，誰便能在行業競爭中取得優勢。對於營運商企業而言，其具備的一個顯著優勢便是手握大量數據資源。如果能運用先進的資料探勘技術找出客戶的行為規律，從傳統的經驗式、粗放式、「一刀切」式的營運決策向數據化、精細化、個性化的營運決策轉型，營運商將迎來新的騰飛。上述營運模式轉型的目標，便是所謂的「智慧營運」。

目前，人類對大數據尚沒有統一的、公認的定義，但幾乎所有學者和企業都認同大數據具備四大特徵（四大挑戰）：體積巨大（Volume）、類型繁多（Variety）、價值密度低（Value）、需求即時處理（Velocity）。這其中最重要的一點是類型繁多，即過去人類的資料儲備以結構化資料為主，而未來將以非結構化資料為主。回到之前提到的App行銷案例，企業基於用戶的基礎資訊、歷史消費資訊、簡單的網路行為資訊等結構化資料展開資訊建模，被認為是傳統的「基於資料探勘的智慧營運」。隨著時代的發展，企業還掌握了用戶觀看在線影片的內容數據、在營業網點接受營業員推薦的表情資訊和語言交流數據、用戶在客服熱線中的語音諮詢數據等，這些被統稱為非結構化資料，隨著語音辨識、人臉識別、語義識別等新技術的發展成熟，對非結構化資料的分析資訊已成為可能，並將獲得廣闊的商業應用空間。基於非結構化資料的資訊建模又被稱為「基於人工智慧的智慧營運」。考慮當前大部分企業的實際營運現狀，本書將主要圍繞「基於資料探勘的智慧營運」展開討論，「基於人工智慧的智慧營運」將在後續書籍中展開討論。

本書共分為九章：第1章大數據、資料探勘與智慧營運綜述，講述資料探勘的基本概念和發展史、大數據的時代特徵、當前結構化資料探勘進展、非結構化資料探勘與人工技能進展、資料探勘的主流軟體等；第2章數據統計與資料前處理，講述在資料探勘之前的資料整合、資料淨化、數據衍生、數據統計等；第3章集群分析，重點講述K-means、BIRCH、DBSCAN、CLIQUE等幾種主流經典聚類演算法；第4章分類分析，重點講述決策樹、KNN、貝氏、神經網路、SVM等幾種主流分類演算法；第5章迴歸分析，重點講述線性迴歸、非線性迴歸、邏輯迴歸等幾種主流迴歸演算法；第6章關聯分析，重點講述Apriori、FP-tree等幾種主流關聯演算法；第7章增強型資料探勘演算法，重點講述隨機森林、Bagging、Boosting等幾種主流增強演算法；第8章資料探勘在營運商智慧營運中的應用，展開講述資料探勘方法在外呼行銷、精準推送、方案適配、客戶保有、投訴預警、網路品質監控、室內定位中的應用；第9章面向未來大數據的資料探勘與機器學習發展趨勢，簡要講述資料探勘領域的前沿研究進展。

全書以運用大資料探勘方法提升企業營運業績與效率為主線。第3章至第7章組成本書的理論知識部分，在講述理論知識的同時，這部分每章都配套列舉了大量實際應用案例，及其在SPSS等分析軟體中的具體操作流程。此外，第8章從營運商實際工作中選取了大量營運和銷售案例，詳細講述了數據採集、資訊建模、模型應用與精準行銷的全部過程。

本書基於作者所帶領的研究團隊多年研究積累和在營運商企業廣泛應用應用的基礎上提煉而成。全書由曾麗麗博士組織並統稿，梁棟、張兆靜和彭木根撰寫了主要章節，研究團隊中的謝花花、柯聯興、張笑凱、魯晨、李子凡等在讀研究生參與了部分章節的寫作，胡林、唐糖等團隊外專家參與了部分章節的寫作並給出了寶貴的意見。在此對有關人員一併表示誠摯的感謝！

由於作者能力所限，疏漏之處在所難免，希望各位讀者海涵，並批評指正。
（註：本書中所提「數據」即「資料」)

作者

顯示全部內容

內容簡介
前言
第1章大數據、資料探勘與智慧營運綜述
1.1 資料探勘的發展史
1.1.1 資料探勘的定義與起源
1.1.2 資料探勘的早期發展
1.1.3 資料探勘的演算法前傳
1.1.4 資料探勘的第一個里程碑
1.1.5 最近十年的發展與應用
1.2 資料探勘的主要流程與金字塔模型
1.2.1 資料探勘的任務
1.2.2 資料探勘的基本步驟
1.2.3 資料探勘的架構——雲端運算
1.2.4 「金字塔」模型
1.3 資料探勘對智慧營運的意義
1.3.1 「互聯網+」時代的來臨及其對營運商的衝擊和挑戰
1.3.2 大數據時代的來臨及其對營運商的挑戰和機遇
1.3.3 電信業者...

顯示全部內容