Self Introduction

I entered university in 1974, which was already half a century ago. The world was very simple at that time.
There were no personal computers, no cell phones, and many people didn’t even have phones at home. Can you imagine what the students were busy with at that time?
I was born in 1955, the same year as Chung-Yuan University. Fortunately, I started using computers with an Apple II. Then with the growth of PC and Internet, until today.
I've used CPM Dos, MS Dos, Windows, FreeBSD, Mac, and now Linux.
Before Windows 95, I wrote the purchasing sales and inventory system for my company through FoxBase. And with the help of my colleagues, in 2004 all systems were converted to FreeBSD, MySQL, PHP and Apache (so-called cloud systems).
Even so, I feel that there are still many things I don’t understand about the details of company management and the new development of computer software, and I want to clarify things.
Therefore, when I handed over my daily management tasks, I took advantage of this opportunity to continue learning. I would like to ask for your advice in the future. Thank you, teachers and classmates.

Dr.袁博-數據科學

Dr.袁博数据科学导论 清華大學深圳研究院
• 離散 連續 文本 符號
  數據科學：對數據中隱含的信息和規律進行探究。
  數據從何而來？數據背後的物理含義。如何對數據進行預處理？如何解釋數據分析的結果？在實際應用中可能產生的種種社會問題。
  大數據的特性是：數據量大、數據的類型多、產生的速率高。3V: Volume, Veriety, Velocity
  在大數據的時代:購買紀錄、評價打分、健康信息、活動軌跡、甚至於社交關係。都有可能須融合，成為待處理的：結構化數據、文本數據、數據缺失、噪音。等等。凡此都對傳統的算法帶來的嚴峻的挑戰。
  大數據分析跟傳統數據分析的不同：
  數據類型的多樣性，能夠從更多的維度對事物進行描述，將不同領域的數據進行關聯分析，產生1加1遠大於2的效果，顯著提高數據分析的效能。
  1.2知行合一
  數據本身就是一種生產資料，不再只是其他生產活動的產品。
  從抽樣到全樣本分析，總體中每個個體的屬性。
  模型驅動到數據驅動。(貓的訓練)
  魔球MoneyBall-球員的評價-用大數據分析建模。技術統計特點做決定不只靠教練。
• 1.3 見微知著
  數據科技應用：聚類/分類、關聯分析/推薦。
  PageRank、精準廣告投放系統、協同過濾技術。
  當數據變得無所不在，當我們時時刻刻生活在數據的海洋中
  ，對數據進行加工 分析和利用，也必將成為一項不可或缺的高價值技能。
  2.1 數據採集：感知萬物 -Dr.唐仙
  大數據來源:Business Process, Human, Machine。
  例：健康手環IMU=accelerometer+gyroscope+magnetometer;
  一天有3G數據量，全球超過1億只在使用中。
  2.2 數據採集：化繁為簡
  常見無限傳感器節點：微控制器MCU-如msp430系列，有可編程擴展功能。數字處理企DSP，常用型號有TMS320系列。
  還常碰到FPGA現場可編程邏輯陣列-可反覆擦寫, ASIC專用集成電路-設計好就無法修改，等。還有圖形處理器GPU。
  2.3 數據採集：前程無限
  魯棒性(Robustness)魯棒性亦稱健壯性、穩健性。
  常用無線通訊技術：蜂窩技術Cellular communication。 WIFI技術-IEEE 802.11標準。藍芽Blue tooth短程無線系統。新的BLE低功耗藍芽，只發送較小數據塊。 ZigBee IEEE 802.15.4標準，廉價低複雜度低功耗低速率的無線連接技術。
  WIFI>BT>BLE>ZigBee功耗。新的方法：近場通訊NFC，LoRa, NB-IoT, Sigfox等等。
  Bing:授權頻譜licensed spectrum和非授權頻譜unlicensed spectrum有何異同?
  2.4 數據採集：運籌帷幄
  能量管理電路。提高能效。常用的線性穩壓器LDO。
• 硬件電路設計：傳感器設計、信號處理電路、無線通訊技術、電源管理單元。
• 3.1 數據可視化：一圖胜千言
  數據可視化，正是一項致力於把抽象的數據或概念，轉化為適宜人類理解和接受的視覺化的信息的技術。
  可視化是一種以圖像 圖表或動畫的形式進行有效信息傳遞的技術。
  通過對其中詞頻分佈情況的可視化，可以幫助我們迅速了解其中所包含的重要內容。
• 3.2 數據可視化：心靈之窗
  RGB-0,0,0時=黑色; 255,255,255=白色;
  人們在識別物體的時候會受到周圍已存在的事物的影響並利用經驗知識來進行輔助判斷
  也許對於一個計算機程序而言區分不同顏色的對象和區分不同形狀的對像在計算量上並沒有太大的差異
  常用的視覺表示包括位置 長度 梯度面積 體積 形狀 色調 飽和度對比度以及紋理等等
  3.3 數據可視化：歷史上的可視化
  在做數據分析工作的時候除了要關注發掘一般性的規律，對於一些例外和異常數據也不要輕易忽視
  Charles Minard繪製的Flow Map拿破崙進遠征圖的舉例

---

Dr.袁博数据科学导论 清華大學深圳研究院

• 1.1 初窺門徑
  同學們好，很高興又和大家在慕課平臺見面了，歡迎和我一起漫步於數據科學的世界，數據是現代社會中的一個高頻詞彙，那麼什麼是數據呢，簡單來說，數據是一種對事物的描述與記錄，這個事物可以是看得見摸得着的事物，如汽車，也可以是抽象的過程和概念，如經濟發展態勢，通常來說，人們對周圍事物的理解，是通過一系列屬性來刻畫，如人的年齡 身高 體重 性別 種族等等。
  所謂的數據對應的則是這些屬性可能的取值，根據類型的不同，可分爲連續型 離散型 符號型 文本型等等，其中符號型和文本型數據必須先進行數值化，才能夠被計算機所處理，因此 數據也可以看作是客觀事物的一種抽象表示，用於描述其性質 狀態和相互關係等，有助於我們更好地對外部世界進行認知 理解和分析，另一個非常相關的概念是信息，很多時候人們往往將其與數據混爲一談。
  相對於原始的數據，信息是一種更高層次的抽象，它依託於數據，但體現的是數據的意義與內涵，用以幫助我們進行判斷和決策，例如 一個學生的考試成績，本身可以看作是物理層面上的數據，而通過與其他同學的成績，或者該生上學期的成績進行比較，就能夠得到在班級中的相對水平，或者成績波動趨勢等邏輯層面的信息，當然 信息自身也往往以數據的形式體現出來，如該同學進步明顯，與上學期相比班級排名提高了五名。
  顧名思義，數據科學是一門和數據打交道的學科，隨着數據在近十年中變得無處不在，數據科學已經貫穿於，各個學科領域和人們的日常生活，就連一些傳統上和計算相關性不大的學科，也開始在工作中，積極尋求大規模數據分析的支持，正如在上世紀七八十年代，計算機還只是科研單位裏的高端設備，只有很少數經過專門訓練的人員，纔有機會接觸到它們，而現在從手環到手機，各種類型的計算設備早已和我們24小時相伴，成爲日常生活當中不可或缺的一部分。
  同時 數據科學並不是一項單一的技術，而是包括了數據的採集 傳輸 存儲 分析，和展示等諸多環節的一門系統性學科，打一個比方的話，如同先要挖掘和運輸鐵礦石，再經過粗加工成生鐵，再進一步冶煉成標準化的鋼材，最後根據各行業的需求，定製成具有特定用途的器件，因此 數據科學並不是一門獨立的學科，而是和統計學 信號採集與處理 數據庫系統，高性能計算 計算機網絡，乃至社會科學等諸多領域有着千絲萬縷的聯繫。
  提到數據科學，大家首先想到的可能是，寫程序和各種各樣看上去很高深的算法，首先 計算機程序是數據科學研究工作最終的實現手段，它與數據科學相輔相成，但在一定程度上又相互獨立，換句話說，從事數據科學，並不一定要直接從事大量的程序編寫工作，也不一定拘泥於某一種特定的開發環境，在更多的情況下是利用各種分析工具，通過結合領域知識，對數據中隱含的信息和規律進行探究，其次，算法是數據科學的核心組成部分，但是僅僅學會算法還不足以真正地，將它轉變爲一個強大的可以改造我們生活的工具，我們還需要了解數據從何而來，數據背後的物理含義，如何對數據進行預處理，如何解釋數據分析的結果，以及在實際應用中，可能產生的種種社會問題等，任何一環的缺失，都可能造成數據分析工作的失敗，甚至導致嚴重的負面效果，這需要引起每一位有志於，從事數據科學工作的同學們的高度重視。
  在數據科學中一個重要的概念是大數據，它可能是近年來最炙手可熱的科技詞彙之一，圍繞這個概念的學術研究，商業模式和產業應用舉不勝舉，大數據的三個典型特徵是，數據量大 數據類型多和產生速率高，分別對應於Volume Variety和Velocity三個屬性，統稱爲3V，下面簡單談一下，它們對數據處理技術帶來的不同層面的挑戰。
  數據量的激增，對存儲和計算能力帶來了前所未有的要求，傳統上的單機串行處理模式，已經被大規模並行及分佈式計算架構所取代，所需處理的數據量也已經從MB躍升到GB和TB，一些大型互聯網企業，需要處理的數據甚至已經達到PB級。
  數據類型的多樣化，則對數據分析算法提出了新的挑戰，傳統算法通常針對單一數據源進行分析，數據類型也極爲有限，事實上大多數經典數據挖掘算法，都假設所處理的數據類型爲數值型，但是在大數據時代，客戶的購買記錄 評價打分 健康信息，活動軌跡以及在社交網絡中與其他人的關係等，都有可能需要進行有機的融合，以做出精準的用戶畫像，這些數據中既包含傳統意義上的結構化數據，又包含大量非結構化的文本數據，同時還可能有顯著的數據缺失以及噪聲等，這些都對傳統算法帶來了嚴峻的挑戰。
  數據的高產生速率帶來的問題，可能主要集中在流數據的處理方面，傳統上我們一般假設數據是完備的，只要做一次性的處理，當數據源源不斷產生的時候，我們則需要算法能夠，及時地發現數據中蘊含的新模式，並對已有的模型進行適當的動態調整，在我個人看來，大數據分析與傳統數據分析相比，最大的特點和優勢在於，數據類型的多樣性，能夠從更多的維度對事物進行描述，將不同領域的數據進行關聯分析，產生1+1遠大於2的效果，顯着提高數據分析的效能，
  
• 1.2 知行合一
  數據科學對社會發展和日常生活的影響如此之大，以至於出現了大數據思維這樣的新概念，改變了人們看待周圍事物的角度和工作的方式，有人舉過這樣一個例子，傳統上 我們對事物的認識就像一張張照片，它們是一種離散的 不完整的描述，而當我們能夠在短時間內，產生足夠多的照片的時候，我們看到的就是視頻，可以認爲是對事物連續的 完整的描述，也就是說從量變產生了質變，讓我們能夠以前所未有的方式，來觀察和分析同樣的事物，大數據思維的內涵並沒有公認的定義，我個人認爲至少有以下三個方面值得同學們思考 16 00:01:01,092 --> 00:01:00,247，第一 數據就是生產資料，今天數據已經不再是其它生產活動的一種副產品，而是具有極高價值潛力的生產資料，經過合理的開發利用，能夠直接創造可以衡量的經濟效益，例如對於以Facebook，和LinkedIn爲代表的各種社交網站，客戶的信息就是它們最重要的，甚至是唯一的價值所在，利用所掌握的海量客戶羣體的信息和行爲描述，可以衍生出各種類型的增值服務，第二，從採樣到全樣本分析，在統計學中，大家最熟悉的概念之一莫過於樣本，而且絕大多數統計分析，都是建立在對總體的採樣之上，希望通過對樣本的分析，推測出總體的特定屬性，在大數據時代，當數據的產生過程變得相對廉價，當我們擁有了存儲和分析海量數據的能力的時候，我們更關心的是總體中每一個個體的屬性，例如 在過去我們只能從宏觀上分析，某家商場的客戶羣的構成比例，但是現在我們可以深入瞭解，每一位客戶的消費習慣，併爲其定製個性化的消費體驗，第三，從模型驅動到數據驅動，傳統上人們需要對客觀事物，進行深入的剖析和精準的建模，在理清各要素之間的因果關係之後進行推理和決策，正如物理學中的牛頓三大運動定律，而當數據足夠充沛的時候，則可以在一定程度上認爲，所掌握的數據已經能夠較爲全面地，對我們感興趣的事物進行描述，即便沒有嚴謹的理論模型的支持，依靠海量的數據，通過數據驅動的方式，同樣可以尋找出關鍵的規律和信息，一個典型的代表就是，現在流行的深度學習框架，它並不需要我們給出關於貓的精準定義，也不需要手工去提取圖像中相關的特徵，在高性能計算平臺的支持下，通過在大量含有貓的圖像樣本上進行訓練，就可以實現非常高的識別率，關於數據科學在實際生活中的價值，我想和大家分享一個在體育領域非常經典的案例，相關的故事已經出版成書並拍攝成電影，由著名影星布拉德皮特主演，它的名字叫Moneyball，翻譯成點球成金，正如足球在中國受關注的程度一樣，棒球是美國的一項頂級運動，它的職業棒球大聯盟Major League Baseball，吸引了大量的觀衆和商業資本，爲了打造一支強隊，一個衆所周知的條件是需要有雄厚的資金做後盾，用於購買頂尖的大牌球員，而這些球員的身價動輒數以千萬美元，只有少數大牌俱樂部，如New York Yankees紐約洋基隊，和Boston Red Sox波士頓紅襪隊，才能夠負擔得起，而位於大聯盟西區的一支名爲，Oakland Athletics奧克蘭運動家的平民俱樂部，卻在本世紀初在球隊總經理Billy Beane的帶領下，藉助嚴謹的數據分析工作，在運動員的選拔方面獨樹一幟，成就了以小博大的奇蹟，依靠豪門俱樂部約1/3的人員預算，不僅創造了驚人的20連勝的大聯盟記錄，並且以西區第一名的身份打入季後賽，成爲能夠與各路豪門比肩的一支強隊，他們在對球員的評價上並不完全依賴球探的主觀印象，或者簡單以身價而論，避免了在華而不實或者與球隊風格，不能契合的高身價球員上浪費寶貴的資金，相反，他們另闢蹊徑，對每一個候選球員的歷史數據和技術特點進行分析建模，根據球隊的實際需求，召集了一批看上去有各種缺陷，因此被轉會市場低估了的潛力股球員，同時 在每一場比賽中，球隊都會根據隊員的技術統計特點，合理地排兵佈陣，減少了教練員的主觀性和片面性，在非常有限的資金條件下，奧克蘭運動家隊利用數據分析工具，優化資金和人員配置，組成了一支具有奪冠實力的球隊，對職業體育項目的發展產生了深遠的影響，
  
• 1.3 見微知著
  和同學們日常生活最爲密切的數據科學，我想應該是在電子商務領域，在絕大多數電商平臺中，都可以看到推薦系統的影子，這也是爲什麼當你瀏覽或購買了某些商品之後，平臺會爲你推送一個你可能感興趣的商品的列表，這個列表中的商品就是，推薦系統根據你的購買記錄，和千千萬萬消費者的購買習慣，來爲你量身定製的，實際上電商平臺無時無刻不在，跟蹤和記錄着我們的個人信息以及消費行爲，並以此製作出用戶畫像，逐步加深對顧客的理解，從積極的一方面來說，利用數據分析技術，可以爲用戶提供更好的個性化消費體驗，幫助用戶從浩如煙海的商品中找到自己真正需要的，同時 我們在選購商品的時候，很大程度上也會參考用戶評論來做決定，但是電商平臺上往往充斥着各種惡意的差評或者水軍，數據分析技術，在這裏也可以作爲一雙慧眼，幫我們去僞存真 明察秋毫，然而 從另一方面來說，商家所掌握的用戶信息，也可以被用來從事對我們不利的行爲，例如 有些銷售奢侈品的商家，會將高仿的假貨或者殘次品混雜在正品中以牟取暴利，但是爲了降低被用戶察覺和投訴的幾率，他們在銷售的時候會傾向於將假貨發送給特定的顧客，例如 商家可能會去查看，一名顧客的歷史投訴以及評論記錄，來了解他是否對商品的質量非常挑剔或者非常懂行，同時 還有一個同學們可能會忽視的因素，顧客的居住地點，如果附近就有該品牌的專賣店，那麼顧客很有可能拿着收到的商品前去進行驗真，這樣就容易露出馬腳，雖然數據科學的應用領域非常廣泛，各種新穎的應用問題也層出不窮，但是從核心技術來說，主要可分爲聚類 分類 關聯分析 推薦等幾大類，其中聚類屬於無監督的學習，體現出物以類聚 人以羣分的基本思想，將原始數據根據自身屬性進行分組，使得分在同一組的樣本比較相似，而不同組之間的樣本差異相對較大，分類則屬於有監督的學習，通過在給定的一組帶標籤的學習樣本上，進行模型訓練，最終在樣本空間中形成合適的判決平面，進而對未知樣本進行較爲準確的識別，如果說聚類和分類是數據科學 機器學習，以及模式識別領域中的共性技術的話，關聯分析和推薦系統則是數據科學中比較有特色的技術，在關聯分析中，通過分析大量的用戶購買記錄，可以發現哪些商品經常被同時購買，以及買了某一種商品的顧客，很有可能會購買哪些其他商品，推薦系統的範疇更加廣泛，從用於搜索引擎的結果排序的PageRank算法，到用於商品推薦的協同過濾技術，以及精準廣告投放系統等都是其典型代表，作爲一名數據科學領域的教師，我認爲數據科學，是幫助同學們邁進各個學科領域和社會行業，實現人生理想的強有力的助推器，無論你今後希望在互聯網 人工智能 醫療，健康 金融 電子商務或交通物流等行業發展，或是計劃在學術界尋找自己的人生價值，數據科學可能都是你目前最好的一個選擇，當數據變得無所不在，當我們時時刻刻生活在數據的海洋中，對數據進行加工 分析和利用，也必將成爲一項不可或缺的高價值技能，目前 數據科學已經不僅僅是一個專業技術領域，而是上升到了國家戰略層面，在數字基礎設施建設 數據資源整合，和開發共享以及數據安全等層面，都將迎來重大的舉措，隨着數據科學與社會民生的交匯融合，數據科學對經濟發展 社會治理，國家管理等都產生着重大的影響，爲實現政府決策科學化，社會治理精準化，公共服務高效化提供了有力的支撐，同時 爲實體經濟的轉型升級，以及與數字經濟的融合發展奠定了基礎，成爲數據驅動型社會創新發展的重要動能，作爲一門導論性質的課程，我們的出發點在於開闊同學們的視野，爲大家展示與數據科學相關的方方面面的知識，特別是一些在現有的數據科學慕課中，較少涉及的層面，如數據可視化 高性能計算，基於傳感器的數據採集以及數據倫理等，數據科學博大精深，相關從業人員所從事的具體工作也千差萬別，我們努力在本課程中，爲大家介紹一些普適性的思想 技術和原理，雖然同學們的專業背景和學習訴求可能各有不同，但是我相信大家都可以把這門課程，作爲數據科學的啓蒙，通過認真學習和積極的思考與探索，培養對數據科學的認知與興趣，並初步掌握所需的學習方法和技術路線，如果同學們對數據挖掘算法特別感興趣，歡迎大家隨後學習我們的相關慕課，數據挖掘：理論與算法，那麼接下來就讓我們一起走進數據科學的大門，
  

Introduction to Data Mining | University of Colorado Boulder

aaa

• Lorem ipsum dolor sit amet.
• Lorem ipsum dolor sit amet.