↓快轉到主要內容

2017 台灣人工智慧年會 Day 2 筆記

·3 分鐘
Conference Notes
目錄

2017年秋天參加了台灣人工智慧年會，把筆記記錄在這裡。當天的 議程表連結也留著

筆記開始!

[KeyNote]黃士傑 - AlphaGo－深度學習與強化學習的勝利 #

Google DeepMind Research Scientist

“人因夢想而偉大” - 這是我加入deepmind最大的心得

這個團隊的終極目標

我在韓國下棋的時候，那種感覺不一樣，可以很強烈感受到Leesedon很強的壓力，好像是在為人類奮戰。柯傑在烏鎮的時候他是在笑，那是對我來說很重要的時刻。

AlphaGo Zero 把我在博士班每天做到半夜的所有心血拿掉，甚至超越我，但我卻是感到滿足的。

在博士班那年做出的Erica (業餘三段)世人中重大的轉換契機。也是讓我開始接觸Deep Mind 的契機。

這就是當初比賽的結果，我用單機版的Ericau贏了六台機器的Zen，我說這是小蝦米對抗大鯨魚。

我要感謝我指導教授讓我買了一台機器。

加入Deepmind後的的一段時間後才開始做圍棋程式，當初在alpha go 開始的時候，老闆就跟我說，我們不複製erica, 不做 erica+，我們要做出一個新的更強的。

Alpha Go Intuition 如果說人可以看一個棋盤，看到可以下幾個好棋，那Policy Network 就可以訓練出電腦的直覺。 最大的突破是 “價值網路” (Value Network) 強或化學習結合深度學習，也就是讓NN有”學習能力”。

後來老闆就找來了樊麾二段下了五盤棋，第五盤的時候Nature的editor來看第五盤棋，我猜那時候他是要來看看這是不是真的。那時候我一直不理解為什麼我們要在這麼早的時候就把結果公諸於世(paper)，但是老闆跟我說，科學的精神應該要互相分享，所以那時候先發了論文。有鑑於Nature的規定是在刊登前不能公開，所以這個第一個跟alpha go 下棋的人類一直沒有公開。

Google 給我們最大的資源就是硬體，有興趣想知道更多請看紀錄片!

後來在韓國下棋後，我們輸掉的第四盤。回來後我們一直在想，到底為什麼? 我們想要解決他。想想，你願意用一個會出錯的AI嗎? 所以我們想要全面性的解決這個問題。

那年聖誕節，我回到台灣，老闆叫我申請一個韓國國旗的帳號，一天下10盤。其實那段時間在測試alpha go Master，我超怕我點錯，因為 alpha go 不能因為我輸掉。這就是Master測試的地方，我房間。

後來去中國的時候我們已經知道Master是無敵的存在，但是現在它的價值是要怎麼樣幫助棋手擴展他們的思路和理論。所以才繼續開始AlphaGo Zero。在大量準備Master準備和柯潔九段比賽的時候，我的工作就是要我把所有人類的知識拿掉讓團隊的其他人繼續做Zero。其實在和柯潔九段下棋的時候，Zero 已經超越Master了 (又是Nature，所以不能拿出來用)。

我們在觀察 Zero 的時候一開始是徹底亂象，但是他卻可以用三天的時間走過人類千年的研究。

我們也發現，Zero驗證了人類過去幾千年的研究並沒有錯，只是這些理論被Zero重新驗證。

結論

  1. 深度學習與強化學習的勝利
  2. 團結力量大
  3. 硬體資源的重要性
  4. Zero 展現了潛力
  5. 在烏鎮，我看到人機合作的未來

問答 問: Zero 有大量可以再很短的時間內取得人類過去的知識，但是這代表我們到底要利用現有的知識，還是要從零開始? 答: 人類知識有沒有用我們不知道。 我們沒有想要去比較人類知識有沒有用，我們只是證明了機器不需要人類知識就可以達到我們的知識，我們只是想知道他的limit。我們想說的是它是有可能的，不是要大家來複製。

問: weak AI → Strong AI 還要多久? 答: Far away。但因為人因夢想而偉大，而人腦就是 最強大的General AI。所以意識的本質是更遙遠的。

(本場直播結束，整理完畢)

[R2] 楊立偉 - 文字分析在財務上的應用－以股價預測為例 #

台灣大學工商管理學系教授

在預測股市和財金的時候，我們主要觀察的四個變數: 基本面(企業的營運)+技術面(走勢，買賣量)+消息面(訊息)+環境面(匯率,利率)。我們是從輿情分析做起來的，也是今天的重點。 這些資料最大不同的特性: 帶時間性 + 連續性 + 可能與過往關係相當。 Social Big Data (Social Listening)

\OPVIEW/ \OPVIEW/ \OPVIEW/ 學術用免費喔!

MasterCard 中可以看到類似的作法，是非常成功。我們的產品現在也可以做到盤中交易。

在做這種文字分析的時候，我們會建議從新定義自己 domain specific 的段詞，才可子mark出正確的文字。我們在作文章相似使用傳統的向量空間模型。最後我們希望可以自動產生摘要。 為什麼社群的資料會准? 他不是巧合，insight information + crowd decide market + crowd precieve both true and false information. Human is not rational.

機器人會寫評估報告?! 對，所以，您可以考慮轉行。

當你可以評等和塞選，就可以研究股價交易。 Twitter mood predicts the stock market. (Bollen, 2010) 所以我們開始左台灣的分析。

我們在做第一輪研究的時候，大隻的股票由法人操控非常理性，中型的才有效。所以就開始了接下來的研究。我們用文章相似性趣判斷輿情中大部分的人是看漲還是看跌。文字的話我們用 4-gram 下去做，透過 “多層次與料集” 區分出各種語料。 (財金新聞段詞) - (一般新聞段詞): 財金段詞。效果顯著。

我們在這個框架上面再加上一些其他特徵。我們先發現了字詞有上限，不是越多字詞越激烈，效果依然可以在75-85%。

(本場直播結束，整理完畢)

[R0] 林軒田 - The Interplay of Big Data, Machine Learning, and Artificial Intelligence #

Appier Chief Data Scientist

從學界走到業界的心得分享。

\Appier/ \Appier/ \Appier/

這是張好圖。

當我們回顧過去20年的AI發展，我們從 最短路徑 → 有即時資訊的對短路徑 → 預測路況的最短路徑。

從 BigData → ML 在學術界，我們用小規模的資料，所以其實學界不一定一定要用大資料，可以繼續專注在處理小資料。在業界中，System 的重要性 » 一個好的Model；業界中仰賴大量的domain knowledge 以及實踐acedemic 的model (data cleaning, sampling, 等等)。

從 ML→AI 在學術界中，我們試圖把technique往前推薦，一種先射箭再畫靶的bottom up approach。 在產業界中我們是想要解決一個很實際的問題，然後再回頭找方法。

在業界中，還有一條 Big Data → AI，透過 big data → human learning → AI 可以快速的做出初步成品，不一定要有顯著的統計結論，而是透過這些資訊讓人找出創新的解決方法。

也就是最後回到User的時候，User在乎的是結果，中間的過程它們其實不太Care.

\Appier/ \Appier/ \Appier/

Big Data 其實更重要的是 Quantity + Quality Matching Data.

2015
2016

2017

simple model 變得不重要，所以我們可以透過deep learning 來處理更大更大的資料量。為了駕馭這樣的工具就必須要系統性的去面對complexity和好的system design.

大學期間我覺得去跟跨領域的人結合遠比找到一個不scaleable的ML來的重要很多。 掌握一個好的MLtool book 讓你可以隨時去取用。

重點是怎麼樣Make Something Easier? 至於 Easier than what 是你自己定義的。

問答 業界的實際應用? A: 不能講TTATT。Machine 真的可以幫我們看到人類沒想過的事情。人是可以從中學習的。

(本場直播結束，筆記整理中)

為什麼我總是拿不到雞腿便當? QAQ

[A0] 許永真 - AI and ME: 智慧人機互動 #

臺灣大學資訊工程學系主任 / IOX

IOT 連上網路後才是AI進入的時候，AI 將可能變成第四波工業革命的 “電力”。 當這些device走入人的生活的時候，會缺發很多的相互了解。

Lack of Mutual Understanding 我們什麼時候可以做到，當我們連接投影機接不上的時候，我可不可以語音的問他 “what happened?”。 想想你過馬路的時候，很多時候你會看一下司機，甚至是讓司機知道你要過馬路了。自駕車呢? 很多時候我們會覺得機器學到的不是我想要的。甚至是他需要coding來做設計。 當每個device都有點聰明，每個人也都蠻聰明的，然後他就打架了。

你不知道那個 Sensor 在想什麼。

我們的問題在: 人的演化比機器的演化慢太多了。所以我們做了 “Augmented Collective Being” 的東西，賦予人更多的能力。

接下來我們給一些我們做的例子

  1. Augmented Vision 透視大卡車
  2. 電器使用時機: 用viterbi algorithm (HMM)
  3. 用電量，我們去分析用電量的來源和背後的原因。藉此創造出muti-agent 達到Demand base 的用電計算。

我們不只是要取得資料，我們還要去了解這些數據，從辨識到了解之間還有很多unknown。所以我們希望可以去了解Human Behavior。如果我把sensor 裝在假牙裡面，我就可以辨識人到底在做哪些不同的行為。

結論 Augmented Collective being will enhance Human-AI Collaboration。

(本場直播結束，整理完畢)

[R0] 陳縕儂 - 深度學習之智慧型對話機器人 Deep Learning for Intelligent Conversational Bots #

台灣大學資訊工程學系助理教授

CUI vs. GUI 前者較為直覺。

在 Dialogue Systems 中有兩個branch: 任務型 vs 聊天 前者更重視規則與數據統計，後者更重視回應跟seq2seq 模型。

一個碗一個完整個bot 架構，而其中的關鍵就是找到intent 然後搜尋對應的schema。 所以我們可以把它寫成 : Domain identification → Intent Prediction → Slot Filling

最後我們可以透過reinforcement learning 來協助我們。

我們做的研究包含了

  1. intent extension, 把相似的服務擴充
  2. 多domain 一起學習增加學習速度
  3. 甚至是帶入影像的判定做出proactive agent
  4. Dialogue Planning
  5. Empathy Dialogue System

(本場直播結束，整理完畢)

[R0]吳尚鴻 - 小 App 背後的大數據與人工智慧 #

清華大學資訊工程系副教授

這個人你可不知道，這個APP你肯定知道。

gamification 的應用產物。 所以我們就做了另外一個APP，一起種樹。

其實在做APP的時候遇到了Marketing 的瓶頸，所以我們就開始希望做出AI自動生成的葉佩文案。 你覺得這在賣什麼?

賣啤酒。所以我們的願景就是希望這個世界上不再有AD，都是content。

因為這些APP，我們有不少的Data。但就遇到問題了。

  1. DBMS: 沒有consistency 問題，但是 not scalable and not cross-wan NOSQL? Only when data partitionable (不需要彈性的Join) NewSQL? No elasticity (機器輛不能隨著用量調整)

所以我們就研究出了叫做 ElaSQL這個OpenSource 產品

\ElaSQL/ \ElaSQL/ \ElaSQL/

  1. HDFS 既然 warehouse 人不常挖，我們可不可以用機器學習只存機器需要的東西? (研究中)

回到種樹APP 我們希望可以 large scale globally 看到gamification incentives, social pressure和monetary pressure 對人的效果。

Strong-Weak Collaborative GAN 我們運用兩個Generator (Strong, Weak) 然後讓 Strong learner 去修正去通過discriminator. 最後讓這個Strong 變成 AI, 反覆這個過程。我們叫做SIC-GAN (ICLR’18)

結論 我們只做 Real Thing。

  1. 避免Platform → 你要先有User 才會有平台，所以start small。它可以是願景，不能一開始就這樣覺得。
  2. Marketing before product development
  3. 不要自我感覺良好。
  4. 不要怕別人討厭你: make a small group of user happy

(直播結束，整理完畢。)

[R0] 陳宜欣 - 大數據情緒分析的經驗分享 #

清華大學資工系副教授

我的身分很像GAN裡面的discriminator

正統的語言分析大師是 Chomsky (對我沒有很喜歡它讓我3130讀得很痛苦) 定義了句法結構。所以第一步通常就是詞彙分析，透過這些詞彙找出句子結構。

對我來講，太難了。而且，他絕對不懂小孩。 所以我從經驗中學習，小孩交董我們很多事情。

其實情緒的表達是小細節累積的。 “你總是叫我收玩具” → 不開心 但是對機器來說他會變成 → “你總是叫我收玩具” “我永遠不能電視看了” → 他充滿了錯誤，卻仍然有情緒 “對你的回憶，一切語言都顯得蒼白無力” → 其實，很多文句是沒有邏輯的，機器會直接刪掉。

為了拿免費資料，我們使用所謂的 subconsious crowdsourcing (潛意識群眾募集)中取得ontology 和emontional 資料 ，我們從twitter上拿hash tag 當作label。

什麼是大數據? 就是你刪掉不會痛的資料

最後我們取數據與中立句子的叉集，就可以取得中心字與社區字。 我們發現人們再表達情緒的時候其實關鍵不是content而是某種文句的結構。

那中文怎麼做? 既然臉書現在可以按情緒，我們就把有按情緒回饋的留言當作data。 接下來我們做了一個贅字分析，不可思議。

結果?

我們下次會把time domain 放進去

所以? 我們會發現社會標準和情緒標準有一個分析相關性。也就是說恐懼、憎恨的資料量是非常少的，因為這個社會標準會壓抑她。所以我們就接著看所謂的 “code word” 暗語分析。

了解情緒的關鍵是因為我們希望可以幫助mental disorder people. 我們選定了bipolar patients. 我們現在已經可以做到讓一般使用者提早偵測可能有潛在風險。

(本場結束，整理完畢)

[R0] 黃從仁 - 認知神經科學 x人工智慧 #

臺灣大學心理學系助理教授

人工智慧 → 認知神經科學

我們用ML的方法去讀出不同腦區面對不同刺激的樣態，就可以透過腦取的樣態反推到底是什麼反應。

認知神經科學 → 人工智慧

如果您有很深度的學習深度學習，通常會有以下很深度的問題

如何設計深度學習網路 如何了解書度學習網路 我們可以從認知神經科學找答案。

我們可以看到，其實CNN和認知神經科學是很相似的，我們可以先看越往後面，depth越深+dimension越小 (ie. 我有沒有看過這張臉)。我們再看 V1 → V2 那個就是V2 神經元受到來自V1 刺激亮起來才會繼續下去。既然如此，當我們再做tuning 的時候，可以回去看神經系統 (ie. recognition tolerance → Data augmentation / neural normalization → batch normalization / synaptic pruning → weight decay…) 但是我們現在的研究並沒有觸碰到再空間中物體"存在"的這個認知神經科學的處理方式(where pathway)。我們在發現 where 其實在腦中比 what傳遞速度是更快的。

所以就有paper發現，俗果我在做數字辨識前先找到數字”位置”(attention)才做”辨識”(what) 正確率是更高的。但是這種attention在認知神經科學中視有非常多樣的 (ie. 方向，顏色，類別… etc)。

“請你回想你昨天穿的衣服” → “昨天” “衣服” 這個就是focus/attention 。

我們大腦和現在的NN其實面對的computational problem 的問題是一樣的。

我們看這個例子證實了LSTM的重要性

↑