※ 本文為 MindOcean 轉寄自 ptt.cc 更新時間: 2016-09-29 09:06:36
看板 Gossiping
作者 標題 Re: [新聞] Google發布類神經機器翻譯 翻譯品質接近
時間 Wed Sep 28 23:43:16 2016
※ 引述《IN (願自身光明熾然照耀世界)》之銘言：
: Google發布類神經機器翻譯 翻譯品質接近筆譯人員
: Google的類神經機器翻譯（GNMT）對八層長的短時記憶遞歸類神經網路（LSTM-RNNs）依
: 賴性很強。 “通過層間殘留聯繫可以加強梯度流。”Google科學家在論文中寫道。在影
↑residual connection
: 像處理器的幫助下，類神經網路一旦變得足夠成熟，Google就可以靠它尚未發布的張量處: 理單元進行數據處理。
個人是看好接近人類水準的機器翻譯啦
畢竟GOOGLE現在推出了8層的LSTM來做，那16層應該會更好...那100層呢?
不過這類研究也只有GOOGLE做得起來
難點有:
1.唯有GOOGLE手中握有龐大的訓練資料
(facebook也有不少，所以深度學習研究者都往這兩家跑)
2.GOOGLE手中有巨量的GPU伺服器
你自己花一周訓練類神經網路，在GOOGLE的分散式GPU伺服器下可能只要一天
3.GOOGLE有數以百計的標記人員
他們的工作就是專門標記圖片、聲音等等
讓我們再來看看GOOGLE另一篇驚世之作
Google 的 WaveNet AI 可以產生出更擬真的合成人聲
https://goo.gl/kcQ3JJ
Google 的 WaveNet AI 可以產生出更擬真的合成人聲
![[圖]]()
目前常見的電腦合成人聲，大致上可以分成兩種：一種是利用一個龐大的樣本資料庫來做組合，另一種是用小的樣本資料（各別的音節），但透過電子的方式去修改它的音調和語速。第一種聽起來會比較自然，但需要大量的時間和精力來準備資料庫，而且也很佔空間；第二種則是雖然比較不佔空間，但用合成的去修改音調，聽起來還是比較 ...
![[圖]](http://o.aolcdn.com/dims5/amp:3d8913a12032a5af88a9bf65569374ce562722ae/t:1200,630/q:80/?url=http%3A%2F%2Fo.aolcdn.com%2Fhss%2Fstorage%2Fmidas%2F5202054042e4191abe049c2cb74fd370%2F204310388%2F515687026.jpg)
https://deepmind.com/blog/wavenet-generative-model-raw-audio/
WaveNet: A Generative Model for Raw Audio | DeepMind
![[圖]]()
This post presents WaveNet, a deep generative model of raw audio waveforms. We show that WaveNets are able to generate speech which mimics any human v ...
![[圖]](https://storage.googleapis.com/deepmind-live-cms.google.com.a.appspot.com/images/wav.width-600.png)
所以GOOGLE的目標很明顯了
要可以即時的進行口語翻譯
相信再過不久GOOGLE就會推出即時口語翻譯的論文...
-----
順便科普一下
現在類神經網路在2016年一日千里要歸功於一位華人
Kaiming He 何愷明
得過2次CVPR best paper award的神人，也是第一次得獎的華人
他今年的在CVPR的最佳論文獎 Deep Residual Learning for Image Recognition
也就是本篇新聞提到的"殘留聯繫"的來源處
他的論文中對於影像辨識的錯誤率只有 3.57%
相對於人類對於相同影像的辨識是 5.1%
在residual connection的幫助下
GOOGLE已經在他們的類神經網路中大量使用residual connection了
我相信明年的Alpha Go應該更恐怖..
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.224.16.136
※ 文章代碼(AID): #1Nw-KTiS (Gossiping)
※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1475077405.A.B1C.html
推 : 該挖個核彈防空壕了1F 09/28 23:44
→ : LSTM如果用在政治、金融、戰爭...可能可以決定歷史演進方向2F 09/28 23:45
推 : Good3F 09/28 23:45
→ : 即時口譯...? 目標是做出比人類完美的機器人還差不多4F 09/28 23:45
→ : 看過電影模仿遊戲就能明白數學模型決定了歷史的方向5F 09/28 23:46
推 : 不可能 光看自駕車車禍就知道了6F 09/28 23:46
→ : 真猛…未來人力需求？？7F 09/28 23:46
→ : Google 根本天網。apple吃屎8F 09/28 23:46
→ : 自駕車AI把其他車輛駕駛都當正常人 結果就是被撞9F 09/28 23:47
自駕車目前使用的類神經網路比起這篇的還算陽春GOOGLE應該積極在改進了
推 : 聽了一下 中文的還是滿GOOGLE小姐的10F 09/28 23:47
我先猜是中文的訓練資料太少了XD推 : 還有幾集可以逃？11F 09/28 23:48
推 : deepmind好強12F 09/28 23:51
推 : 還好偶沒做靜態圖片 科科13F 09/28 23:52
推 : google不4還有開發TPU 比GPU有效率ㄇ14F 09/28 23:52
推 : 微軟這部分怎麼樣??15F 09/28 23:54
→ : 這類東西的研發需要海量的資料，微軟應該也在偷偷收集了16F 09/28 23:55
Kaiming He今年從微軟跳槽到facebook→ : 幹17F 09/28 23:55
推 : google其實就是魔鬼終結者二的Cyberdyne吧！18F 09/29 00:04
推 : CVPR 兩次最佳論文獎真屌爆了… @@19F 09/29 00:04
根本神人推 : 各大軟體商跟社群網路平台資料都很多了，但G跟F最全面20F 09/29 00:05
推 : 推 長知識21F 09/29 00:06
推 : 最終大魔王22F 09/29 00:07
推 : 這太恐怖了23F 09/29 00:07
推 : 類神經的隱藏層未必越多越好，演算速度，over fitting等24F 09/29 00:08
→ : 狀況 不過估狗一堆怪物，應該可以解決
residual connection就是來解決隱藏層越多不會越好的問題→ : 狀況 不過估狗一堆怪物，應該可以解決
推 : Deep learning真的太神26F 09/29 00:10
推 : 有很多奇怪的邏輯閘可以用啊27F 09/29 00:12
※ 編輯: followwar (125.224.16.136), 09/29/2016 00:20:09推 : 要被電腦統治了 人類終於能自由了28F 09/29 00:34
推 : 看來最先受到衝擊的應該是政客29F 09/29 00:36
推 : 啊發夠，稱霸棋壇30F 09/29 00:37
推 : 剛查了一下資料：何愷明，廣東省高考理科狀元，大學就讀31F 09/29 00:46
→ : 於北京清華，碩博班就讀於香港中文大學（？）
→ : （上行打問號是博班不確定...）現在確定博班也是中文大學
→ : 看來台灣和香港的 CS 實力差距越來越大了... @@
推 : 香港的高等教育真的很成功，重點項目 e.g. CS 應數 金融
→ : 這廿年來向上爬升的速度相當驚人... sigh
→ : 於北京清華，碩博班就讀於香港中文大學（？）
→ : （上行打問號是博班不確定...）現在確定博班也是中文大學
→ : 看來台灣和香港的 CS 實力差距越來越大了... @@
推 : 香港的高等教育真的很成功，重點項目 e.g. CS 應數 金融
→ : 這廿年來向上爬升的速度相當驚人... sigh
噓 : 可一堆東西都亂翻成視訊~還有根本沒有的詞視頻= =37F 09/29 01:34
推 : 大神真的強！38F 09/29 01:36
推 :39F 09/29 02:47
推 : 9.2:美國要被中國趕上了40F 09/29 03:06
推 : 幹那我念這麼多年日文系唸爽的唷41F 09/29 05:03
推 : @@42F 09/29 08:44
--
※ 看板: Gossiping 文章推薦值: 1 目前人氣: 0 累積人氣: 1738
作者 followwar 的最新發文:
![]()
1.媒體來源: 中央社 2.記者署名 中央社記者許秩維台北15日電 3.完整新聞標題: 指考試卷寫唐詩畫英雄聯盟角色 違規扣2分 4.完整新聞內文: （中央社記者許秩維台北15日電）大考中心今天審議指 …33F 24推![]()
1.媒體來源: 中央社威靈頓4日綜合外電報導 2.完整新聞標題: DNA推翻前論 萬那杜原住民可能來自台灣 3.完整新聞內文: （中央社威靈頓4日綜合外電報導）今天公布的研究發現，古代DNA揭露大洋洲 …103F 58推![]()
個人是看好接近人類水準的機器翻譯啦 畢竟GOOGLE現在推出了8層的LSTM來做，那16層應該會更好...那100層呢? 不過這類研究也只有GOOGLE做得起來 難點有: 1.唯有GOOGLE手中握有 …42F 28推 1噓- 7/31的 すれちがい美女 是 日本女模 マギー (Maggy) 先奉上影片 すれちがい美女【7月31日（木）】 - YouTube TOKYO MX新番組「999人美女」と「すれちがい美女」がコラボ …4F 4推
- 無聊時思考各種神的實用性以及受歡迎程度 目前出過的神系列: 羅馬神 日本神 大天使 魔神 印度神 北歐神 埃及神 希臘神 中國神 英雄神 三國神 目前覺得第一名應該是埃神，各有千秋，每一隻都能獨當一面 …429F 180推 3噓
點此顯示更多發文記錄
(￣︶￣)ｂ vvanan 說讚！
回列表(←)
分享