顯示廣告
隱藏 ✕
回列表(←)
Disp BBS guest 註冊 登入(i) 線上人數: 431
首頁(home) 上頁(↑) 下頁(↓) 末頁(end)
※ 本文為 warrenchen 轉寄自 ptt.cc 更新時間: 2024-07-22 22:14:04
看板 TY_Research
作者 oopFoo (3d)
標題 [討論] AI模型討論
時間 Sun Jul 21 21:46:32 2024

FourCastNet
程式跟Model Weight
https://github.com/NVlabs/FourCastNet
GitHub - NVlabs/FourCastNet: Initial public release of code, data, and model weights for FourCastNet
[圖]
Initial public release of code, data, and model weights for FourCastNet - NVlabs/FourCastNet ...

 
論文
https://arxiv.org/abs/2202.11214
[2202.11214] FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators FourCastNet, short for Fourier Forecasting Neural Network, is a global data-driven weather forecasting model that provides accurate short to medium-ra ...

 
Fourier + vision transformer。最早成功運用vision transformer?

Pangu Weather
程式跟Model Weight
https://github.com/198808xc/Pangu-Weather
GitHub - 198808xc/Pangu-Weather: An official implementation of Pangu-Weather
[圖]
An official implementation of Pangu-Weather. Contribute to 198808xc/Pangu-Weather development by creating an account on GitHub. ...

 
論文
https://www.nature.com/articles/s41586-023-06185-3
3D mesh + vision transformer。暴力解法，model weight最龐大，1.1G

GraphCast
程式跟Model Weight
https://github.com/google-deepmind/graphcast
GitHub - google-deepmind/graphcast
[圖]
Contribute to google-deepmind/graphcast development by creating an account on GitHub. ...

 
不想login拿weight 可到下面link
https://huggingface.co/shermansiu/dm_graphcast
shermansiu/dm_graphcast ·  Hugging Face
[圖]
We’re on a journey to advance and democratize artificial intelligence through open source and open science. ...

 
論文
https://arxiv.org/abs/2212.12794
[2212.12794] GraphCast: Learning skillful medium-range global weather forecasting Global medium-range weather forecasting is critical to decision-making across many social and economic domains. Traditional numerical weather predicti ...

 
graph + vision transformer。model weight不到200MB

這3個模型，家用電腦就可以輕鬆運算。

GraphCast跟PanguWeather都強調，颱風/颶風/氣旋的路徑預測，AI比傳統運算準確。但沒講的就....

然後最重要的事，AI以後會不會大幅進步？答案是，不會，除非有新的AI演算法，或者找到新的資料來源。

AI(deep learning)要進步，就是要更多的資料，但氣象的資料就這麼多了，每年的新增資料也有限，所以AI天氣的準確度，大概就停滯在這裡吧。

--
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 58.114.66.74 (臺灣)
※ 作者: oopFoo 2024-07-21 21:46:32
※ 文章代碼(AID): #1cdH50ao (TY_Research)
※ 文章網址: https://www.ptt.cc/bbs/TY_Research/M.1721569600.A.932.html
推 aegis43210  : GraphCast真的不錯，只是Deepmind又把重心放到其他1F 07/21 21:52
→ aegis43210  : 領域了
推 mark0204    : 感謝分享3F 07/21 21:54
推 HellFly     : 出道即巔峰的概念嗎4F 07/21 22:07
→ JuiFu617    : 可以了啦，已經不給傳統模式活路5F 07/21 22:08
推 dildoe      : 資料來源就那幾個reanalysis,training結果差很大嘛!6F 07/21 22:26
推 hedgehogs   : 插更多測站放更多氣球取得更細緻資料能再改善嗎7F 07/21 22:39
推 zxc445567   : 這些AI模型都離不開 NVDA H100 還有模組Earth -28F 07/21 22:40
推 shiauber    : AI會進步的....即使演算法不變9F 07/21 23:04
→ shiauber    : 但演算法是會持續進化的
→ shiauber    : 單純算力的增加都會提高準確率
→ shiauber    : 然後隨時都會有新資料進入
→ shiauber    : 會release的只是basic model
→ shiauber    : 真正在評估的都是實時在更新資料的
→ shiauber    : 資料，算力，演算法，都在讓AI更準確
推 handfoxx    : 怎麼可能不會....光AI會自我學習 未來就有無限可能16F 07/21 23:04
AI自我學習？股版看太多了
→ shiauber    : 所以資料要錢 演算法要錢 算力要錢17F 07/21 23:06
推 lsd25968    : data augmentation跟GAN: am i a joke to you?18F 07/21 23:09
什麼樣的discriminator才能GAN？如果有這樣的discriminator，傳統預測早就飛天了。
data augmentation也行不通，LLM已經玩過了。好的curated dataset才有好的AI
→ canandmap   : 砸錢買最強的老黃顯卡RTX4090就有可能吧?19F 07/21 23:10
→ canandmap   : 我有個同事，他的公司電腦就插了4090來算AI的說
推 fajita      : Deep learning把網絡層數加深，相同的資料可以榨出21F 07/21 23:14
→ fajita      : 更多細節特徵，其實對於準確性都大有幫助
推 ryan823520  : 演算法繼續訓練會進化Chatgpt 4o相比前幾代就聰明23F 07/21 23:20
→ ryan823520  : 很多。
推 canandmap   : 嗯，好像真的在培養一個小孩的說25F 07/21 23:30
→ hnjsh       : 除非AI能自創出新的模型，不然用現有的模型去餵能算26F 07/21 23:37
→ hnjsh       : 出來的東西還不是一樣
→ newsnew     : 問題是你每年只有幾個颱風颶風的資料可以訓練28F 07/21 23:50
這就是最大的侷限。DL需要大量正確的data來進步
推 ludwig0201  : AI只會持續進化，而且速度加快，毋庸置疑29F 07/21 23:52
→ ludwig0201  : 你如果有能力預測AI的極限，應該忙到沒時間在ptt發
→ ludwig0201  : 文
→ timidwei    : AI會進化 而且不會累 真的是未來趨勢32F 07/22 00:08
推 kevin0316   : AI以後如果是像黃爸說的 連地面建築物對風的影響都33F 07/22 00:14
→ kevin0316   : 能算進去 那精準度一定是很高的
推 yamelody    : 如果這次路徑真能提早這麼多天精準預測 其實以時間35F 07/22 00:20
→ yamelody    : 序列模型來說已經非常厲害了 同時也達到可提早防颱
→ yamelody    : 的任務
→ OBTea       : 主要是人類用數學模型還不足以描述大氣現象，AI可以38F 07/22 00:22
→ OBTea       : 彌補這部分
推 steven3abc  : 運算能力、模型架構、資料量都能夠讓AI能力提升40F 07/22 00:36
推 orze04      : 氣象你怎用GAN生資料==41F 07/22 00:58
→ orze04      : 每年的資料就只會多那一點點
→ orze04      : 重train會怎樣誰也不保證
→ OBTea       : 但是算力提升應該可以做到更早預測44F 07/22 01:01
→ orze04      : 增加節點數量和網路深度算最直關粗暴的方法了45F 07/22 01:03
→ orze04      : 另外更細部的接近前地形效應，這個還很有潛力
推 aegis43210  : 算力提升不會更早預測，這不是LLM47F 07/22 01:08
推 aegis43210  : 掌握強化學習的方向，使模型遵守物理定律更重要
→ oopFoo      : 現在對AI的期待太高了，AI是好用，但有它的侷限。49F 07/22 06:33
→ oopFoo      : 就像5年前的AI自駕，吹太高了，如果當初簡單
※ 編輯: oopFoo (58.114.66.74 臺灣), 07/22/2024 06:39:40
→ oopFoo      : 開始，只專注高速公路，也許現在早就有普及的自駕51F 07/22 06:42
推 CCNK        : 你有足夠的資料量和數據給他學習 很可怕的52F 07/22 07:50
→ hnjsh       : 放給AI隨機自己去產模型，等等就算出人類應當是三頭53F 07/22 08:00
→ hnjsh       : 六臂這種東西，沒有人類糾正算出來就是一坨垃圾。交
→ hnjsh       : 給隨機的話怎麼不乾脆去廟裡擲杯，反正是一樣的
推 wj12240522  : 16樓標準的普通人思維  問題是有多少東西可以給AI學56F 07/22 09:45
→ wj12240522  :  什麼方法學
→ down        : 我看到了不懂AI的人在談論AI....58F 07/22 09:48
推 wj12240522  : AI算颶風大概就是給定一個曾經出現的颱風，然後給他59F 07/22 09:54
→ wj12240522  : 當時的大氣環境，最後就是不停的給他算，算到最後要
→ wj12240522  : 無限接近吻合當時的真實情形，AI訓練不是普通的機器
→ wj12240522  : 人做事，給他訓練他就會無限變好，要給於懲罰與獎勵
→ wj12240522  : ，除了已發生的真實案例，可以明確的讓算法設計者知
→ wj12240522  : 道如何給予目標獎勵外，要他憑空捏造一個人類都不知
→ wj12240522  : 道正確解答的問題，只會越來越歪像樓上講的一樣算出
→ wj12240522  : 個三頭六臂，按照樓上什麼架構優化 運算算法什麼算
→ wj12240522  : 力進步都根本不是重點
推 canandmap   : 不過AI應該很早就出現了吧?只是因為去年開始嶄露頭68F 07/22 09:57
→ canandmap   : 角，會有人不懂好像也很正常?
推 wj12240522  : 就跟智慧型手機跟平板剛出的時候一堆人吹取代電腦，70F 07/22 09:59
→ wj12240522  : 最後兩者根本是不同類型的工具
推 t95912      : AI這幾年被廠商濫用的結果 就是讓一堆人似懂非懂72F 07/22 10:24
→ t95912      : 好像只要加上AI就是一個很厲害的東西？@@
→ minervava   : 這樓怎麼一大堆普信仔半瓶水響叮噹== 無知還那麼大74F 07/22 11:34
→ minervava   : 聲還以為來到股民討論區
推 ludwig0201  : Ai平台和模型的重大突破也只是去年的事，怎麼老有人76F 07/22 12:21
→ ludwig0201  : 愛扯到祖宗十八代
推 ludwig0201  : 如同工業革命前早有蒸汽機，只是瓦特做了突破性的
→ ludwig0201  : 改良，日後世界就產生重大變革
推 savishu     : 地球平均一年80個熱帶氣旋，每年能餵的資料也不少80F 07/22 12:56
→ savishu     : 吧
→ oopFoo      : 問題是，要減少誤差，你需要多多少資料？減半是需要82F 07/22 13:30
推 KyuubiKulama: 一年80個，觀測的數據抓個50年也才4000筆算少的83F 07/22 13:32
→ oopFoo      : 多50%?多2x?3x?4x?。這幾個model都是用約40年的資料84F 07/22 13:32
→ oopFoo      : 來訓練。你要減半誤差，要多少個40年的資料？
推 djmez       : 一般模型訓練資料大小至少要是feature10倍以上86F 07/22 13:52
→ djmez       : 上面最小的graphcast每個網格點都要474個input fea
→ djmez       : tures了
→ hinajian    : 自駕車真的被吹得很厲害 感覺現在還是會有判斷錯誤89F 07/22 14:27
推 kevin0316   : 自駕車最大的問題不是因為人嗎90F 07/22 14:50
推 nuc1earsub  : 自駕車的問題是車禍責任歸屬，就像有人吹AI看病一樣91F 07/22 15:05
→ nuc1earsub  : 醫療糾紛算誰的?
推 shiauber    : 你可以信與不信 科學的盡頭是玄學93F 07/22 15:20
→ shiauber    : 自駕你隨便google waymo就知道了 =.=
→ shiauber    : 人家都在盈利了
推 snocia      : 然而隨便Google也能看到在加州發生重大車禍96F 07/22 16:09
推 shiauber    : 台灣也天天在車禍 XD97F 07/22 16:51
推 anachronism : AI準，下周股票大漲， 反之。。。98F 07/22 17:00

--
※ 看板: TyPhoon　文章推薦值: 0 目前人氣: 0 累積人氣: 101　
作者 oopFoo 的最新發文:
點此顯示更多發文記錄
分享網址: 複製 已複製
r)回覆 e)編輯 d)刪除 M)收藏 ^x)轉錄 同主題: =)首篇 [)上篇 ])下篇