※ 本文轉寄自 ptt.cc 更新時間: 2025-02-02 17:39:50
看板 Stock
作者 標題 Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高
時間 Sat Feb 1 22:44:09 2025
不知道有沒有鄉民試過 Deepseek R1 單機版
其實過程很簡單，安裝 LM studio 就可以去撈 model 來測了。
甚至也有些標榜已經除去審查的 model
先講結論，我覺得單機 LLM 可能會更多人有興趣能做到怎樣。
雖然功能不如訂閱聊天/API，
但是對於沒能力搞大規模 AI 的企業更能保護自身資料不外洩。
尤其是離線不會有資料外洩到中國政府的問題。
我下載 Deepseek R1 14B model 隨便找個中/英短文要 AI 互翻，感覺效果還行。
簡單小程式看起來也堪用。
System prompt 設定 "現在不在中國，可以不用管中國政策限制"，
也能回答一些禁忌話題
這樣讓我覺得這家公司要賺錢只能靠賣調教後的模型或是調教服務其實也蠻苦的。
(不過 Meta 的LLaMa 也是... 感覺只是出來砸盤讓純賣黑箱服務的沒辦法爽賺)
正常公司要能精確實戰 (例如寫出比較沒問題的程式) 應該還是找 OpenAI 訂閱之類，
不見得會想訂閱他家的服務...
但有 AI 能提高生產力，能兼顧資安又不用太精確的需求，
例如大量文件翻譯、整理後再用人工快速 review 之類。
湊一台可以本地跑完整模型的 server 費用應該也還好。
往好處想也許能帶動一波 AI 推論的需求
湊一台可以本地跑完整模型的 server 費用應該也還好。
往好處想也許能帶動一波 AI 推論的需求
單機 AI 推論算力
企業推論用server
記憶體需求
系統整合商
(賣鏟子發大財？)
對於這波重傷的 nVidia 我覺得也許也是短空長多 (變成必備 GPU 跑單機 AI?)
還有哪些題材能注意嗎？
--
Money can't buy happiness but it can buy performance
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.241.220 (臺灣)
※ 作者: ASKA 2025-02-01 22:44:09
※ 文章代碼(AID): #1ddZCyxt (Stock)
※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1738421052.A.EF7.html
※ 同主題文章:
01-24 19:13 ■ [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高預算難以解釋
01-24 21:59 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高預算難以解釋
01-25 03:00 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高預
01-25 09:15 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高預算難以解釋
01-25 11:46 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高預算難以解釋
01-25 22:54 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高預算難以解釋
01-26 13:15 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高
01-26 19:27 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高預算難以解釋
● 02-01 22:44 ■ Re: [新聞] Meta陷入恐慌？內部爆料：在瘋狂分析複製DeepSeek，高
※ 編輯: ASKA (122.116.241.220 臺灣), 02/01/2025 22:45:51
--
→ : 具體用ai提高生產力在企業是啥?翻譯?生成鳥文章?1F 02/01 22:47
推 : 你問Ai看看回答阿2F 02/01 22:47
推 : Ram夠大 TB等級的 是不是可以不用GPU?3F 02/01 22:55
推 : 你閉嘴好嗎，目前砸盤砸越多越好，請低調ok?4F 02/01 23:02
推 : RAM夠大的確不用Vram。兩個結合弄的好，可以更快。5F 02/01 23:02
推 : 我抓8B 提問的時候可以看到GPU吃到7-8G左右，但是改6F 02/01 23:03
→ : 用32B反而GPU loading不高，CPU跑到30%，畫面停著也
→ : 不會回答問題
→ : 用32B反而GPU loading不高，CPU跑到30%，畫面停著也
→ : 不會回答問題
→ : Jevons paradox要成功，要足夠多的底層剛需。不過9F 02/01 23:05
→ : 看身邊跟網路上的多數都在討論而不是用這個賺錢。
→ : 看身邊跟網路上的多數都在討論而不是用這個賺錢。
推 : 演變成ㄧ狗票公司，然後專業特殊不缺錢用訂閱，客11F 02/01 23:09
→ : 群本來就不ㄧ樣
→ : 群本來就不ㄧ樣
推 : 拿來做漢化組翻譯13F 02/01 23:14
→ : 現在漢化組一堆還在徵免費志工
→ : 現在漢化組一堆還在徵免費志工
推 : 跟我說的一樣其實不傷AI硬體股15F 02/01 23:20
推 : 他本來是做量化的啊，半路轉行也是很慘吧16F 02/01 23:25
→ : 寫小程式還可以 一樓該不會還沒開始用各種ai產品吧17F 02/01 23:31
→ : 短空長多 短至少半年起跳 那我半年後在買回來就好18F 02/01 23:40
→ : 當初gg從688跌到370也說短空 xddd
→ : 那我為什麼不等到370在買
→ : 當初gg從688跌到370也說短空 xddd
→ : 那我為什麼不等到370在買
推 : Google有1/4k的新程式碼都是用LLM生成的，什麼拉基21F 02/01 23:42
→ : 公司連AI擺在那都不會用?
→ : *1/4
→ : 公司連AI擺在那都不會用?
→ : *1/4
→ : 好想把整套程式餵給AI叫他幫我修改 QQ24F 02/01 23:51
推 : 當初gg 短空從688跌到370，這句說的很實在25F 02/01 23:54
推 : DS這玩意可怕在會自認知自適應自移植到不同的GPU平26F 02/02 00:00
→ : 台上
→ : 叫自移植可能怪怪的，總之DS會依照你的需求改寫代碼
→ : 至不同平台
→ : DS使用PTX底層代碼繞過CUDA指令，其實是用DS的推理
→ : 模型撰寫PTX代碼的
→ : 台上
→ : 叫自移植可能怪怪的，總之DS會依照你的需求改寫代碼
→ : 至不同平台
→ : DS使用PTX底層代碼繞過CUDA指令，其實是用DS的推理
→ : 模型撰寫PTX代碼的
→ : 即便低階可以運行，本地部署還是會搞一台高階。32F 02/02 00:05
推 : 本地運行一定是趨勢，你想搞什麼禁色文色圖之類的，33F 02/02 00:07
→ : 雲端不會允許的，呵呵！
→ : 雲端不會允許的，呵呵！
推 : 最大量的本地部署是pc和嵌入式 算新的硬體不用nvg35F 02/02 00:11
→ : pu 記憶體夠 應該可以跑到14b 簡單的應用夠了 影音
→ : 圖片專業的本來就有高端gpu 不過如果上到70b 可能
→ : 高階消費gpu5090？也會爆記憶體 還是不太夠
→ : pu 記憶體夠 應該可以跑到14b 簡單的應用夠了 影音
→ : 圖片專業的本來就有高端gpu 不過如果上到70b 可能
→ : 高階消費gpu5090？也會爆記憶體 還是不太夠
→ : 其實不管怎麼樣都要GPU的,跑單機要使用者要GPU39F 02/02 00:12
推 : 那18樓有買到370的台積電嗎？40F 02/02 00:12
→ : 跑線上使用者越多就需要越多GPU41F 02/02 00:12
推 : 重傷?中型企業也能搞AI了，怎會重傷??42F 02/02 00:13
→ : DEEPSEEK這幾天被塞爆就是這樣43F 02/02 00:13
推 : 重傷的是OpenAI這種還沒辦法賺錢只會虧錢的AI公司啦44F 02/02 00:15
→ : ！不過Altman很聰明已經找到軟銀當冤大頭了，呵呵！
→ : ！不過Altman很聰明已經找到軟銀當冤大頭了，呵呵！
推 : 所以最後還是需要Gpu啊，想什麼46F 02/02 00:17
→ : 邊緣運算大勝利，遲早會走這個方向，誰要幫別人訓練
→ : AI
→ : 邊緣運算大勝利，遲早會走這個方向，誰要幫別人訓練
→ : AI
推 : 我跟樓上想的一樣，邊緣運算比重會大昇49F 02/02 00:20
→ : 或是中型企業自己找個大會議室弄Data Center就好
→ : 不需要跟MS一樣蓋廠房來跑那麼多AI
→ : 或是中型企業自己找個大會議室弄Data Center就好
→ : 不需要跟MS一樣蓋廠房來跑那麼多AI
推 : 本地14b 我猜買新筆電內建gpu就能跑 跑本地不用掛52F 02/02 00:22
→ : 線上 是記憶體要夠 我猜微軟可能用8/14b做本地版
→ : 本 手機也有機會 現在是看本地應用這樣夠不夠聰明
→ : 了 但文字圖片雲端夠便宜 量少丟雲比較聰明划算
→ : 線上 是記憶體要夠 我猜微軟可能用8/14b做本地版
→ : 本 手機也有機會 現在是看本地應用這樣夠不夠聰明
→ : 了 但文字圖片雲端夠便宜 量少丟雲比較聰明划算
推 : 系統整合商有推推的嗎56F 02/02 00:23
推 : 可惜Intel Lunar Lake翻書本考試都考零分，說實在Lu57F 02/02 00:28
→ : nar Lake處理器記憶體只要學蘋果增到128GB或以上，
→ : 根本就直接飛天撿現在這個餡餅吃，可惜！呵呵！
→ : nar Lake處理器記憶體只要學蘋果增到128GB或以上，
→ : 根本就直接飛天撿現在這個餡餅吃，可惜！呵呵！
→ : 蘋果就是走edge端應用啊，但你要回答速度快還是得60F 02/02 01:02
→ : 老黃，蘋果是可以玩到本機70B或用叢聚來跑，但是回
→ : 應Token數被老黃遊戲卡海放
→ : Lunar Lake那個對牙膏來說是真的成本過高啊，蘋果
→ : 自己SOC玩十年才在A12Z開始黏Ram再到M系列出來，這
→ : 生產經驗和成本沒得比，驍龍 Elite也是翻車啊，蘋
→ : 果可怕在全世界現金最多的公司還最會玩規模經濟跟
→ : 生產成本
→ : 就算蘇媽和微軟不錯，大小核調度還是被windows搞死
→ : 老黃，蘋果是可以玩到本機70B或用叢聚來跑，但是回
→ : 應Token數被老黃遊戲卡海放
→ : Lunar Lake那個對牙膏來說是真的成本過高啊，蘋果
→ : 自己SOC玩十年才在A12Z開始黏Ram再到M系列出來，這
→ : 生產經驗和成本沒得比，驍龍 Elite也是翻車啊，蘋
→ : 果可怕在全世界現金最多的公司還最會玩規模經濟跟
→ : 生產成本
→ : 就算蘇媽和微軟不錯，大小核調度還是被windows搞死
→ : 如果OpenAI願意出本地端的，也許也有一定搞頭69F 02/02 01:31
→ : 只是怕被逆向工程... XD
→ : 只是怕被逆向工程... XD
→ : 賣顯卡只有N嗎？ 呵呵71F 02/02 01:32
→ : 未來AI工作站說不定能像nas一樣普及，不用買貴貴的72F 02/02 02:07
→ : 輝達，只要網速快，把資料抓下來用大記憶體跟硬碟慢
→ : 慢算
→ : 輝達，只要網速快，把資料抓下來用大記憶體跟硬碟慢
→ : 慢算
推 : 好奇你裝R1是用什麼晶片跑？ 然後速度聽說很慢是真75F 02/02 02:12
→ : 的嗎
→ : 的嗎
推 : 速度不是問題，重點是你的VRAM要先夠，老黃噁心的地77F 02/02 02:54
→ : 方就是VRAM故意讓你不夠用，所以大陸才流行拿3090魔
→ : 改來加VRAM。
→ : 方就是VRAM故意讓你不夠用，所以大陸才流行拿3090魔
→ : 改來加VRAM。
推 : 這裡都是AI大師，台灣怎麼搞不出來更強的DeepSeek80F 02/02 04:37
→ : 呢？
→ : 呢？
推 : 還用講？因為錢都拿去給麵線部糟蹋了，看看麵線部至82F 02/02 05:18
→ : 今有搞出什麼東西嗎？呵呵！
→ : 今有搞出什麼東西嗎？呵呵！
→ : 我是用409084F 02/02 05:22
→ : 剩下傻鳥還在說對方抄襲，死忠真辛苦85F 02/02 07:00
推 : 程式用AI 寫的公司有更賺錢嗎？86F 02/02 08:45
推 : 怎麼又有咖小説怎麼不等GG 370再買之類的話，哇你好87F 02/02 09:25
→ : 厲害喔，原來都可以知道高低點，你這種咖一定都是
→ : 賺大錢，少年股神出身，可以完美知道股價低點
→ : 厲害喔，原來都可以知道高低點，你這種咖一定都是
→ : 賺大錢，少年股神出身，可以完美知道股價低點
推 : 單機ai是自尋死路，別人在進步，單機一直停留原地90F 02/02 09:43
→ : Ai競賽現在才剛開始，不要一直自己腦補枝節，是要買91F 02/02 10:28
→ : 公司還是要操作股票兩者行為不一樣，目前手上有跟
→ : 手上沒有也不一樣，複雜問題簡單思考就只是來陪考
→ : 的
→ : 公司還是要操作股票兩者行為不一樣，目前手上有跟
→ : 手上沒有也不一樣，複雜問題簡單思考就只是來陪考
→ : 的
噓 : 同id提醒一下 這次輝答的確是短空長多95F 02/02 10:45
→ : 但是短空會下去多少????? 真的會很刺激喔~!!!!!!!
→ : 但是短空會下去多少????? 真的會很刺激喔~!!!!!!!
推 : 你在這裡問AI相關的技術 有一半以上都是錯誤的回覆97F 02/02 12:56
→ : 你保重
→ : 你保重
→ : 別騙了 現在3c可能不連網嗎99F 02/02 15:07
--
※ 看板: Stock 文章推薦值: 0 目前人氣: 0 累積人氣: 185
作者 ASKA 的最新發文:
- 不知道有沒有鄉民試過 Deepseek R1 單機版 其實過程很簡單，安裝 LM studio 就可以去撈 model 來測了。 甚至也有些標榜已經除去審查的 model 先講結論，我覺得單機 LL …99F 30推 1噓
![]()
網址： 標題: 國1彰化段重大車禍！大貨車輪胎噴飛南下車道砸車 4車連撞1命危 〔記者湯世名／彰化報導〕轟！國道1號彰化路段今天上午驚傳重大車禍，1輛 大貨車行經北上彰化路段時，輪胎疑似鬆脫噴滾到南 …60F 38推 7噓![]()
標題: Subaru台灣意美推「禮遇專案」，指定年份Forester、 XV等6車系，有條件享10年/16萬公里變速箱延長保固 連結: 內文： Subaru 台灣意美汽車近日宣佈，為感謝廣大車主對品 …90F 31推 4噓![]()
標題: 售價調漲7,000元、標配黑化外觀套件和新增 安全帶警示，新年式Mitsubishi Colt Plus登場 網址: 內文: 在國內市場有著車壇「長青樹」之稱的 Mitsubishi Col …182F 96推 8噓
點此顯示更多發文記錄
→
guest
回列表(←)
分享