※ 本文轉寄自 ptt.cc 更新時間: 2023-03-24 19:43:48
看板 C_Chat
作者 標題 [Vtub] AI是不是可以做即時字幕了？
時間 Fri Mar 24 17:16:39 2023
如題
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
![[圖]](http://i.imgur.com/99Wg6Qsh.jpg)
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.21.189 (臺灣)
※ 作者: wei115 2023-03-24 17:16:39
※ 文章代碼(AID): #1a7MfwIk (C_Chat)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1679649402.A.4AE.html
→ : yt不是早就有即時生成字幕了1F 03/24 17:18
→ Julian9x9x9 …
本來機器字幕辨識度就有問題，加上機器翻譯 根本看不出要說什麼
可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊
如果直接對字幕進行翻譯
準確度應該會比現在googl翻譯高很多，至少我感覺至少可讀了
→ : 那就變雅婷逐字稿了3F 03/24 17:18
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:21:00→ : 即時字幕有個問題 不同文法的字幕斷句4F 03/24 17:19
推 : 會議軟體已經有即時翻譯了5F 03/24 17:19
→ : 像是日文動詞放後面 不講到最後不知道這句多長 然後要切6F 03/24 17:19
→ : 成合適的長度放回去原本畫面裡
→ : 成合適的長度放回去原本畫面裡
推 : 早就有了吧 實況有種插件就是即時字幕+機翻8F 03/24 17:20
→ : 所以文章比較適合翻譯 字幕不適合9F 03/24 17:20
GPT有上下文的觀念 這應該是他擅長的領域推 : 到時候給你亂加料10F 03/24 17:21
→ : 為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全11F 03/24 17:22
→ : 不相干的東西出來
因為他不會連網 也沒有視覺 GPT的世界只有文字→ : 不相干的東西出來
（他處理圖像就像MUD遊戲一樣 有另外一個AI看圖，用文字描述，然後再餵給GPT處理）
所以你給他網址他就 隨便掰一個答案給你
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16
推 : 你都總結了怎麼即時==13F 03/24 17:23
推 : 不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間14F 03/24 17:23
→ : 軸，效果奇差，再翻譯成中文一定更破
→ : 軸，效果奇差，再翻譯成中文一定更破
推 : 因為chatgpt沒資料 你問他他當然無法回答16F 03/24 17:23
→ : 更不用說Miko，有時候還偵測成韓文17F 03/24 17:24
→ : 這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的18F 03/24 17:24
→ : 我之前放一個兒童共同注意力的影片，他講成什麼韓國愛19F 03/24 17:24
→ : 心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
→ : 心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
推 : 即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識21F 03/24 17:25
→ : yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比22F 03/24 17:27
→ : 較少 因為可以直接1對1換詞就好
→ : 較少 因為可以直接1對1換詞就好
推 : 我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行24F 03/24 17:28
推 : 看爽的沒差 但要求正確性就無法 如果全信被誤導的25F 03/24 17:28
→ : 機會也不小 就
→ : 看目的為何
→ : 機會也不小 就
→ : 看目的為何
推 : 還需要時間發展30F 03/24 17:30
→ : 英文的V說不定可以
→ : 英文的V說不定可以
推 : 要即時應該有困難 可是反正影片都是上傳好的只要轉一次就32F 03/24 17:31
→ : 好 so...
→ : google的廣告以外的商業模式真的很糞 像這種都是商機可以
→ : 做的結果你在那邊跟微軟耗@@
→ : 好 so...
→ : google的廣告以外的商業模式真的很糞 像這種都是商機可以
→ : 做的結果你在那邊跟微軟耗@@
推 : 怎就有了36F 03/24 17:32
推 : 英文的已經可以接受了37F 03/24 17:32
推 : 你38F 03/24 17:34
→ : 目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
→ : 熟。更複雜的技術開發者會著重在理解意思甚至是回應問
→ : 題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
→ : 目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
→ : 熟。更複雜的技術開發者會著重在理解意思甚至是回應問
→ : 題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
推 : 微軟之後要推的網路會議助理就可以語音轉文字，還42F 03/24 17:34
→ : 可以幫你寫會議紀錄
→ : 可以幫你寫會議紀錄
→ : 記得日、英好像可以即時44F 03/24 17:36
→ : 其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難45F 03/24 17:36
→ : 另外你貼的這功能，我有試過開日本YT影片，然後用e46F 03/24 17:37
→ : dge ai要他總結這影片在講啥。他還真的去網路搜尋
→ : 搞出來
→ : dge ai要他總結這影片在講啥。他還真的去網路搜尋
→ : 搞出來
推 : PR：…49F 03/24 17:38
推 : 都看過人直播即時中翻日的了50F 03/24 17:38
推 : 我看過有人直播是一整排不同語言的字幕，但準確率普通51F 03/24 17:43
→ : 。
→ : 。
→ : 日本直播我看過不少有即時日文字幕加英文翻譯的53F 03/24 17:45
推 : 主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第54F 03/24 17:53
→ : 一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
→ : 的作者做到對答如流甚至互嘴
→ : 一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
→ : 的作者做到對答如流甚至互嘴
![[圖]](http://i.imgur.com/I12t35mh.jpg)
推 : 我期待即時口譯機59F 03/24 17:59
→ : @johnny360F 03/24 18:09
→ : 總覺得教育AI比教育小孩還有成就感了...61F 03/24 18:10
→ : 研發影片翻譯應該是最吃力不討好的吧，太容易露餡了62F 03/24 18:21
→ : 再兩三年真的是就不用學外語了63F 03/24 18:35
→ : 英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去64F 03/24 19:21
→ : 而已
→ : 而已
--
※ 看板: ACG 文章推薦值: 0 目前人氣: 0 累積人氣: 85
回列表(←)
分享