OpenAI 新突破!為什麼 Sora 可以產出這麼流暢的動畫?你不可錯過的技術文件大解密! - PanSci 泛科學
OpenAI 新突破!為什麼 Sora 可以產出這麼流暢的動畫?你不可錯過的技術文件大解密! - PanSci 泛科學
Sora是一個能以文字描述生成影片的人工智慧模型,由美國人工智慧研究機構OpenAI開發。[1] Hello GPT-4o | OpenAI
Sora這一名稱源於日文「空」(そら sora),即天空之意,以示其無限的創造潛力。[1]其背後的技術是在OpenAI的文字到圖像生成模型DALL-E基礎上開發而成的。[2]模型的訓練資料既包含公開可用的影片,也包括了專為訓練目的而獲授權的著作權影片,但OpenAI沒有公開訓練資料的具體數量與確切來源。[1]
OpenAI於2024年2月15日向公眾展示了由Sora生成的多個高畫質影片,稱該模型能夠生成長達一分鐘的影片。[2]同時,OpenAI也承認了該技術的一些缺點,包括在類比複雜物理現象方面的困難。[3]《麻省理工科技評論》的報導稱演示影片令人印象深刻,但指出它們可能是經精心挑選的,並不一定能代表Sora生成影片的普遍水準。[2]
由於擔心Sora可能被濫用,OpenAI表示目前沒有計劃向公眾發布該模型,而是給予小部分研究人員有限的存取權限,以理解模型的潛在危害。[1][2]Sora生成的影片帶有C2PA後設資料標籤,以表示它們是由人工智慧模型生成的。[1]OpenAI還與一小群創意專業人士分享了Sora,以取得對其實用性的回饋
Sora (人工智慧模型) - 維基百科,自由的百科全書 https://bit.ly/3YNgMaQ
🌟 Sora 是什麼
Sora 是 OpenAI 在繼 ChatGTP/GPT-4 後最新推出的一項前瞻性工具,能夠運用先進的人工智慧技術將文字轉換為影片。這項技術的革命性在於,使用者不需要複雜的影片編輯技能或設備,就能輕鬆製作出引人入勝的影片。Sora AI 震撼登場:OpenAI 文字轉影片工具大公開! https://bit.ly/3X4e6nF
只需輸入文字,Sora 即可生成高品質的影片,包括視覺和音訊,成為內容創作者、行銷人員和教育工作者的最佳選擇。
Sora 能夠創建多種格式的影片,包括動畫、簡報,甚至是短片,這讓它適用於各種應用場景,從企業宣傳到學生教學。
總的來說,Sora 代表了內容創作領域的一大突破,為用戶提供了一個功能強大且易於使用的工具,讓他們能夠輕鬆將想法轉化為引人入勝的影片。
這支影片的 AI 提示:「幾隻巨大的長毛猛犸象正穿越一片雪地,它們的長毛在微風中輕輕飄動,遠處是被白雪覆蓋的樹木和壯觀的雪山,午後的陽光與飄渺的雲朵,太陽高掛在遠方,營造出溫暖的光芒。低角度拍攝驚人地捕捉到這些大型毛茸茸的哺乳動物,呈現出美麗的攝影效果和景深。」
🌟 Sora 的歷史
Sora 是 OpenAI 研發的一項前衛專案,OpenAI 成立於 2015 年 12 月,是一家專注於人工智慧研究的知名實驗室,旨在推動數位智慧,造福社會。
Sora 的概念源自 OpenAI 對自然語言處理和電腦視覺的廣泛研究。團隊最初的目標是開發能夠理解和生成類似人類文字的演算法。隨著計畫的進展,他們開始看到將這項技術應用於影片生成的潛力。
這支影片的 AI 提示:「一隻矮矮的毛茸茸怪獸跪在融化的紅蠟燭旁,細節豐富的紋理和光影效果使得畫面栩栩如生。怪獸用驚奇且探索的眼神凝視著火焰,彷彿是在初次探索這個世界。溫暖色調和燈光的運用增添了畫面的溫馨氛圍。」
如果你想知道 Sora 是如何運作的,那麼下個部分就一定不要錯過囖~
🌟 Sora 如何使用
Sora 的使用方式非常簡單!你只需將想轉換為影片的文字輸入,Sora 將根據你的描述製作出對應的影片。Sora 的運作流程大致可分為 6 個步驟,接下來我們將詳細介紹:
1 輸入文字
使用者提供文字給 Sora ,成為影片的基礎,包括故事情節和對話。文字可詳細或簡潔,概述希望傳達的重點,為後續步驟打下基礎。
2 文字理解
Sora 運用 NLP 算法分析文字,將其拆解成句子、片語和單字。然後,辨識主要想法、主題、人物和動作,確保影片準確反映原始文字的內容和意圖。
這支影片的 AI 提示:「俯瞰著大蘇爾的加拉伊角海灘,海浪猛烈拍打著崎嶇的懸崖。碧藍的海水形成了帶著白浪的浪濤,而夕陽的金色陽光映照著崎嶇的岩石岸邊。遠方有一座帶有燈塔的小島靜靜地矗立在海上,而懸崖邊緣被綠色灌木叢所覆蓋。從道路到海灘的陡峭下降是一幅戲劇性的場景,懸崖的邊緣突出於海面之上。這個景象捕捉了海岸的原始美和太平洋海岸公路崎嶇的景色。」
3 視覺表現
Sora 根據文字內容生成相對應的視覺效果,包括場景、人物、物體和背景。
4 動畫製作與渲染
Sora 對視覺元素進行動畫處理,增添生動感,包括為人物和物體添加動作,創建場景之間的過渡,以及應用效果增強吸引力。
5 音效製作
Sora 會生成配音、音效和背景音樂,讓影片更豐富、更感性,並與視覺效果協調一致。
6 影片輸出
Sora 將視覺和音效元素結合生成最終影片,與原始文字輸入的內容和意圖非常接近,可供分享或進一步編輯。
這段影片的 AI 提示:「一隻卡通袋鼠在迪斯科舞廳跳舞。」
🌟 Sora 可以生成哪些影片類型
Sora 具有多功能算法和先進功能,能夠製作各種不同類型的影片,使其成為許多用途的有用工具,包括營銷、教育和娛樂等。
01 解說影片
以簡單且引人入勝的方式解釋思想或過程,適合教學或介紹新事物。
02 簡報影片
製作類似簡報的影片,包括幻燈片和視覺效果,適合分享資訊。
03 故事影片
製作講述故事的影片,適合娛樂或傳遞資訊。
這支影片的 AI 提示:「一位戴著棕色貝雷帽和眼鏡、頭髮灰白、長著鬍子的六十多歲男士,坐在巴黎的咖啡館裡,他深思著宇宙的歷史。眼睛注視著畫面外經過的人群,他幾乎一動不動地坐著。他穿著羊毛大衣和鈕扣衬衫,給人一種非常教授風的外表。最後,他微微合上嘴巴,露出一絲微笑,彷彿找到了生命之謎的答案。背景是巴黎的街道和城市,光線非常電影化。」
04 促銷影片
製作用於促銷產品或品牌的影片,旨在引起人們的注意並說服他們購買。
05 教學影片
為培訓和教授新技能或程序創建影片。
06 廣告影片
為廣告生成影片,旨在引人入勝並促進產品或服務。
🌟 同場加映:如何為 Sora 寫出優質文案?
想要 Sora 能夠幫你創造出超棒的影片,只需撰寫你希望轉換為影片的文本,然後將其輸入到 Sora 的界面中,Sora 將根據你的文本生成影片。
Sora 創作優質影片的關鍵是你能夠提供高質詳細文案內容,如果撰寫故事或文案對你來說比較困難,你可以嘗試在 iMyFone ChatArt 上尋找靈感,這是一款搭載 ChatGPT 的文案產生器,輕鬆協助你撰寫出優質文案!
iMyFone ChatArt 寫作生成器
ChatArt 的功能介紹:
免費試用:提供免費 10 次的 AI 文案試用機會,讓你在完全免費的情況下生成故事情節。
多種用途:不管聊天腳本、文案、小說,部落格、故事,ChatArt 都應對自如。
支援多次修改:可以細緻調整文案類型、語調、人稱,讓最終產出更符合你的想像與需求。
風格多樣性:能夠生成多種風格的文案,從輕鬆幽默到正式專業,生成不同風格的 Sora 影片。
支援多種語言:支援繁體中文等 13 種不同語言,介面用戶友好,滿足不同語言的創作需求。
支援多種裝置:同時支援桌面端和 App,讓你在各種裝置上都能輕鬆應用其功能。
免費試用創作 線上試用
下面我們將會詳細說明 iMyFone ChatArt 的操作流程:
步驟1:前往 iMyFone ChatArt 官網 並點選你想要產出的文章類型,點選「寫小說」。
選擇故事創作板塊
步驟2:接著,你就可以一一點選右邊的故事風格欄位,你可以直接點擊「生成大綱」以讓它根據你的設定快速撰寫內容,點擊「生成」即可同步在介面右側看到完整的故事內容。
選擇 AI 故事生成風格
步驟3:可以點擊「複製」直接複製內容以運用到其他地方,或者「編輯」直接編輯其中的段落直到你滿意為止。
編輯 AI 故事生成內容
📻 除了文字教學,我們還帶來超直覺的影片教學,快點進來看看吧~
YouTube Video
🌟 Sora 相關問答
關於 Sora,除了上面介紹的幾個方面,很多用戶還對其他問題感興趣,本篇整理了一些大家都想知道的問題來解答,看看有沒有你想知道的呢?
1 Sora 安全嗎?
Sora 很安全啦!OpenAI 一直都在努力確保它的安全性和可靠性。
它會遵循嚴格的監管和控制措施,確保在使用過程中不會有任何意外發生。
2 Sora 適合哪些人使用?
適用於廣泛的用戶,包括內容創作者、營銷人員、教育工作者以及任何希望創建引人入勝影片的人。
它的多功能性和易用性使得不同技術水平的用戶都可以使用。
🌟 結論
以上是關於 Sora 的介紹,希望可以幫你解答一些困惑~
優質細緻的文案是創作精美影片的關鍵,如果在撰寫文案方面需要協助,相信 iMyFone ChatArt 一定可以幫到你喔,快來試試看吧~
Sora AI 震撼登場:OpenAI 文字轉影片工具大公開! https://bit.ly/3X4e6nF
Sora是什麼?為何尚未上市,就震驚好萊塢?全球工作衝擊一次解析
Sora是什麼?為何尚未上市,就震驚好萊塢?全球工作衝擊一次解析 | 遠見雜誌 https://bit.ly/3yNRn5Z
本文出自 2024 / 4月號雜誌 全民搶當碳金富翁
AI廣告有多熱鬧,泡沫化可能性就有多大?
AI廣告有多熱鬧,泡沫化可能性就有多大?
只需隨意寫文字,Sora就能轉化為栩栩如生的短片。這個由OpenAI於近期研發的新AI工具,2月方釋出實測短片,就驚嚇到好萊塢影業大亨,決定暫停擴大自家工作室。到底它功能多強?何時可下載安裝?問世後,誰的工作將不保?誰卻可能靠AI提升競爭力《遠見》彙整業內真實說法,提出解析。
2月中旬,因ChatGPT一戰成名的OpenAI釋出由Sora生成的一系列實測示範短片,瞬間引爆輿論。影業大亨為此暫止耗資八億美元的工作室擴建計畫,諸多學者提出技術恐遭濫用、左右民主大選的警告。業界人士在分析中自問:這為影片製作產業敲響了喪鐘嗎?
而引發這些反應的AI模型「Sora」,甚至還沒正式開放大眾使用。
在此之前,其實業界早已出現AI短片生成工具,例如Runway、Pika等,就已經證實可以透過AI來協助生成影片,並具備一定程度的微調力。例如,使用Runway的動態筆刷,可以控制特定影像範圍的移動方向。
但Sora將影片生成戰役提升至前所未見的層級。先前亮相的模型大多只能生成3~4秒或十來秒的影片,Sora可據單次指令生成長達60秒的短片。且畫面更加細緻、仿真,人物動作也更加流暢。簡單來說,Sora生成的影片更像是真實世界的取景,人眼幾乎難以辨識這是AI模型生成的內容。
Sora生成的影片更像是真實世界的取景,人眼幾乎難以辨識這是AI模型生成的內容。取自OpenAI
Sora生成的影片更像是真實世界的取景,人眼幾乎難以辨識這是AI模型生成的內容。取自OpenAI
但這對非從事影音產業的人來說,具有什麼意義?60秒的短片除了上傳抖音等平台,還能做什麼?有了Sora,下一步會是什麼?
Sora背後原理解析
Sora源自日文「天空」,有創造潛力無窮的含意。Sora可以文字指令、單張圖像或影片為基礎,生成複雜場景與其中的動態角色。據OpenAI解釋,結合了大語言模型與擴散模型的Sora「不僅理解使用者的指令內容,也理解這些事物在物理世界中存在的狀況」。
這或許就是Sora生成的內容看來如此真實的原因。現實世界的物體運動具有延續性,人類孩童自實際經驗中慢慢學習物理定律。例如陽光能穿透玻璃,但不會穿過水泥牆壁。在池塘拍打水面,漣漪會持續往外推送、但逐漸變得微弱。Sora的神經網路也觀看了非常大量的影片,從中學習現實世界的運作方式。
因而,它能夠仿真地生成「穿過東京郊區的火車車窗上的倒影」,也能生成「海洋生物優游於沉入水中的紐約市區」這樣的虛構場景。
Sora能夠仿真地生成「海洋生物優游於沉入水中的紐約市區」這樣的虛構場景。取自OpenAI
Sora能夠仿真地生成「海洋生物優游於沉入水中的紐約市區」這樣的虛構場景。取自OpenAI
未來3年,20萬個娛樂產業工作機會將因AI受衝擊
不難想像影片創作者受到的心理衝擊。Sora預覽短片才發布短短天,好萊塢知名製片及導演派瑞(Tyler Perry)就受訪透露,自己已經中止了籌備4年的工作室擴張計畫。他指出,有了這樣的AI生成力,搭建場景、甚至是出外景可能都不再必要,而這將對娛樂產業的就業市場帶來廣泛影響。
派瑞對《好萊塢報導》(THR)表示,當他看著Sora生成的內容時,「我立刻想到產業中每個會因此受到影響的人……我想影響會遍及我們產業的每個角落。」他進一步建議應有某些保護娛樂產業的規範,「否則我看不出來我們如何能存活。」
擔憂的人絕非只有他一位。根據美國概念藝術協會與動畫協會在2023年底委託進行的一項普查,全美娛樂產業接受訪談的300位主管,認為未來3年將有20萬個工作受到AI衝擊。其中視覺特效與後製工作可能最受威脅,但音效工程師、配音員也料將受到影響。超過九成受訪者認為,生成式AI在娛樂產業中的角色將愈發吃重。
Sora尚未問世,原來是OpenAI還沒搞定業內人士?
其實,Sora尚未正式上市的其中一個原因,是OpenAI還在徵詢設計師、製片人等業界人士回饋,以了解Sora可如何輔助、賦能數位內容製作工作。
樂觀者認為,Sora這類AI工具,讓影音內容創作權,不再把持於少數擁有大筆資金的工作室手中,加速了藝術創作的民主化。
例如,即便Sora目前還不能下載或安裝,已有一群充滿熱情與實驗精神的藝術家善加利用手上各類工具,以零元預算將50段AI生成影片拼接成一部完整長片《Our T2 Remake》。這部戲仿《魔鬼終結者2》(Terminator 2: Judgment Day),有趣的是每隔2~3分鐘,就會過渡到另一種影像風格,但敘事線仍保持一致。
讓AI成為你的虛擬策略師>五星好評課程影片熱賣中
影/《Our T2 Remake》預告片
誰將因Sora獲益?個人內容創作者和新創
另外,資源較有限的獨立網路內容生產者,倒是有可能因為這波生成AI風潮獲益。
如為線上創作者打造的學習平台「Creator Now」在2023年9月對2千多名創作者的普查顯示,高達97%受訪者已在創作過程中使用AI。將近六成創作者會與ChatGPT等AI機器人激盪創意靈感,44%受訪者肯定AI提升了生產力。
但影片生成模型絕不僅只可造福線上創作者。在Sora展示影片公開後不久,北京大學與深圳AI公司兔展便聯合發起「Open-Sora」計畫,欲透過開源社群力量,複製出Sora模型。
兔展執行長董少靈直言,該計畫的目標不是為了讓人人都能以低成本生成高品質影片,抖音上的娛樂短片「不是我們的所思所想」。他解釋,「我們希望深植中國產業,賦能中國產業升級。」
軟體及網站開發公司竑盛科技創辦人康程泰觀察,AI生成影片的商業性應用於台灣尚屬萌芽階段,但社群平台上已經相當盛行。從寫程式到做簡報,竑盛自身工作流程也已引入多種AI工具,「大家已經非常習慣用AI工具做輔助。」
康程泰表示,目前軟體與數位內容產業對這些AI生成力特別有感,但只要是涉及電腦作業的任務,實則都在影響範圍內。「以前『會』與『不會』是兩件事,但未來這兩者的差距會變得非常小。」康程泰指出,「當每個人都『會』,你要怎麼做出差異性?」
OpenAI技術長坦承,Sora仍可能遭濫用
OpenAI技術長穆拉蒂(Mira Murati)承認,降低Sora遭濫用的風險也是延遲發布模型的原因之一。目前團隊還在研擬限制生成的規範,並設法降低生成成本。預計2024年可對大眾釋出。
如果2023年是影片生成模型嶄露頭角的一年,2024年可能是競爭白熱化的一年。矽谷知名創投a16z在AI領域的投資夥伴摩爾(Justine Moore)盤點,在2023年初,還沒有任何文字轉影片的模型存在。到年末時,已有超過20個公開產品。摩爾認為,這般進展顯示我們正處於大規模轉型的早期階段。
OpenAI技術長穆拉蒂承認,降低Sora遭濫用的風險也是延遲發布模型的原因之一。取自OpenAI
OpenAI技術長穆拉蒂承認,降低Sora遭濫用的風險也是延遲發布模型的原因之一。取自OpenAI
目前尚有缺陷
乍看下近乎完美的Sora內容,依然有著不少缺陷與錯誤。行駛在路上的車輛會突然變色,被牛腳踩到的瓷杯沒有破碎,手指過多的問題也沒有完全解決。仔細觀察,影片中人物的肢體動作依然有些奇怪,不像真人活動的樣態。
但許多人不會如此細心地審視在網路上隨手滑到的影片,更別提是花費額外心力檢查影片真實性。因而,就算有數位浮水印等標示機制,許多學者仍憂心假政見、假醜聞影片會輕易流竄,左右民主選舉,包括11月將登場的美國總統大選。
從ChatGPT問世開始,一波波的AI取代人類焦慮言論,已在網上蔓延。不過,早在2016年,南韓圍棋棋王李世乭已經比絕大多數人更早親身體會過AI的威力。
在五戰四敗不敵AlphaGo後,李世乭於三年後宣布退休。他對媒體表示,引退的一大原因是他了解到無論自己多麼努力勝過其他棋士,他依然不是世界最強,因為「有一個東西是無法被擊敗的」。
Sora可生成高度真實的影片,這確實令人印象深刻。但若一切順利,它未來能做的事將比這多上許多。也許在不久的未來,各行各業的專業人士,都有機會體會到李世乭當年在圍棋棋盤上的感受。Sora是什麼?為何尚未上市,就震驚好萊塢?全球工作衝擊一次解析 | 遠見雜誌 https://bit.ly/3yNRn5Z