Meta 的 Movie Gen 製作令人信服的 AI 影片剪輯

Meta 的 Movie Gen 製作令人信服的 AI 影片剪輯


Meta 剛剛宣布了自己的專注於媒體的人工智慧模型,稱為 Movie Gen,可用於生成逼真的視訊和音訊剪輯。

該公司分享了用 Movie Gen 生成的多個 10 秒剪輯,其中包括一隻 Moo Deng 式的河馬寶寶四處遊動,以展示其功能。雖然該工具尚未可供使用,但 Movie Gen 的這項公告是在其 Meta Connect 活動之後不久發布的,該活動展示了新的和更新的硬體以及其大型語言模型 Llama 3.2 的最新版本。

除了產生簡單的文字到影片剪輯之外,Movie Gen 模型還可以對現有剪輯進行有針對性的編輯,例如將物體添加到某人的手中或更改表面的外觀。在 Meta 的一個範例影片中,一名戴著 VR 耳機的女性看起來像是戴著蒸氣龐克雙筒望遠鏡。

人工智慧生成的視頻,根據提示“讓我成為一名畫家”製作。

由元提供

人工智慧生成的視頻,提示“一位女 DJ 旋轉唱片。她穿著一件粉色夾克,戴著巨大的耳機。有一隻獵豹”
就在那個女人旁邊。

由元提供

使用 Movie Gen 可以在影片旁邊產生音訊片段。一輛跑車的引擎發出咕嚕聲,輪胎在賽道上飛馳時發出刺耳的聲音,一條蛇沿著叢林地面滑行,伴隨著令人懸念的喇叭聲。

Meta 在周五發布的一份研究論文中分享了有關 Movie Gen 的更多細節。 Movie Gen Video 由 300 億個參數組成,而 Movie Gen Audio 由 130 億個參數組成。 (模型的參數數量大致與其能力相對應;相比之下,Llama 3.1 的最大變體有 4050 億個參數。)Movie Gen 可以製作長達 16 秒的高清視頻,Meta 聲稱它優於競爭模型整體視頻品質.

今年早些時候,執行長馬克·祖克柏展示了Meta AI 的Imagine Me 功能,用戶可以上傳自己的照片,並透過在Threads 上發布自己淹沒在金鍊中的AI 圖像,在多個場景中進行角色扮演。 Movie Gen 模型可以實現類似功能的視訊版本 – 將其視為一種類固醇的 ElfYourself。

Movie Gen 接受了哪些資訊的訓練? Meta 的公告中並未明確具體細節:“我們結合許可和公開可用的數據集來訓練這些模型。”對於生成型人工智慧工具來說,訓練資料的來源以及從網路上獲取哪些內容是公平的仍然是一個有爭議的問題,而且公眾很少知道使用哪些文字、視訊或音訊剪輯來創建任何主要模型。

看看 Meta 需要多長時間才能使 Movie Gen 廣泛可用,將會很有趣。該公告部落格含糊地暗示了「未來可能發布的版本」。相比之下,OpenAI 在今年稍早宣布了名為Sora 的人工智慧視訊模型,但尚未向公眾開放,也沒有透露任何即將發布的日期(儘管《連線》雜誌確實收到了該公司的一些獨家Sora 剪輯,用於調查偏見) )。

考慮到 Meta 作為社群媒體公司的傳統,由 Movie Gen 支援的工具最終可能會開始出現在 Facebook、Instagram 和 WhatsApp 內部。 9 月份,競爭對手谷歌分享了計劃,計劃明年某個時候在其 YouTube Shorts 中向創作者提供其 Veo 視頻模型的各個方面。

雖然大型科技公司仍在推遲向公眾全面發布視訊模型,但您現在可以嘗試 Runway 和 Pika 等小型新興新創公司的 AI 影片工具。如果您曾經好奇看到自己被液壓機卡通般地壓碎或突然融化在水坑里會是什麼樣子,請嘗試一下 Pikaffects。



Source link

More From Author

美國港口罷工結束。這對於運輸和航運股票來說意味著什麼。

美國港口罷工結束。這對於運輸和航運股票來說意味著什麼。

iRobot Roomba 吸塵器和拖把機現最高可享 420 美元

iRobot Roomba 吸塵器和拖把機現最高可享 420 美元

Leave a Reply

Your email address will not be published. Required fields are marked *

Recent Comments

No comments to show.

Categories