Tidligere denne m?neden lanserte OpenAI Sora, en tekst-til-videomodell som kan lage AI-genererte videoer ut fra skriftlige instruksjoner.
Sora er i stand til ? generere komplekse scener med flere karakterer og bevegelser, samtidig som den forst?r hvordan detaljene i brukerens tekst eksisterer i den fysiske verdenen.
Og selv om Sora forel?pig bare er tilgjengelig for et begrenset antall red teamers, har hypen rundt selskapets evne til ? skape sv?rt realistiske og detaljerte bilder vakt stor oppmerksomhet.
Derfor bestemte vi oss for ? se p? noen av de beste eksemplene p? verkt?yet i aksjon – ni fantastiske AI-genererte videoer laget med Sora.
Dette inkluderer en gjennomgang av hva hver enkelt video gjorde riktig (og galt), og, der det er mulig, et sammendrag av den opprinnelige oppfordringen, eller ledeteksten, – kjent som “prompt” (oversatt til norsk).
Det viktigste ? ta med seg
9 av de beste AI-genererte videoene laget med Sora
1. Kvinnen i r?dt
Den mest kjente AI-genererte videoen som hittil er laget med Sora, er OpenAIs reklamevideo, som viser en kvinne i skinnjakke og r?d kjole som g?r rundt i Tokyos gater.
I videoen kan man se henne g? gjennom et pulserende bymilj? med fotgjengere som beveger seg i bakgrunnen. Alle detaljene i videoen, helt ned til sm? elementer som det v?te gulvet, f?r det til ? virke som om klippet er ekte.
Det eneste vi la merke til, var den unaturlige bevegelsen n?r hun gikk, og den uvanlige uskarpheten i bakgrunnen.
Opprinnelig prompt (ledetekst): “En stilfull kvinne g?r nedover en gate i Tokyo som er fylt med varmt lysende neonlys og animerte byskilt. Hun har p? seg en svart skinnjakke, en lang, r?d kjole, svarte st?vler og en svart veske. hun har solbriller og r?d leppestift. hun g?r selvsikkert og avslappet. Gaten er fuktig og reflekterende, noe som skaper en speileffekt av de fargerike lysene. Mange fotgjengere g?r rundt.”
2. Sn?dekt Tokyo
Dette neste eksempelet, som ogs? er laget og utgitt av OpenAI, viser nok en gang fotgjengere som beveger seg gjennom Tokyo City, men denne gangen er byen dekket av sn?.
Den dynamiske kamerabevegelsen som f?lger det sentrale paret i scenen, kombinert med bevegelsene i sn?fallet, trafikken i bakgrunnen og fotgjengerne, gir videoklippet en f?lelse av virkelighet og dybde.
Vi la imidlertid merke til noen tegn p? at videoen var AI-generert. Blant annet forsvant bilene n?r de krysset under tregrensen, og fotgjengerne p? h?yre side av skjermen ble uvanlig forvrengt.
Opprinnelig prompt: “Det er liv og r?re i den vakre, sn?dekte byen Tokyo. Kameraet beveger seg gjennom den travle bygaten og f?lger flere mennesker som nyter det vakre sn?v?ret og handler i bodene i n?rheten. Vakre Sakura-blomster flyr i vinden sammen med sn?fnuggene.”
Introducing Sora, our text-to-video model.
Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W
Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf
— OpenAI (@OpenAI) February 15, 2024
3. En hund l?rer seg ? skrive
Et humoristisk eksempel som ble delt p? X, ble delt av Justine Moore, investeringspartner i a16z, og viste en AI-generert video av en hund som skriver p? et tastatur.
Dette eksemplet skilte seg ut fordi det s? ekstremt realistisk ut, men det lignet mer p? den typen innhold man tar opp med en smarttelefon for ? dele p? sosiale medier, enn p? den polerte estetikken i videoer som Lady in Red.
I videoen virker den generelle bevegelsen av hundens hode og belysningen naturlig og troverdig. Det eneste som avsl?rer at videoen er AI-generert, er den uvanlige bevegelsen av potene (og det faktum at det er en hund som skriver!).
Opprinnelig prompt: Ikke spesifisert
I’ve seen a lot of AI video, but this clip feels like the tipping point.
Definitely the most impressive Sora generation I’ve seen yet, it would fool me scrolling through a feed…
(posted by OpenAI on TikTok) pic.twitter.com/cthc2IIEWU
— Justine Moore (@venturetwins) February 20, 2024
4. En katt p? leting etter ly
En annen video som fanget oppmerksomheten v?r, ble delt av Tim Brooks, forsker ved OpenAI, og viser en katt som krysser en bakgate.
Denne videoen fanget oppmerksomheten v?r, ikke bare p? grunn av den ekstremt detaljerte bakgrunnen av s?ppel og annet rusk, men ogs? p? grunn av hvor naturtro katten ser ut og hvordan den speiler seg i s?lepyttene p? gulvet.
Vi la selvf?lgelig merke til at bevegelsene til katten som gikk var ekstremt unaturlige – og det samme var bevegelsene til halen noen steder. Vi syntes likevel at videoen ga et troverdig bilde av et dyr som leter etter ly (selv om den ikke inkluderte regn, som var spesifisert i den opprinnelige oppgaven).
Opprinnelig prompt: “En hvit- og oransjetabby smugkatt l?per over en bakgate i et kraftig regnv?r p? jakt etter ly…”
someone plz adopt this cat ??
"a white and orange tabby alley cat is seen darting across a back street alley in a heavy rain, looking for shelter…" (prompt by Chad Nelson)
Video generated by Sora pic.twitter.com/u0U8nfqcQP
— Tim Brooks (@_tim_brooks) February 17, 2024
5. Bil kj?rer gjennom flere landskap
I et innlegg p? X delte AI-skaperen Bilawal Sidhu et video-til-video-eksempel p? Sora i aksjon, der en video av en bil som kj?rer gjennom et landlig landskap, ble lagt inn i modellen og forvandlet til noe nytt.
I l?pet av videoen kan man for eksempel se bilen kj?re p? en landevei, f?r den skifter til en vinterbakgrunn, dinosaurer, en frodig jungel og til og med en surrealistisk regnbuevei.
Selv om dimensjonene p? veien og bakgrunnen til tider ser unaturlige ut, viser denne videoen hvordan brukere kan ta videoer og gi dem en stilistisk overhaling.
Opprinnelig prompt:
OpenAI just dropped their Sora research paper.
As expected, the video-to-video results are flipping spectacular ??
A few other gems: pic.twitter.com/MiRe2IYkcI
— Bilawal Sidhu (@bilawalsidhu) February 16, 2024
6. Valper som leker i sn?en
En annen video som fanget oppmerksomheten v?r, var et av OpenAIs reklamematerialer – et kort klipp av en gruppe valper som leker i sn?en.
Det som slo oss med dette bildet, var detaljniv?et i bildene og hvor naturtro bevegelsene i sn?en s? ut.
Selvf?lgelig var det noen sm? problemer med at sn?en beveget seg unaturlig enkelte steder, og at valpen til h?yre falt unaturlig langt under sn?linjen i siste del av videoen, men etter hvert som maskinl?ring og generative AI-teknikker blir stadig bedre, vil slike inkonsekvenser bli mindre og mindre vanlige.
Opprinnelig prompt: Ukjent
13/ Sora text-to-video video previews have left me speechless. pic.twitter.com/rQi7OYumx6
— Barsee ?? (@heyBarsee) February 16, 2024
7. En postapokalyptisk manet
I et mer surrealistisk eksempel delt av Joe Taylor, forsker ved OpenAI, ser vi en manet som beveger seg gjennom et postapokalyptisk bylandskap.
Manetens bevegelser var ganske varierte – med den typen flytende estetikk og bevegelse i tentaklene som man forventer av et virvell?st havdyr. P? samme m?te syntes vi ogs? at bakgrunnen i bybildet f?ltes ganske autentisk.
N?r det gjelder problemer med videoen, la vi f?rst og fremst merke til at maneten s? ut til ? sitte foran en greenscreen i stedet for ? bevege seg gjennom omgivelsene.
Opprinnelig prompt: “En surrealistisk scene utspiller seg mens en gigantisk, gjennomskinnelig manet flyter grasi?st gjennom et ?de bylandskap i skumringen. Scenen er filmet p? 35 mm film.”
“A surreal scene unfolds as a giant, translucent jellyfish floats gracefully through a deserted cityscape at dusk. The scene is shot on 35mm film.”
Video generated by #Sora pic.twitter.com/lOwsJJNnvI
— ?? Joe Taylor ?? (@JMT3) February 24, 2024
8. En eldre mann som spiser en hamburger
V?rt neste eksempel, denne gangen delt av en X-konto kjent som AiBot, viser et kort klipp av en eldre herre som spiser en hamburger.
Ved f?rste ?yekast ser videoen ekte ut, med mannens ansikt og cheeseburgeren som ser tydelige og naturtro ut. Bevegelsene til de andre personene i bakgrunnen gir ogs? scenen mer dybde.
Til tross for dette la vi merke til noen uvanlige elementer i videoen. Salaten og sesamfr?ene ser malplassert ut, og mannens bitt i burgeren stemmer ikke overens med effekten p? br?det.
Opprinnelig prompt: “En eldre mann med gr?tt h?r og briller fort?rer en deilig cheeseburger. br?det er spekket med sesamfr?, fersk salat, en skive ost og en gyllenbrun biff. han lukker ?ynene mens han tar en bit. han har p? seg en r?d jakke og ser ut til ? sitte inne p? en gatekj?kkenrestaurant.”
New Sora videos:
Prompt: “an older man with gray hair and glasses devours a delicious cheese burger. the bun is speckled with sesame seeds, fresh lettuce, a slice of cheese, and a golden brown beef patty. his eyes are closed in enjoyment as he takes a bite. he wears a red jacket… pic.twitter.com/QK8YyyS7ac
— AiBot (@Aibot_App) February 28, 2024
9. “Late Night Supercar”
Til slutt, i et eksempel delt av en X-konto kjent som Global Things, kan man se en superbil kj?re gjennom regnv?te bygater.
Ved f?rste ?yekast s? denne videoen ut til ? v?re ekte, med et bymilj? i bakgrunnen som s? detaljert og levende ut med naturlig belysning.
V?r eneste virkelige kritikk av videoen var at trafikken p? den andre siden av veien ofte virket unaturlig, med to drosjer som dukket opp fra l?se luften p? slutten av videoen.
Opprinnelig prompt: “En superbil som kj?rer gjennom bygater om natten med kraftig regn overalt, filmet bakfra mens bilen kj?rer. Selv om det v?te gulvet var merkbart, fant vi ikke noe regn.
Generated by new sora Ai text to video model :-
Prompt : A super car driving through city streets at night with heavy rain
everywhere, shot from behind the car as it drives pic.twitter.com/R9jBRUgKAy— Global things (@Globalthings12) February 28, 2024
Konkludert
Alt i alt viser disse videoene at Sora har potensial til ? endre spillereglene for AI-genererte videoer. Selv om programmet forel?pig ikke er offentlig tilgjengelig, viser de f?rste videoene at det kan skape sv?rt realistisk og oppslukende innhold.
Hvis du vil komme i gang med ? bruke AI til ? lage dine egne videoer, kan du begynne med ? se p? gratisverkt?y som Runway Gen-2, Stable Video Diffusion og PixVers. Husk bare ? gj?re ledeteksten s? detaljert som mulig, slik at modellen genererer det innholdet du er ute etter.
Ofte stilte sp?rsm?l
Kan kunstig intelligens generere videoer?
Er Sora AI tilgjengelig for allmennheten?
Hvordan f?r jeg tilgang til Sora?
Finnes det en gratis AI-videogenerator?
Referanser
- Sora: Tokyo Walk (YouTube)
- OpenAI’s tweet (X.com)
- Justine Moore’s tweet (X.com)
- Tim Brooks’ tweet (X.com)
- Bilawal Sidhu’s tweet (X.com)
- Barsee’s tweet (X.com)
- Joe Taylor’s tweet (X.com)
- AiBot’s tweet (X.com)
- Global things’ tweet (X.com)