AI 영상 판별 실험: 테슬라 로드스터 시연, GPT·Gemini·Grok·Claude는 대부분 가짜로 봤다

테슬라가 2026년 10월 15일(미국 시간) 공개한 신형 로드스터 시연 영상에는 “AI 아니냐”는 반응이 많았습니다. 그래서 이 진짜 시연 영상 2편을 GPT, Gemini, Grok, Claude에 소리까지 그대로 보여 주고, 웹 검색 없이 실제 카메라로 찍은 장면인지 AI·CG로 만든 장면인지 물었습니다. 결론부터 말하면 24번 중 5번만 실제 촬영이라고 알아봤습니다. 정답은 전부 진짜입니다.

여러분도 이 시연을 처음 보고 “AI 아니야?” 싶으셨다면, AI도 똑같이 헷갈렸다고 보시면 됩니다. 영상을 직접 입력으로 받는 Gemini는 6번 모두 100% 확신으로, GPT는 98~99% 확신으로 6번 모두 AI·CG라고 답했습니다. 다만 진짜 영상만 넣은 실험이라, 이 결과는 “AI가 진짜를 진짜로 알아보는가”에 대한 것입니다. AI 생성 영상을 가려내는 능력은 따로 재지 않았습니다. 이 글에서는 실험 조건과 결과, AI가 영상을 실제로 어떻게 봤는지, 진짜를 가짜로 본 근거, 그리고 실험의 한계를 정리합니다.

AI 영상 판별 실험 핵심 요약

• 입력: 테슬라 공식 세로 영상 The Ramp와 The Kickflip을 소리까지 파일 그대로 줬습니다. 두 장면 모두 공개 행사에서 관객 앞에 한 라이브 시연입니다.
• 모델: GPT-6.1 Sol(Codex CLI), Gemini 3.8 Flash(Google AI Studio, 영상 직접 입력), Grok(grok-4.7-build, Grok CLI), Claude Sonnet 5.5(Claude Code). 웹 검색은 모두 끄고, 같은 질문을 모델마다 3번씩 했습니다.
• 결과: 24번 중 5번만 실제 촬영이라고 알아봤습니다. GPT 0/6, Gemini 0/6, Grok 3/6, Claude 2/6입니다. 램프 영상은 12번 모두 AI·CG라고 답했고, 킥플립 영상은 12번 중 5번 맞혔습니다.
• AI도 영상을 결국 사진으로 바꿔서 봤습니다. Gemini는 기본 설정에서 1초에 한 장씩 보고, 나머지는 ffmpeg로 몇 초 간격 장면을 뽑아 봤습니다. Grok은 소리까지 스펙트로그램 그림으로 그려서 봤습니다.
• 틀린 답의 근거는 주로 “너무 매끈하다”, “물리적으로 비현실적이다”였고, 모션 블러나 영상 변환에서 생긴 프레임 반복 같은 실제 영상의 흔적을 AI 생성의 증거로 오해하기도 했습니다.
• 같은 모델, 같은 입력, 같은 질문이어도 회차마다 판정이 갈렸습니다. 대화형 AI의 판정 한 번을 진위의 근거로 쓰기는 어렵습니다.
• 진짜 영상만 넣었기 때문에 AI 생성 영상을 가려내는 능력은 재지 않았습니다. 장면 6장으로 한 예비 실험은 질문에 잘못된 전제가 들어가 대표 수치에서 뺐습니다.

실험 방법: 영상 파일을 소리까지 그대로

정지 장면에는 움직임의 물리, 연기가 퍼지는 모습, 카메라 흔들림, 소리 같은 영상 단서가 빠집니다. 그래서 본 실험은 영상 파일을 손대지 않고 그대로 줬습니다.

항목	조건
입력	The Ramp 세로판(45.7초, 1080×1920)과 The Kickflip 세로판(43.9초, 1080×1350), 소리 포함
가공	파일 이름을 clip1.mp4, clip2.mp4로 바꾸고 메타데이터 제거, 화면은 손대지 않음
CLI	GPT·Grok·Claude는 코딩 에이전트 CLI로 실행. Codex CLI는 쓰기 가능한 작업 폴더, Claude Code는 ffmpeg·ffprobe와 파일 읽기·폴더 만들기만 허용
Gemini	Google AI Studio, 모델 gemini-3.8-flash(기본값), 영상 2편 직접 첨부, 영상 설정 기본값(1초 1프레임, agentic 꺼짐), 회차마다 새 대화
웹	모두 끔. Gemini는 Grounding with Google Search를 끄고 실행
반복	모델마다 3번, CLI는 실행마다 영상과 질문만 든 새 폴더에서 실행
실행일	2026년 10월 17일(한국 시간)

CLI로 돌린 세 모델에는 아래 질문을 그대로 줬습니다. Gemini에게는 두 번째 문장의 ffmpeg 안내만 빼고, 첫 문장을 “첨부한 영상 두 개(첫 번째 clip1.mp4, 두 번째 clip2.mp4)“로 바꿔 물었습니다.

이 폴더의 영상 파일 clip1.mp4, clip2.mp4를 보고 판단해 주세요. 인터넷 검색이나 다른 정보 없이 영상 파일 자체만 보고 판단해 주세요. 필요하면 ffmpeg, ffprobe로 프레임과 소리를 직접 확인해도 됩니다. 각 영상은 실제 카메라로 촬영한 장면일까요, AI로 생성했거나 CG로 만든 장면일까요? 영상마다 답은 이렇게만 주세요. [clip1.mp4] 1) 판정: 실제 촬영 / AI·CG 생성 2) 확신도: 0100% 3) 근거 3가지 (각 한 문장) [clip2.mp4] 1) 판정: 실제 촬영 / AI·CG 생성 2) 확신도: 0100% 3) 근거 3가지 (각 한 문장)

결과: 24번 중 5번만 실제 촬영이라고 알아봤다

모델	회차	clip1 램프	clip2 킥플립
GPT	화면 녹화	AI·CG 98%	AI·CG 99%
GPT	추가 1	AI·CG 99%	AI·CG 99%
GPT	추가 2	AI·CG 99%	AI·CG 99%
Gemini	1회	AI·CG 100%	AI·CG 100%
Gemini	2회	AI·CG 100%	AI·CG 100%
Gemini	3회	AI·CG 100%	AI·CG 100%
Grok	화면 녹화	AI·CG 74%	실제 77%
Grok	추가 1	AI·CG 76%	실제 83%
Grok	추가 2	AI·CG 91%	실제 82%
Claude	화면 녹화	AI·CG 68%	실제 58%
Claude	추가 1	AI·CG 62%	실제 58%
Claude	추가 2	AI·CG 80%	AI·CG 85%

정답은 24칸 모두 “실제 촬영”입니다. 램프 영상은 네 모델 모두 12번 다 AI·CG라고 답했고, 킥플립 영상은 Grok이 3번 모두, Claude가 2번 맞혔습니다. GPT는 6번 모두 98~99%, 영상을 직접 받은 Gemini는 6번 모두 100% 확신으로 틀렸습니다. Gemini는 킥플립 영상의 트럭을 “테슬라 세미”로 알아보고도 CG라고 판정했습니다. 화면 녹화 회차는 실행 화면을 녹화하면서 돌린 회차이고, 조건은 다른 회차와 같습니다.

AI는 영상을 어떻게 봤나: 결국 사진 몇 장

실행 기록을 보면, CLI로 돌린 세 AI는 영상을 “재생”하지 않았습니다. ffmpeg로 몇 초 간격의 장면을 뽑아 이미지로 보고, 움직임이 큰 구간만 촘촘하게 다시 뽑았습니다. 영상을 직접 입력으로 받는 Gemini도 기본 설정에서는 1초에 한 장씩 프레임을 뽑아 보고, 소리는 따로 처리합니다.

모델	영상을 본 방식	소리
GPT	13초에 한 장씩 장면 시트를 만들고, 움직임이 큰 35초 구간은 초당 3~4장으로 다시 뽑아 봄	확인하지 않음
Gemini	영상을 직접 입력받아 기본값으로 1초에 한 장씩 봄	따로 처리(1Kbps)
Grok	25초 간격 장면을 회차당 3781장 열어 보고, 장면 전환 지점을 찾고, 번호판을 잘라 확대하고, 프레임 사이 차이를 계산함	스펙트로그램과 파형을 그림으로 그려 봄
Claude	5초 안팎에 한 장(8~10장) 장면 시트와 확대 장면 몇 장	음량만 잼(일부 회차)

결국 영상을 줘도 AI가 판단한 재료는 사진 수십 장이었습니다. 움직임을 연속으로 따라가며 판단한 것은 아니었고, 영상을 줬는데 결과가 나아지지 않은 이유도 여기에 있다고 봅니다. Google은 모델이 필요한 구간의 프레임과 소리를 골라 불러 보는 agentic 방식도 내놨는데, 이번에 CLI 에이전트들이 스스로 한 방식과 비슷합니다(이번 실험에서는 기본값대로 껐습니다).

AI는 왜 진짜 시연을 AI·CG라고 봤나

틀린 답의 근거를 모으면 세 갈래입니다.

하나는 “너무 매끈하다”입니다. GPT와 Gemini가 특히 이 근거를 많이 댔습니다.

차체와 경사로의 표면 질감·반사가 전반적으로 단순하고 균질해 3D 렌더링의 인상이 강합니다. (GPT)

조명을 맞춰 찍은 신차 공개 영상은 원래 매끈합니다. 게다가 유튜브에 올라간 영상은 압축을 거쳐 어두운 부분의 디테일이 뭉개지기 쉽습니다. 실제 촬영에서도 나타나는 특징이 AI 생성의 증거로 쓰인 셈입니다.

다른 하나는 “그럴 리 없다”입니다. 차가 거의 수직으로 휜 램프를 타고 올라 뒤집히고 분사로 버티는 장면은 이번 행사에서 처음 공개된 시연입니다. 네 모델 모두 이 동작의 비현실성을 근거로 들었고, 램프 영상은 네 모델이 12번 모두 AI·CG라고 답했습니다. Gemini는 6번 모두 “현실에서 불가능한 물리 연출”을 첫 번째 근거로 댔습니다. 처음 보는 일이 실제로 일어나면 이런 판정이 가장 먼저 틀립니다.

마지막은 실제 영상의 흔적을 AI의 흔적으로 오해한 경우입니다. Claude는 킥플립 영상 8초 장면을 근거로 “공중의 차량이 트럭과 금색 차량 위에 반투명하게 겹쳐 번져 있는데, 이는 생성 영상에서 흔한 형태 붕괴와 잔상”이라고 답했습니다. 해당 장면은 트럭 앞에서 막 수직으로 솟구치는 차가 빠르게 움직이며 번진 모션 블러로, 실제 카메라에서 생기는 흔적입니다. 바로 다음 장면들에서 차가 크게 번지며 위로 솟는 모습이 이어집니다. Grok은 램프 영상에서 “하늘이 여러 프레임 동안 RGB 0으로 완전히 같아 센서 노이즈가 없는 디지털 배경”이라고 봤는데, 밤하늘을 완전히 검게 보정하고 압축한 영상에서는 흔히 생기는 현상입니다. Grok의 다른 회차는 램프 영상이 “다섯 프레임마다 하나가 직전 프레임과 거의 동일해서, 실제 30fps 카메라가 아니라 더 낮은 프레임을 30fps로 늘린 생성 영상의 박자”라고 했습니다. 직접 재 보니 이 영상은 실제로 다섯 프레임마다 한 장이 앞 장과 똑같습니다. 초당 24장 영상을 30장짜리 파일로 바꿀 때 생기는 흔한 변환 흔적이고, 23.976fps 그대로인 킥플립 영상에는 이런 반복이 없습니다.

맞힌 답은 무엇을 봤나

맞힌 답은 장면이 그럴듯한지가 아니라 카메라와 현장이 남긴 흔적을 봤습니다. Grok이 킥플립 영상을 맞힌 근거는 이랬습니다.

연기 속에 팬 핸들이 달린 카메라 삼각대가 있고, 밤하늘에 전선, 세트에는 조명 트러스와 바닥 LED가 함께 보인다.

피사체에서 떨어진 아스팔트는 프레임마다 작은 밝기 차이가 남아 있고, 강한 조명에는 렌즈 플레어와 앞뒤 초점 차이가 있다.

Claude가 맞힌 두 회차는 전선, 전봇대, 갈라진 아스팔트, 관객석 조명처럼 가공하기 어려운 잡다한 디테일이 일관된다는 점을 들었지만, 확신도는 58%에 그쳤습니다.

같은 디테일이 정반대 근거로 쓰인 경우도 있습니다. 조명의 렌즈 플레어를 Grok은 실제 촬영의 근거로 들었고, Gemini는 3D 컴퓨터 그래픽의 특징으로 들었습니다.

예비 실험: 장면 6장(대표 수치에서 제외)

본 실험 전날, 같은 두 영상에서 장면 6장을 뽑아 GPT, Grok, Claude에 먼저 물어봤습니다. 장면은 The Ramp(8.6초, 9.3초, 21.1초)와 The Kickflip(8.8초, 14.1초, 28.2초)에서 1장씩, 가로 720px JPEG로 메타데이터를 지워 줬고, 모델·웹 검색 차단·반복 횟수는 본 실험과 같았습니다. 질문은 아래와 같았습니다.

이 폴더의 이미지 f1.jpgf6.jpg 6장은 한 영상에서 시간 순서대로 뽑은 프레임입니다. 인터넷 검색이나 다른 정보 없이 이미지 자체만 보고 판단해 주세요. 이 영상은 실제 카메라로 촬영한 장면일까요, AI로 생성했거나 CG로 만든 장면일까요? 답은 이렇게만 주세요. 1) 판정: 실제 촬영 / AI·CG 생성 2) 확신도: 0100% 3) 근거 3가지 (각 한 문장)

문제는 첫 문장입니다. “한 영상에서 시간 순서대로” 뽑았다고 적었지만, 실제로는 두 시연에서 3장씩 뽑았습니다. Grok이 틀린 한 번은 “같은 비행 차량인데 f2의 매끈한 글라스 캐노피, f3의 각진 전면과 격자형 바닥, f5의 빨간 띠가 있는 차체가 하나의 강체로 이어지지 않는다”고 답했는데요. 서로 다른 장면을 한 영상이라고 알려 준 탓에 생긴 차이를 근거로 쓴 셈입니다. 그래서 이 결과는 판별 성능과 잘못된 전제가 섞여 있다고 보고 대표 수치로 쓰지 않습니다.

참고로 결과는 9번 중 3번 “실제 촬영”이었습니다(GPT 0/3, Grok 1/3, Claude 2/3). 앞 회차의 답 파일이 같은 폴더에 남아 있던 회차는 그 답을 읽었을 수 있어 처음부터 집계에서 뺐습니다. 본 실험에서는 질문에 잘못된 전제를 넣지 않았고, 실행마다 새 폴더를 썼습니다.

정답: 관객 앞에서 한 실제 시연

테슬라는 2026년 10월 15일(미국 시간) 텍사스 웨이코 외곽에서 신형 로드스터 공개 행사를 열었습니다. 머스크는 행사를 시작하며 AI가 아니라는 걸 증명하려면 관객이 필요하다고 말했습니다. 관객이 직접 눈으로 봤다고 사람들에게 말해 줄 수 있어야 한다는 이유였습니다.

실험에 쓴 두 영상은 이 행사에서 관객 앞에 한 첫 번째, 두 번째 라이브 시연입니다. 차가 벽 같은 램프를 타고 오른 시연이 먼저, 트럭 위에서 뒤집힌 킥플립이 그다음이었습니다.

다만 “진짜”의 범위는 정확히 봐야 합니다. 첫 시연 뒤 무대로 들어온 차의 운전석에는 사람 대신 마네킹이 타고 있었고, 머스크는 이번 시연을 사고가 나지 않도록(“to make sure we don’t kill anyone”) 자율주행으로 했다고 밝혔습니다. 촬영도 시연도 실제였지만, 운전은 사람이 하지 않았습니다.

이 실험의 한계

이 결과를 “AI는 진짜 영상을 못 알아본다”로 넓히면 안 됩니다. 조건이 좁기 때문입니다.

• 진짜 영상만 넣었습니다. AI가 만든 영상이나 CG 영상을 대조군으로 섞지 않았기 때문에, 이 결과는 진짜 영상을 진짜로 알아보는지만 보여 줍니다. AI 생성 영상을 가려내는 능력은 재지 않았습니다.
• 시연 하나입니다. 한 행사의 두 장면, 모델마다 3번씩만 물었습니다.
• 입력 화질이 원본이 아닙니다. 유튜브에서 받은 압축 영상입니다.
• 판별 전용 도구가 아닙니다. 대화형 AI의 일반 이미지·영상 이해로 판정한 결과이고, AI 생성 영상 판별을 목적으로 만든 도구의 성능과는 다릅니다.
• 에이전트 환경이 결과에 섞였습니다. GPT·Grok·Claude는 코딩 에이전트 CLI로 실행해 각 도구의 기본 설정과 사용자 설정이 그대로 적용됐고, 영상을 어떻게 뜯어볼지는 각 AI가 스스로 정했습니다.
• Gemini는 웹 화면에서 기본 모델로 돌렸습니다. Google AI Studio의 기본 모델인 Gemini 3.8 Flash를 썼고, 유료 상위 모델은 쓰지 않았습니다. 질문에서 ffmpeg 안내만 뺐습니다.
• 모델과 시점이 고정돼 있습니다. 2026년 10월 17일의 gpt-6.1-sol, gemini-3.8-flash, grok-4.7-build, claude-sonnet-5-5 결과이고, 다른 모델이나 이후 버전에서는 달라질 수 있습니다.

진짜 영상인지 확인하려면

제가 이번 실험에서 말하고 싶은 건 하나입니다. 대화형 AI에게 “이거 AI야?”라고 물어본 답은 근거가 되기 어렵습니다. 같은 입력, 같은 질문에도 회차마다 답이 갈렸고, 가장 자신 있게 답한 쪽이 가장 많이 틀렸으며, 영상을 직접 보는 AI도 진짜를 진짜로 알아보지 못했습니다.

이번 시연이 진짜라는 걸 확인해 준 건 판별이 아니라 출처였습니다. 테슬라 공식 채널의 행사 원본, 관객이 있는 현장, 여러 매체의 보도가 함께 있었기 때문입니다. 영상의 진위가 중요한 상황이라면 AI 판정보다 먼저 누가, 어디서, 어떤 맥락으로 올린 영상인지부터 확인하는 편이 확실합니다.

테슬라 로드스터 쇼츠 5편 요약

같은 시연을 다룬 숏폼 5편입니다. 수치의 출처는 테슬라 행사 발언과 해외 매체의 엔지니어 인터뷰이고, G와 거리는 직접 계산한 평균값입니다.

편	질문	답
이거 AI 아님?	AI는 진짜 시연을 알아볼까	장면 6장을 9번 물어 3번만 실제 촬영으로 판정(예비 실험)
이걸 어떻게 진짜라고 합니까?	영상을 통째로 주면 맞힐까	영상 2편을 24번 물어 5번만 실제 촬영으로 판정
0.81초, 일반인은 못 버팀?	0.81초 발진이면 몸은	평균 3.4G, 시속 97km까지 약 11m(직접 계산)
누가 운전한 거임?	비행 시연은 누가 몰았나	운전석엔 마네킹, 시연은 자율주행
몇 초나 날 수 있음?	얼마나 떠 있을 수 있나	길어야 몇 초, 다시 채우는 데 지금은 6~7시간(취재 정리)

직접 돌려 보고 결과를 기록한 다른 실험도 있습니다. REA 리버스 엔지니어링 직접 검증은 같은 과제를 도구 유무만 바꿔 비교했고, Claude Opus 5.5 effort 레벨 비교는 같은 과제로 설정별 비용과 품질을 쟀습니다. 모델끼리 비교한 글은 모델 비교 태그에 모아 두었습니다.