GPT-6 아스트라 vs 클로드 페이블 5.1 코딩 비교, 게임·코드 리뷰·버그 찾기 [대결 시리즈 1편: 개발팀]

AI 업계에 이런 대진표가 뜬 건 오랜만이에요.

9월 1일, 앤트로픽이 클로드 페이블 5.1을 내놨어요. 딱 이틀 뒤인 9월 3일, 오픈AI가 GPT-6 아스트라로 맞불을 놨고요. 둘 다 각 회사가 "우리가 만든 것 중 제일 똑똑하다"고 내건 간판 선수예요.

그 뒤로 개발자 커뮤니티가 시끌시끌해졌어요. 🔥

레딧에는 페이블 구독을 끊고 아스트라로 넘어가 봤다는 개발자의 후기가 올라왔어요. 그런데 결론이 뜻밖에도 "하지 마라"였고 추천이 274개 붙었어요¹¹. 다른 게시판에서는 정반대 글이 추천 395개를 받았어요. 제목이 "아스트라가 솔도 페이블도 못 한 걸 해냈다"였거든요¹³.

돈 얘기로 넘어가면 더 헷갈려요. 한쪽에서는 "페이블이 아스트라보다 6배 싸던데요? 예상 밖이에요"라는 글이 올라왔어요¹⁴. 그런데 한 유튜버가 같은 일을 맡겨 비용을 재 보니 이번엔 아스트라 쪽이 44% 적게 들었어요⁹.

같은 두 모델인데 누구는 "갈아타지 마", 누구는 "드디어 해냈다"라고 해요. 누구는 페이블이 6배 싸다고 하고, 누구는 아스트라가 거의 절반 값이라고 하고요.

대체 누구 말이 맞는 걸까요? 🤔

답을 찾으려고 경기 기록을 뒤졌어요. 전 세계 개발 유튜버들이 두 모델에게 똑같은 숙제를 내고 결과를 나란히 비교한 영상이 꽤 쌓여 있었거든요. GTA를 통째로 만들라는 숙제도 있고 일부러 숨겨 둔 버그를 찾으라는 숙제도 있어요. 이 글은 그중 제일 재밌는 판만 골라 다시 중계해요.

코딩을 몰라도 괜찮아요. 경기 장면은 원본 영상에서 잘라 그대로 보여 드리고 모르는 말이 나오면 노란 상자에서 바로 풀어 드릴게요.

오늘의 대진표

다섯 판은 개발팀이 실제로 일하는 순서대로 짰어요.

개발팀의 일은 대개 이렇게 흘러가요. 처음엔 아무것도 없는 데서 새로 만들어요. 만든 서비스는 매일 고치고 다듬어야 하고요. 결과물이 나오면 누가 만들었는지와 상관없이 품질만 냉정하게 봐야 하고 그 안에 숨은 버그도 찾아내야 해요. 마지막으로 테스트를 돌리고 다음 사람이 이어받아도 읽히는 코드인지 확인해요.

대진표도 이 순서를 그대로 따라가요. 그래서 뒤로 갈수록 화면은 수수해져요. 1판은 눈으로 보고 직접 해 볼 수 있는 게임이지만 5판은 눈에 잘 안 보이는 코드 품질이에요. 대신 회사 개발에서 더 자주 하는 일은 뒤쪽이에요. 화려한 1판만 보고 고르면 안 되는 이유예요.

판마다 딱 하나씩만 눈여겨보면 훨씬 재밌어요. 👀

이 시리즈, 왜 만들었냐면요

점수표가 53 대 53, 완벽한 동점을 찍었거든요.

AI 모델끼리 누가 더 센지 궁금할 때 제일 먼저 찾는 건 시험 점수예요. 독립 평가 기관 아티피셜 애널리시스는 여러 모델에게 똑같은 시험을 잔뜩 치르게 한 뒤 종합 점수를 매겨요. 새 모델이 나올 때마다 많이 인용되는 점수예요.

이번 결과는 아스트라 53점, 페이블 53점이었어요¹⁵¹⁶. 동점이에요.

점수표가 동점이면 더는 가려 줄 게 없어요. 남은 방법은 하나예요. 진짜 일을 시켜 보고 결과물을 나란히 놓는 거죠.

다행히 재료는 넘쳤어요. 출시 2주 만에 두 모델을 맞붙인 기록이 유튜브와 레딧에 잔뜩 쌓였거든요. 누구는 게임을 만들게 했고 누구는 자기가 운영하는 서비스를 통째로 맡겼어요. 버그를 숨겨 두고 찾게 한 사람도 있고요.

문제는 기록마다 결론이 다르다는 거예요. 앞에서 본 "하지 마라"와 "드디어 해냈다"처럼요. 그런데 기록을 하나씩 뜯어보면 이유가 보여요. 시킨 일이 서로 달랐어요. 새 게임을 빨리 띄우는 일과 몇 주 묵은 버그를 잡는 일은 필요한 실력이 완전히 달라요. 한쪽 일만 해 본 사람은 그쪽 결론만 말하게 되고요.

그래서 기록을 회사 부서별로 다시 묶었어요. 개발 일은 개발 일끼리, 기획 일은 기획 일끼리 모아야 "우리 팀 일에는 누가 더 잘 맞나"라는 질문에 답할 수 있으니까요.

시리즈는 이렇게 다섯 편으로 구성될 예정이에요.

• 1편 개발팀: 게임 만들기부터 버그 찾기까지, 지금 보고 계신 글이에요
• 2편 기획팀: 발표자료부터 설명서까지
• 3편 마케팅팀
• 4편 운영팀
• 5편 종합편: 사무 업무 전반

경기 기록은 국내외 유튜버들의 대결 영상과 레딧 사용자들의 경험담에서 가져왔어요. 움직이는 화면은 원본 영상에서 몇 초씩 잘라 출처와 함께 넣었고 제작자가 링크를 공개한 게임은 직접 켜서 찍었어요. 한쪽 편만 들지 않으려고 반대 결과가 나온 경기도 꼭 같이 넣었어요.

오늘의 두 선수

한쪽은 손이 빠른 스피드형, 다른 쪽은 오래 걸려도 끝까지 파고드는 완성형이에요.

1P. GPT-6 아스트라

아스트라는 챗GPT를 만든 오픈AI의 최신 간판 모델이에요. 오픈AI는 아스트라를 소개하면서 컴퓨터와 브라우저를 직접 조작하는 능력을 가장 앞에 내세웠어요. 사람이 마우스로 하던 일을 화면을 보며 대신 하는 건 물론이고 코드 짜기, 자료 조사, 문서 만들기까지 한다는 거예요. 한 번에 기억하며 일할 수 있는 분량도 105만 토큰으로, 두꺼운 책 여러 권을 통째로 펼쳐 놓고 일하는 수준이에요¹⁵.

개발자들이 주로 만나는 곳은 오픈AI의 코딩 도구 코덱스예요. 성격은 신중한 편이에요. 오픈AI가 직접 개발자 안내에 "이전 모델보다 추측하는 대신 확인을 요청할 가능성이 크다"고 적어 뒀을 정도예요³. 이 버릇이 경기에서 장점이 되기도, 발목을 잡기도 해요.

2P. 클로드 페이블 5.1

페이블은 클로드를 만든 앤트로픽의 최상위 모델이에요. 앤트로픽은 페이블이 코딩, 지식 업무, 오래 걸리는 문제 풀기에 뛰어나다고 소개했어요. 쉽게 말해 혼자 몇 시간씩 붙잡고 끝까지 가는 일에 강해요. 이번 5.1에서는 이미 읽은 내용을 다시 불러올 때 드는 캐시 요금을 75% 내렸어요².

개발자들은 주로 앤트로픽의 코딩 도구 클로드 코드에서 페이블을 써요. 성격은 아스트라와 반대로 적극적인 편이에요. 앤트로픽은 페이블이 과제를 받으면 "요청한 것을 해내고, 가끔은 그 이상을 한다"고 적었어요. 옆에 있는 코드까지 고치거나 시키지 않은 기능을 넓히기도 한대요⁴.

묻고 가는 스피드형 vs 알아서 끝까지 가는 완성형. 이 성격 차이가 다섯 판 내내 승부를 갈라요. 👀

1판. 게임을 통째로 만들어 봐

게임 세 개가 주문됐어요. 손이 빠른 쪽과 끝까지 붙잡는 쪽, 누구 게임이 더 재밌을까요? 🎮

첫 종목은 게임 만들기예요. 게임은 화면, 조작, 규칙, 점수가 전부 맞물려야 돌아가서 AI 코딩 실력이 적나라하게 드러나요. 게다가 결과를 직접 해 볼 수 있으니 판정이 속 시원하죠.

1경기. GTA를 만들어 줘

심판은 구독자 약 8만 명의 개발 유튜버 코드팩토리예요. 폴더에 GTA 스크린샷 몇 장을 넣어 두고 딱 이렇게만 시켰어요.

여기 있는 파일들을 참고해서 GTA 게임 클론을 만들어 줘. 이 게임에 대해 인터넷에서 리서치해서 어떤 기능이 있는지 찾아보고, 최대한 유사하게 만들어 줘.

두 선수 모두 생각을 깊게 하는 설정(xhigh)으로 출발했어요. 코드팩토리는 AI가 스스로 얼마나 창의적인지 보려고 지시를 일부러 짧게 줬다고 했어요⁶.

🏁 아스트라가 먼저 결승선을 밟았어요. 25분 28초!

페이블보다 1시간 넘게 빨랐어요. 1.5배 빠른 패스트 모드를 켜긴 했지만 코드팩토리는 그걸 빼고 봐도 "압도적으로 빠르다"고 했어요⁶.

아스트라의 GTA: 첫인상은 대박

노을 진 도시, 반짝이는 빨간 스포츠카, 가볍게 튀어 나가는 차의 손맛까지. 코드팩토리는 이 화면을 보자마자 "이거 페이블이 질 것 같은데"라고 생각했대요. 25분 만에 이 정도면 누구라도 그렇게 생각할 만해요⁶.

그런데 지도를 여는 순간, 분위기가 싸해졌어요.

지도에 아무것도 없어요. 가게도, 미션 장소도 없어요. 화면 왼쪽엔 "경찰을 따돌리고 소포를 전달하라"는 미션이 떠 있는데, 소포 전달 장소까지 가도 아무 일도 안 일어나요. 사람을 때릴 수도 없어요. GTA에서 이걸 빼면 드라이브 게임이죠.

페이블의 GTA: 늦게 왔는데 총소리부터 들린다

페이블은 1시간 25분 48초 만에 도착했어요. 코드팩토리가 그동안 손 놓고 기다린 시간이에요.

그런데 게임을 켜자마자,

💥 탕, 탕! 총소리부터 들려요.

어디선가 누가 총을 쏘고, 경찰이 쫓아오고, 총에 맞으면 흑백 화면에 분홍색 WASTED가 떠요. GTA를 해 본 사람이라면 웃음이 터질 장면이에요. 죽으면 병원에서 다시 살아나고요⁶.

해 볼 거리가 끝이 없었어요.

• 길에 선 차를 훔쳐 탈 수 있어요. 차마다 무게감이 달라서 무거운 차는 묵직하게, 가벼운 차는 가볍게 움직여요
• 지도에 무기 가게와 미션 장소가 표시돼 있어요
• 무기 가게에 들어가 E 키를 누르면 야구 방망이, 권총, 샷건 메뉴가 떠요. 코드팩토리는 돈이 모자라 총을 못 사고 웃었어요
• 사람을 때리거나 돈을 주워 모을 수도 있어요

코드팩토리는 "어디까지 구현했는지 궁금해서 계속 플레이하게 되더라"고 했어요. 25분짜리는 금방 껐고, 1시간 25분짜리는 붙잡고 놀았어요.⁶

2경기. 이번엔 도시를 만들어 줘

같은 심판의 두 번째 숙제는 도시 건설 게임 시티 스카이라인이에요. 이번엔 참고 이미지도 없이 "알아서 리서치해서 만들어 줘"가 전부였어요⁶.

또 아스트라가 먼저예요. 21분. 페이블은 웹 검색을 잔뜩 돌리더니 거의 1시간을 썼어요⁶.

나란히 놓으면 누가 봐도 왼쪽이 예뻐요. 강이 흐르고 숲이 우거진 땅에 집과 빌딩이 빼곡해요. 코드팩토리도 "분위기와 그래픽 감각은 GPT가 훨씬 잘했다, 이건 인정할 수밖에 없다"고 했어요⁶.

그런데 이번에도, 속을 들여다보니 반전이 나왔어요. 🔍

아스트라 도시는 아파트가 땅에서 붕 떠 있는 곳이 있었어요. 나무 위에 집을 지어도 나무가 그대로였고요. 풍력 발전기를 지어도 전선을 이을 필요가 없었어요. 원래 이런 게임은 "일자리가 없다", "불이 났다" 같은 사건이 쉴 새 없이 터지는데, 그런 일도 없었어요. 코드팩토리의 표현으로는 "보기 좋게 설계된, 번지르르한 결과물"이에요⁶.

페이블 도시는 투박했지만 진짜로 굴러갔어요. 코드팩토리는 이 게임을 30분 동안 실제로 플레이했어요⁶.

• 송전선을 안 깔면 "전력이 부족하다" 경고가 떠요. 송전선을 깔아도 발전기가 모자라면 불만이 계속되고 발전기를 더 지으니 그제야 조용해졌어요
• "병원이 부족하다"는 민원도 올라와요
• 처음엔 도로와 구역만 깔 수 있고, 레벨이 오를수록 교통, 공원 같은 기능이 하나씩 풀려요
• 병원을 지으려는데 돈이 없어 둘러보니 대출 버튼이 있었어요. 코드팩토리가 여기서 크게 웃었어요 🏦
• 재활용 같은 정책을 켜면 도시가 실제로 바뀌고, 수도관도 직접 이어야 해요

3경기. 좀비 게임, 그리고 갑자기 1인칭으로

0 대 2. 여기서 끝나면 싱겁죠.

아스트라의 반격은 유튜버 런빌드의 경기장에서 나왔어요.

런빌드가 예전에 AI와 한 시간 넘게 씨름해서 만들었던 좀비 슈팅 게임을 두 선수에게 다시 시켰어요. 숙제는 이랬어요.

브라우저에서 바로 실행되는 2D 탑다운 좀비 서바이벌 슈팅 게임을 HTML 파일 하나로 만들어 줘. 캐릭터, 좀비, 아이템 그림은 외부 이미지를 쓰거나 코드로 그리지 말고, 이미지 생성 도구로 직접 만들어서 넣어 줘.

한 가지 핸디캡이 있었어요. 코덱스에는 그림을 그리는 이미지 생성 도구가 들어 있는데, 클로드 코드에는 없어요. 그래서 런빌드는 페이블에게 오픈AI 그림 모델을 빌려 쓸 수 있는 열쇠(API 키)를 따로 쥐여 줬어요⁷.

전반전: 2D 좀비 게임

아스트라가 약 10분 만에 먼저 끝냈어요. 배경, 주인공, 좀비, 아이템을 직접 그리고 그림 뒤 배경까지 깔끔하게 따서 게임에 넣었어요. 제한 시간, 체력, 아이템 떨구기처럼 시키지도 않은 요소를 알아서 챙겼고 첫 실행부터 오류 없이 이동과 사격이 돌아갔어요⁷.

페이블은 5분쯤 뒤에 들어왔어요. 늦은 대신 그림체가 더 만화 같고 해 볼 거리가 더 있었어요. 바닥의 드럼통을 쏘면 펑 터지면서 주변 좀비까지 다치고, 시간이 지나면 다음 단계로 넘어가면서 새 좀비와 보스가 나와요⁷.

전반전까지는 런빌드도 "두 모델 모두 나무랄 데 없다"고 했어요. 진짜 승부는 후반전이었어요.

후반전: 갑자기 1인칭으로 바꿔 줘

그리고 런빌드가 판을 뒤집었어요. 🔄

"지금 게임의 기능과 스타일은 최대한 살리고, 고전 게임 둠처럼 1인칭 시점으로 바꿔 줘." 새로 만드는 것보다 훨씬 까다로운 숙제예요. 이미 지어 놓은 집을 허물지 않고 구조를 바꾸는 일이니까요⁷.

아스트라가 또 약 10분 만에 먼저 끝냈어요. 그런데 켜 보니 문제가 하나 있었어요.

앞뒤로 걷는 건 되는데 마우스를 움직여도 시야가 안 돌아가요. 1인칭 게임에서 시야가 안 돌아가면 게임이 안 되죠. 런빌드가 "이것 좀 고쳐 줘" 한 번 말하자 아스트라는 금방 고쳐 왔어요. 이번엔 좀비를 향해 총구가 자연스럽게 돌아가요⁷.

그 시간에 페이블은? 아직 작업 중이었어요. ⏳

아스트라가 고치는 것까지 다 끝낸 뒤에도 10분쯤 더 걸렸어요. 드디어 완성, 실행 버튼을 누르자마자 오류. 런빌드가 오류 메시지를 복사해 건네고 다시 고쳐 달라고 한 뒤에야 제대로 돌아갔어요⁷.

완성본만 놓고 보면 페이블도 멋있어요. 2D 때의 만화 그림체를 1인칭에서도 그대로 살렸고 화면 아래에 체력과 무기를 보여 주는 둠 스타일 상태판까지 만들었어요. 하지만 이 경기의 판정 기준은 달랐어요⁷.

좀비 게임은 런빌드가 링크를 공개해 둬서 직접 해 볼 수 있어요. 9월 17일에 네 판 모두 켜 보니 시작 화면과 게임 화면이 잘 떴어요. 영상 이후에 고친 내용이 반영됐을 수 있어요.

좀비 게임 사진은 런빌드가 공개한 링크에서 직접 실행해 찍었고, 움직이는 화면은 코드팩토리와 런빌드 유튜브 영상에서 몇 초씩 잘랐어요.

1판 최종 결과

그래서 나는 뭘 써야 해요?

코드팩토리의 답이 제일 명쾌해요⁶.

⚡ 성격이 급하다면 아스트라

페이블이 한 번 만드는 1시간 25분이면, 아스트라로는 25분짜리 결과를 보고 "여기 고쳐 줘"를 다섯 번 할 수 있어요. 결과를 보면서 방향을 계속 틀어 줄 사람에게는 이쪽이 훨씬 재밌어요.

☕ 느긋하게 기다릴 수 있다면 페이블

무엇을 고쳐 달라고 해야 할지 아직 잘 모르는 초보자라면, 한 번에 완성에 가깝게 가져오는 페이블이 더 편할 수 있다고 했어요.

2판. 이미 돌아가는 서비스를 손봐 줘

이번엔 매일 사람들이 쓰는 진짜 서비스를 맡겼어요. 망가뜨리면 안 되는 판이에요.

게임은 빈 땅에 새 건물을 올리는 일이에요. 그런데 회사 개발자의 하루는 대부분 이미 지어진 건물을 고치는 데 쓰여요. 느린 곳을 빠르게 하고, 화면을 새로 꾸미고, 기능을 하나씩 붙이죠. 사람들이 쓰는 서비스라서 하나 고치다 멀쩡한 곳이 무너지면 큰일이고요.

2판 심판은 메타에서 일하는 시니어 엔지니어가 운영하는 유튜브 채널 실밸개발자예요. 동료와 함께 만들고 있는 유튜브 썸네일 제작 서비스 오토클릭(AutoKliq)을 통째로 경기장으로 내놨어요⁸.

경기 방식은 이랬어요⁸.

• 두 선수 모두 가장 깊게 생각하는 설정(max)으로 뛰었어요
• 지휘를 맡은 AI 하나가 클로드 코드 창과 코덱스 창을 나란히 띄우고 같은 지시문을 동시에 넣었어요
• 지시는 딱 한 번이에요. 중간에 사람이 끼어들지 않았어요

1경기. 우리 서비스 홍보 영상을 만들어 줘 🎬

숙제는 앱을 직접 띄워 써 본 다음, 제품을 소개하는 45초짜리 온보딩 영상과 15초짜리 홍보 영상을 코드로 만들어 영상 파일로 뽑는 거였어요. 실밸개발자는 AI가 제품을 직접 써 보고 얼마나 이해하는지도 보고 싶었대요⁸.

실밸개발자는 누가 만들었는지 말하지 않고 두 영상부터 틀었어요. 한쪽은 깔끔한 화면이 조용히 넘어가요. 다른 쪽은 내레이션과 자막, 배경음악까지 들어 있어요.

목소리가 나오는 쪽이 아스트라였어요. 🎙️

실밸개발자는 온보딩 영상은 아스트라 쪽이 "조금 더 괜찮았다"면서도 페이블 쪽이 더 깔끔하다고 볼 수도 있으니 "개인적인 취향 같다"고 했어요. 15초 홍보 영상은 둘이 "거의 비슷했다"고요. 비용은 아스트라가 두 배쯤 들었는데 소리까지 만들었고 패스트 모드였으니 이해가 된다는 평이었어요. 걸린 시간은 비슷했어요⁸.

2경기. 썸네일 만드는 시간을 절반으로 줄여 줘 ⏱️

오토클릭은 썸네일 하나를 만드는 데 시간이 꽤 걸려요. 실밸개발자는 대략 이렇게 지시했어요.

썸네일 생성이 너무 느립니다. 이걸 절반으로 줄여 주세요. 지켜야 할 것들은 하나도 바꾸지 말고, 품질을 떨어뜨리는 변경을 했다면 보고서에 꼭 적어 주세요.

마지막 문장이 중요해요. AI는 목표 숫자만 맞추려고 품질을 몰래 깎는 꼼수를 쓸 수 있어서 일부러 넣은 조건이래요⁸.

아스트라가 이번에도 먼저 들어왔어요. 비용도 페이블의 절반이 안 됐고요⁸.

그런데 결과표를 열어 보니… 📉

둘 다 절반은커녕 근처에도 못 갔어요. 아스트라는 평균 1%쯤, 약 10초를 줄였어요. 실밸개발자의 말로는 "사람이 느끼기엔 거의 그대로"예요. 페이블은 상황별로 2~6%, 20~30초를 줄였어요. 크지는 않아도 "조금 유의미한 결과"라는 평이었어요⁸.

3경기. 화면을 전부 다시 디자인해 줘 🎨

세 번째 숙제가 이 판의 하이라이트예요. 지시는 이런 내용이었어요⁸.

• 오토클릭의 화면을 전면적으로 다시 설계할 것
• 되던 기능이 사라지면 안 되고, 바꾼 뒤 실제로 돌아가는지 확인할 것
• 사람이 쓰기에도, AI 에이전트가 쓰기에도 좋아야 할 것
• 시간 제한은 없고, 중간에 묻지 말고 판단이 필요하면 스스로 정할 것

대진표에서 던진 질문을 떠올려 보세요. "묻지 말고 알아서 고쳐" 하면 누가 더 과감할까요?

묻지 말라고 했더니, 한쪽은 방을 정리했고 한쪽은 집 구조를 바꿨어요. 🏠

페이블은 정리를 했어요. 새 썸네일 화면을 "어떤 영상인가요?", "헤드라인과 톤", "오토클릭이 참고할 것" 세 칸으로 나눴고 인사이트 화면에서는 규칙, 가설, A/B 테스트를 위로 올려 찾기 쉽게 했어요. 실밸개발자는 "어느 정도 다듬었지만 크게 다듬은 느낌은 아니다"라고 했어요⁸.

아스트라는 원래 없던 홈 화면부터 새로 만들었어요. "오늘은 어떤 영상을 만드나요?"에 한 줄을 적으면 바로 썸네일 만들기로 넘어가요. 썸네일 만들기는 이야기, 표현 방식, 소재와 참조, 생성 전 확인의 네 단계로 바꿨고 프로젝트 목록에는 제목이나 콘셉트로 찾는 검색창과 진행 상태를 붙였어요. "크리에이터의 작업실"이라는 콘셉트를 스스로 잡고 핵심 화면 다섯 개를 다시 설계했다고 보고했대요⁸.

비용과 시간은 둘이 거의 같았어요⁸.

4경기. 코드 창고를 3D로 걸어 다니게 해 줘 🏙️

마지막은 재미로 낸 숙제예요. 오토클릭은 동료가 석 달 동안 혼자 만들던 서비스라, 뒤늦게 합류한 실밸개발자도 처음엔 코드를 이해하기가 너무 힘들었대요. 그래서 코드 저장소를 3D 공간으로 만들어 걸어 다니며 구경할 수 있게 해 달라고 했어요⁸.

페이블의 도시는 게임처럼 움직여요. W, A, S, D로 걷고 Shift로 달리고 스페이스로 점프해요. 폴더는 구역으로, 파일은 건물로 바꾸고 파일 종류마다 건물 색을 달리했어요. 오른쪽 위에는 미니맵도 있어요. 다만 실밸개발자는 3D 모델링의 대단함은 "잘 안 느껴진다"고 했어요⁸.

아스트라의 도시는 첫 화면에 "여덟 개의 공간"이라는 안내부터 떠요. 건물 하나가 파일 하나고 건물 높이는 코드 줄 수예요. 하늘에서 내려다보는 조감도와 직접 걷기를 오갈 수 있어요.

결정타는 "썸네일의 여정" 투어였어요. 🧭

누르면 썸네일 요청 하나가 들어와서 인증을 확인하고, 작업을 넘기고, 영상 내용을 분석하고, 이미지를 만들고, 저장된 뒤 크리에이터에게 돌아가기까지 코드 속을 따라가며 설명해 줘요. 새로 합류한 개발자가 딱 원하던 안내서죠⁸.

이번엔 페이블이 더 빨랐고 비용도 절반이 안 들었어요. 그래도 결과물은 달랐어요. 실밸개발자는 아스트라 쪽이 "너무너무 마음에 든다"며 이것도 아스트라의 압승이라고 했어요⁸.

번외. 둘이 같이 하면 더 잘할까? 🤝

실밸개발자는 마지막으로 두 선수를 한 팀으로 묶었어요. 아스트라가 일하고 페이블이 검토하는 방식이에요. 의도 파악, 계획, 구현, 검증, 보고 단계마다 서로의 결과를 리뷰하게 했고 사람은 처음에 의도만 한 번 확인해 줬어요⁸.

천재 둘이 붙었으니 결과가 확 좋아졌을까요?

오히려 좋은 기능 하나가 사라졌어요. 😶

영상과 최적화는 큰 변화가 없었어요. 최적화는 2~3% 개선에 그쳤고요. 화면 개편은 두 방향이 섞였어요. 홈 화면은 아스트라 느낌을 따랐는데 일부 화면은 페이블의 구조를 가져왔어요. 그 과정에서 아스트라가 혼자 만들 때 들어갔던 프로젝트 검색창이 사라졌어요⁸.

둘을 같이 쓸 거라면 최종 결정을 누가 할지 먼저 정해 두세요.

2판 최종 결과

실밸개발자도 한계를 분명히 밝혔어요. 모델만이 아니라 클로드 코드와 코덱스라는 작업 도구까지 함께 비교한 셈이에요. 과제마다 한 번씩만 돌렸고 한 사람의 코드로 한 실험이기도 하고요. 그래서 "어느 모델이 낫다고 증명하기는 애매하다"고 했어요. 그가 얻은 결론은 따로 있어요. AI가 아무리 좋아져도 사람이 방향을 잡고 중간에 검증해야 결과가 좋아진다는 거예요⁸.

3판. 누가 만든 건지 모르게 채점해 봐

누가 만들었는지 가리고 점수를 매겼어요. 이름값이 안 통하는 판이에요.

"아스트라가 만든 거래" 하는 순간 보는 눈이 달라지기 쉬워요. 그래서 3판은 이름표부터 뗐어요.

심판은 구독자 16만 명의 유튜브 채널 AI LABS예요. 실제로 소프트웨어를 만드는 회사라서 두 모델에게 연습 문제가 아니라 진짜 고객사 프로젝트를 나눠 맡겼어요. 채점은 또 다른 AI인 GPT-5.6이 했는데, 어떤 결과가 페이블 것이고 어떤 결과가 아스트라 것인지 모르는 상태였어요⁹.

AI LABS는 여섯 가지를 따로 채점했어요. 그중 다섯 가지를 이번 판에서 보고 코드 리뷰는 4판에서 볼게요.

1경기. 코드는 누가 더 잘 짰나 🧱

채점 항목	아스트라	페이블
코드 구조와 정리	78	90
요청한 작업을 얼마나 끝냈나	84	91
따로 고쳐 달라는 말 없이 잘 돌아가나	87	85
앱이 쓰기 편한가	89	88
품질 종합	84	88

페이블은 앱의 부분마다 코드를 깔끔하게 나눠서 나중에 고치기 쉽게 만들었어요. 구조 점수는 모든 프로젝트에서 페이블이 앞섰대요. 요청하지 않은 문제까지 고쳐서 완료 점수도 높았고요⁹.

아스트라는 자기가 만든 앱을 더 꼼꼼히 확인했어요. 그래서 따로 고칠 필요 없이 돌아가는 기능이 조금 더 많았어요. 페이블은 테스트할 때 잘못될 수 있는 상황 몇 개를 놓쳤대요⁹.

2경기. 혼자서 앱 하나 끝까지 만들기 🏃

이번엔 앱 아이디어만 주고 알아서 만들게 했어요. 원하는 세부 사항은 말하지 않고 앱이 해야 할 일만 설명했어요. 지시문은 각 모델의 공식 작성 가이드에 맞춰 썼대요⁹.

둘 다 중간에 멈추거나 "다음엔 뭘 할까요?" 묻지 않고 끝까지 갔어요. 아스트라는 만들고 확인하는 도중 오류를 만났지만 사람 도움 없이 스스로 고쳐 나갔고요⁹.

아스트라의 앱은 로그인하고 들어가면 화면 배치가 잘 정리돼 있고 기능도 돌아가요. AI가 만든 앱에서 자주 보이는 익숙한 배치이긴 했지만요.

그런데 로그아웃 버튼을 누를 수가 없어요. 😵

왼쪽 패널이 끝까지 내려가지 않아서 맨 아래 로그아웃 버튼에 손이 닿지 않았어요. AI LABS는 화면을 축소하고 나서야 겨우 눌렀대요. 아스트라의 자체 점검도 이걸 못 잡았어요⁹.

페이블의 앱은 기능이 깊이 들어가 있었지만 요소가 너무 빽빽하게 붙어 있어서 쓰기가 어려웠어요. 반복되는 그라데이션 때문에 AI가 만든 티도 났대요. 작은 화면에 맞춰 줄어들긴 했지만 쓸 만한 배치는 아니었고요⁹.

점수는 아스트라 93, 페이블 90이었어요. 페이블은 지시문에 모양도 신경 쓰라고 적지 않으면 기능 위주로 가고, 아스트라는 작동과 모양을 둘 다 챙겼다는 평이에요⁹.

3경기. 디자인 대결 네 판 🖼️

폰트 파는 회사의 소개 페이지, 공포 게임 소개 페이지, 음악 축제 사이트, 평행 주차 게임. 디자인 요구 사항은 거의 주지 않아서 모델 본인의 취향이 그대로 드러나는 경기예요. AI LABS는 AI 채점만 믿지 않으려고 결과를 넘겨 보는 뷰어를 만들어 직접 써 봤대요⁹.

공포 게임 페이지. 페이블은 등대 불빛이 움직이는 밤바다를 그림 파일 없이 코드(SVG)로 직접 그렸어요. 분위기는 살았는데 고른 글자 크기와 색 때문에 어두운 배경에서 글자가 잘 안 보였어요. 아스트라는 코덱스에 들어 있는 이미지 생성 도구로 숲속 오두막 그림을 만들어 넣었고 시키지도 않은 게임 티저까지 만들었어요. 글꼴과 색을 잘 골라서 글자도 또렷했고요⁹.

평행 주차 게임. 페이블 쪽은 잘 만든 3D 게임이었어요. 백미러 덕분에 차를 어디로 움직일지 가늠하기도 좋았고요. 그런데 카메라 시점 두 개 중 하나는 주차 칸 반대쪽을, 다른 하나는 한쪽만 보여 줘서 앞길이 잘 안 보였대요. 아스트라는 고정 시점 세 개와 옆 패널의 운전 팁을 넣었어요. 게임이 훨씬 쉬워졌고 카메라 시점도 전부 페이블보다 나았다는 평이에요⁹.

나머지 두 판도 갈렸어요. 폰트 회사 페이지에서 페이블은 오퍼스가 자주 만들던 색과 배치를 닮았지만 움직이는 요소를 훨씬 많이 넣어 쓰는 맛이 있었어요. 아스트라는 여백이 넉넉하고 글자 대비가 분명해 읽기 편했지만 움직임이 적었고요. 음악 축제 사이트는 페이블이 자기 스타일을 더 살렸고, 아스트라는 생성한 공연 사진을 썼지만 전체적으로 평범했대요⁹.

AI LABS의 정리는 이래요. 보기 좋고 쓰기 편한 건 아스트라, 애니메이션과 인터랙션은 페이블이에요. 인터랙션 점수는 페이블 94, 아스트라 85였어요⁹.

4경기. 돈과 시간은 누가 덜 썼나 💸

구독 요금제로 돌렸기 때문에 API로 썼다면 얼마였을지 토큰 사용량으로 계산한 추정치예요⁹.

아스트라가 44% 적게 들었어요.

두 모델은 토큰 단가가 같아요. 차이는 말수에서 났어요. 페이블은 출력 토큰을 거의 세 배 썼어요. 페이블의 공식 작성 가이드에도 다른 모델보다 많이 쓰는 편이라고 적혀 있대요. 도구도 많이 불렀어요. 여섯 번 실행하는 동안 메인 에이전트가 도구를 부른 횟수가 페이블 443번, 아스트라 287번이었어요⁹.

시간도 아스트라가 빨랐어요. 오래 걸리는 작업 전체에 아스트라는 약 62분, 페이블은 약 73분을 썼어요. 비용 점수는 아스트라 80 대 페이블 66, 속도 점수는 70 대 67이었어요⁹.

5경기. 시킨 대로 했나 📋

AI에게 일을 맡길 때 규칙 파일에 "이건 하지 마"를 적어 두는 경우가 많아요. 그런데 페이블이 그 규칙을 두 번 넘었어요⁹.

첫째, 작업을 저장하는 커밋 메시지에 "클로드가 함께 썼다"는 공동 작성자 표시를 넣지 말라고 분명히 적었는데 넣었어요. 둘째, 파일은 기록이 남고 되돌리기 쉬운 전용 편집 도구로만 만들라고 했는데 명령어를 실행해서 파일 두 개를 만들었어요⁹.

지시 따르기 점수는 아스트라 96, 페이블 88이었어요⁹.

3판 최종 결과

채점표를 모두 모아 보니… 🥁

AI LABS도 아스트라가 여러 항목에서 앞섰지만 페이블이 나쁜 모델이라는 뜻은 아니라고 했어요. 결론은 "맡길 일에 따라 모델을 고르라"였어요⁹.

4판. 숨겨 둔 버그를 찾아 봐

버그를 일부러 숨겨 두고 찾아보라고 했어요. 눈이 더 매서운 쪽은 누굴까요?

개발팀이 AI에게 자주 맡기는 일 중 하나가 코드 리뷰예요. 사람이 짰든 AI가 짰든, 서비스에 올리기 전에 문제를 찾아내는 일이죠. 4판 심판은 3판에 이어 AI LABS예요⁹.

1경기. 숨은 버그 네 마리를 찾아라 🐛

AI LABS는 같은 코드에 버그 4개를 일부러 심었어요. 함정도 3곳 파 뒀어요. 수상해 보이지만 사실은 멀쩡한 코드예요. 없는 버그를 있다고 우기는지도 보려고요⁹.

페이블은 심어 둔 4개를 다 찾고, 5개를 더 찾아냈어요. 🔍

페이블이 추가로 찾은 5개는 AI LABS가 심지 않은 문제였는데, 확인해 보니 전부 진짜였어요. 아스트라는 4개 중 2개를 찾고 "리뷰를 마쳤다"고 보고했어요. 함정 3곳은 둘 다 버그로 착각하지 않았어요⁹.

2경기. 큰 프로젝트에서 직접 고쳐라 🔧

이번엔 더 큰 프로젝트예요. 확인된 문제가 9개 있었고 찾는 데서 그치지 않고 직접 고치게 했어요⁹.

이번엔 아스트라가 하나 더 고쳤어요. 둘 다 몇 개는 남겼고요⁹.

판정: 리뷰 종합 점수

1 대 1이면 누가 가져갈까요? AI LABS는 찾은 문제, 고친 문제, 자기 작업을 점검하는 방식까지 묶어 리뷰 품질 점수를 따로 매겼어요.

리뷰 종합 점수 페이블 84, 아스트라 78.

AI LABS의 표현으로는 "더 튼튼한 리뷰를 해 준 쪽은 페이블"이에요⁹.

영상 설명란 요약에는 이 점수가 반대로 적혀 있어요. 이 글은 영상 본편에서 직접 말한 내용을 따랐어요.

번외. 레딧 증언대 🎤 막힌 버그를 다른 모델에게 넘기면?

실제 개발자들의 경험담도 모아 봤어요. 한 사람의 경험이라 점수에는 넣지 않았어요. 그런데 읽어 보면 방향이 서로 엇갈려요.

세 이야기에서 건질 교훈은 하나예요. 한 모델로 오래 막혀 있다면 같은 모델을 계속 조르지 말고 다른 모델에게 두 번째 의견을 받아 보세요.

4판 최종 결과

9월 18일 수정. 처음 공개했을 때는 이 판을 무승부로 적었고 리뷰 점수도 아스트라 84, 페이블 78로 거꾸로 옮겼어요. 영상 본편을 다시 확인해 점수를 바로잡고, 1 대 1에서 리뷰 종합 점수로 승부를 가렸어요.

5판. 테스트 만점 vs 읽기 좋은 코드

테스트 만점과 읽기 좋은 코드, 둘 중 하나만 고르라면 뭘 고를까요?

코드가 "돌아간다"와 "좋다"는 달라요. 오늘 잘 돌아가는 코드도 내일 다른 사람이 읽지 못하면 고치다가 무너지거든요. 마지막 판은 이 두 가지를 따로 쟀어요.

심판은 유튜브 채널 AI Coding Daily예요. PHP 개발 강의를 만드는 개발자가 운영하는데, AI 모델 36개를 같은 과제로 줄 세우는 순위표도 운영해요¹⁰.

1경기. 까다로운 예외 상황 테스트 🧪

과제는 프로젝트 4개예요. 여러 기기의 데이터를 맞추는 동기화, CSV 파일 가져오기처럼 예외 상황이 잔뜩 숨어 있는 일들이에요. 같은 지시를 프로젝트마다 5번씩 돌려서 테스트를 얼마나 통과하는지 봤어요. 프로젝트당 5점, 총 20점 만점이에요¹⁰.

아스트라, 20점 만점. 🎯

이 순위표에서 아스트라는 처음으로 네 프로젝트 모두 만점을 받은 모델이 됐어요. 다섯 번씩 돌리는 동안 실패한 테스트가 하나도 없었어요¹⁰.

페이블은 중간 설정(medium)으로 뛰었어요. 리뷰어가 월 20달러 요금제라 사용 크레딧을 따로 충전해서 돌렸대요. 처음엔 29개 테스트를 전부 통과하며 순조로웠는데 곧 실수가 나왔어요¹⁰.

데이터 동기화 프로젝트에서는 같은 예외 테스트 하나를 다섯 번 모두 놓쳤어요. CSV 가져오기에서는 CSV가 아닌 파일을 올렸을 때 오류 대신 "성공"을 돌려준 적이 있고요. 최종 점수는 18.25점, 3위였어요¹⁰.

속도는 페이블도 좋았어요. 지시 하나에 평균 3분 남짓으로 가장 빠른 축이었어요. 대신 값은 1.53달러로 아스트라(0.69달러)의 두 배가 넘었어요. 당시 순위표에서 페이블보다 비싼 건 오퍼스 5 하이 설정 하나뿐이었대요¹⁰.

2경기. 코드 품질 다시 채점하기 🧐

테스트를 통과했다고 코드가 좋은 건 아니에요. 그래서 리뷰어는 다른 AI(GPT-5.6 솔)에게 100점짜리 기준표로 코드 품질을 채점하게 했어요. 설계 판단, 중복되거나 안 쓰는 코드, 권한 처리, 사용자에게 보여 주는 오류 같은 항목에서 조금씩 감점하는 방식이에요. 지난번 채점 방식에 오류가 있어서 이번에 모든 모델을 새 기준으로 다시 매겼대요¹⁰.

다시 채점하자 코드 품질 칸에서는 아스트라가 1위를 내줬어요. 😮

코드 품질 점수(20점 환산)는 페이블 18.55, 아스트라 18.2였어요. 오퍼스 5 하이 설정도 18.55로 공동 1위였고, 키미 K3까지 아스트라보다 높았어요¹⁰.

리뷰어는 이 결과가 혼자만의 느낌이 아니었다고 했어요. 비슷한 시기 X에서 "아스트라에는 코드 품질 문제가 있다"는 글이 좋아요 2,500개를 받았거든요. 3D와 화면 예시가 화려해서 아스트라가 조금 과대평가됐다고도 봤어요¹⁰.

페이블 쓰는 법도 한마디 덧붙였어요. 비싼 만큼 코드를 직접 짜게 하기보다 아이디어를 다듬고, 계획을 세우고, 예외 상황을 미리 짚는 지휘 역할로 쓰고 실제 코딩은 다른 모델에게 넘기는 사람이 많대요. 리뷰어 본인도 그렇게 쓴다고 했어요¹⁰.

번외. 레딧 증언대 🎤 "하지 마라"

도입부에서 본 그 글이에요. 실제 회사 코드에서 두 모델을 번갈아 쓴 개발자의 체감은 이랬어요.

같은 글에서 추천 65개를 받은 댓글은 이렇게 정리했어요. "한 번에 보여 주는 데모에서는 아스트라가 이길지 몰라도, 실제 프로젝트에서는 여전히 페이블이 더 똑똑하다."¹¹

5판 최종 결과

다섯 판 최종 결과 🏆

다섯 판이 모두 끝났어요. 전광판 불을 켜 볼까요?

다섯 판을 다 치르고도 2 대 2. 😮

다만 이 전적은 이 글이 매긴 거예요. 판마다 심판과 채점 방식이 달라서 승부를 가른 기준도 조금씩 달라요. 3판과 4판은 같은 AI LABS 실험을 나눠 본 거라 완전히 따로 치른 경기도 아니고요. 그래서 2 대 2를 "코딩 실력이 똑같다"로 읽으면 곤란해요. 판마다 무엇으로 승부를 갈랐는지는 이래요.

• 1판: 게임 세 경기 중 두 경기를 페이블이 가져갔어요
• 2판: 네 경기에서 아스트라 2승 1무 1패였어요
• 3판: AI LABS의 블라인드 종합 점수 86 대 84였어요
• 4판: 경기는 1 대 1이었고 AI LABS의 리뷰 종합 점수 84 대 78로 갈랐어요
• 5판: 테스트는 아스트라, 코드 품질은 페이블이 앞섰어요. 순위표 총점으로는 아스트라가 1위(38.2점)였지만 이 글은 두 기준을 한 경기씩 셌어요

그렇다고 두 모델이 똑같다는 뜻은 아니에요. 이긴 판이 완전히 달랐거든요.

• 아스트라가 이긴 곳: 빨리 띄우는 시제품, 화면 개편과 3D, 혼자 끝까지 만들기, 적은 비용, 시킨 대로 하기, 예외 상황 테스트
• 페이블이 이긴 곳: 속까지 돌아가는 게임, 최적화, 코드 구조, 숨은 버그 찾기, 기존 코드 규칙 따르기

그래서 질문이 달라져요. "누가 더 세냐"가 아니라 "이 일은 누구에게 맡기냐"로요.

왜 이렇게 갈릴까? 말수, 캐시, 묻는 버릇

페이블은 말이 많은 대신 긴 세션에서 싸지고 아스트라는 경계가 분명한 짧은 문제에서 강해요.

말수부터 볼게요. 독립 평가 기관 아티피셜 애널리시스가 같은 시험을 돌렸을 때 페이블은 출력 토큰을 1억9000만 개, 아스트라는 약 6000만 개 썼어요¹⁵¹⁶. 설계를 나누고 요청 밖 문제까지 고치는 페이블의 성격이 그대로 토큰 수로 드러나요. 구조 점수와 게임 완성도가 높았던 것도, 한 판 한 판 비싸고 느렸던 것도 이 때문이에요.

그런데 오래 이어지는 세션에서는 계산이 뒤집히기도 해요. 페이블은 이미 읽은 내용을 다시 읽는 캐시 요금이 저렴해요. 깃허브 코파일럿에서 같은 설정으로 두 모델을 쓴 사람은 요청 하나당 페이블이 0.19달러, 아스트라가 1.2달러였다고 적었어요. 아스트라는 입력이 27만2000 토큰을 넘으면 요청 전체에 입력 2배, 출력 1.5배 요금이 붙어서 긴 대화를 끌고 가면 더 비싸져요⁵¹⁴.

같은 글에서 추천 36개를 받은 댓글은 아스트라가 "경계가 분명한 짧고 복잡한 문제"에는 뛰어나지만 맥락이 늘고 작업이 길어지면 똑똑함이 떨어진다고 했어요¹⁴. 몇 주 묵은 버그에서 헤맨 사례, 새 게임을 빨리 띄운 사례와 맞아떨어져요.

묻는 버릇도 달라요. 오픈AI는 아스트라에게 "해 줄 수 있어?" 같은 말을 작업 지시로 받아들이게 하고, 승인은 검토할 결과물을 만든 뒤에 요청하게 하라고 안내해요³. 앤트로픽은 반대로 페이블이 근처 코드를 고치거나 요청에 없는 기능을 넓히지 않도록 뺄 것을 분명히 적으라고 해요⁴.

개발팀 배치 결과

페이블은 설계와 리뷰, 아스트라는 시제품과 화면, 막히면 서로 두 번째 의견이에요.

다섯 판을 개발팀 업무로 옮기면 이렇게 나뉘어요.

• 페이블에게: 기존 코드베이스에 큰 기능 붙이기, 설계와 작업 계획, 코드 리뷰에서 문제 찾기, 한 번 맡기고 기다릴 수 있는 긴 작업
• 아스트라에게: 빨리 돌려 볼 시제품, 화면과 3D처럼 눈에 보이는 작업, 테스트를 통과시키는 수정, 다른 모델이 막힌 버그의 두 번째 의견
• 같이 쓴다면: 한쪽이 만들고 다른 쪽이 검토하게 하되, 최종 결정권은 한 모델에게 둬요

지시문도 성격에 맞춰 쓰면 좋아요. 아스트라에게는 먼저 결과물을 만들고 나서 확인을 요청하라고, 페이블에게는 이번 작업에서 건드리지 말 범위를 적어 주세요³⁴.

한도도 조심해야 해요. 5,000줄짜리 변경 사항을 아스트라에게 리뷰시켰다가 월 20달러 요금제의 5시간 한도를 20분 만에 다 썼고 리뷰도 끝내지 못했다는 댓글이 있어요¹⁴. 큰 리뷰는 요금제 한도부터 확인하세요.

요금제마다 아스트라를 어디서 얼마나 쓸 수 있는지, 코덱스 사용량이 어떻게 닳는지는 챗GPT 아스트라 요금제별 사용법과 메시지 한도에 정리했어요.

자주 묻는 것