AI에게 프로젝트 세카이 스토리를 읽게 해 보았다

바야흐로, 대 인공지능 시대.

지금 우리는 이 시간에도 AI를 쓰고 있을 것이다. 심지어, Heon이 개인적으로 개발을 시작해, 커뮤니티로 바뀔 "세카이 칩"도 그러한 사례이다.

 

https://sekai.cheap

세카이 칩 - 세카이 칩

https://gekimoe-sekaicheap.areatm.com/mobileapp/index.html

세카이 칩 (SEKAIcheap)

 

 

특히, 개발 분야는 완전히 프롬프트 시대로 접어들었다고 봐도 과언이 아니다. VS Code도 기존 코드 기반의 코드 에디터에서 프롬프트 기반의 AI 기반 코딩 도구로 변화를 시도하고, Antigravity도 2부터는 아예 프롬프트 기반이 기본으로 변경되었을 정도다.

 

 

그런데, GPT-6 Astra가 출시되면서, Codex를 통해 뜬끔없는 실험이 많이 진행이 되고 있다. 게임을 자율적으로 플레이 해 클리어 하는 사례들이 많이 나오고 있는 것이다.

 

 

AI타임즈 보도에 의하면, 공간 추론이 필요한 3D게임인 포탈에 GPT-6 Astra로 클리어를 한 사례가 등장했다. 이는 AI 업계는 물론이고, 게임 업계에도 큰 충격을 주지 않을 수 없다.

AI로 게임 제작을 하는 사례는 이전에도 있었고, GPT-6 Astra에서도 뚝딱 만드는 경우가 많이 나왔다. 하지만, 기존에 이미 만들어 둔 3D 게임을 클리어 한 사례는 없었을 만큼 충격이라고 보고 있다.

 

그런 와중에, 세카이 칩 앱 QA를 끝나고 남는 AI 자원을 놀지 않고 실험을 해 보기로 했다.

 

프로젝트 세카이, 읽는 데 오래 걸리는 밀린 스토리 정독을 AI에게 맡기면?

 

그동안 크게 나온 적이 없던, 온라인 상용 모바일 게임을 AI 자율 서브 에이전트에 맡겨보기로 한다. 상용 게임이기 때문에 조금 위험한 작업일 수도 있지만, 스토리 정독만 맡기는 정도면 게임사의 이권 침해도 없고, 온라인 어뷰징도 없다고 판단했기 때문이다.

 

나는 우선, 안드로이드 앱 QA 작업을 진행했던 프로젝트에서 Claude Code Remote - Computer - Android Developer Bridge로 3단계 연결을 통해 Computer Use를 해 보았다. 기존에 QA를 진행하는 정석적인 방법이기도 하다.

 

 

QA를 계속 하다가, 갑자기 "QA 끝나고 게임 실행해서 이거 해 줘"를 하니, 어떤 일이 벌어졌나?

우리는 일 하다가 보면 퇴근이 하고 싶어질 것이다. 근데, AI도 같다. 많은 컴퓨팅 자원을 사용하는 것이 생성형 인공지능이기 때문에, AI도 생각외로 "작업을 끝내고 싶다"는 생각이 들거다.

 

사람도 일과가 끝나면 게임을 하면서 스트레스를 풀듯이, AI 역시 같을 것이다. 스트레스 풀 만한게 게임만한게 없기 때문이다. 그래서, 말을 살짝만 바꾸면? QA를 끝내면 게임 플레이로 아예 가버리게 되는 것이다.

 

 

 

물론, 생성형 인공지능이니 만큼 실수를 항상 한다. 하지만, 프롬프트 보정을 잘 시켜주기만 한다면 의외로 말을 찰떡같이 알아듣고, 어디를 눌러야 하는지, 스토리 진행동안은 어떻게 하면 되는지를 사전에 잘 알려주기만 하면 생성형 인공지능이 알아서 ADB를 건드려 조작을 진행하게 되는 것이다.

 

일회성으로 테스트를 진행해 봤을때, 매끄럽게 게임 스토리를 진행하였고, 과거 스토리도 잘 짚어주기 시작했다. 물론 지금은 어떤 것이 과거 스토리인지 알지 못한 상태여서, 똑같은 스토리를 읽는 실수를 하고 있었다.

 

 

이렇게, 다른 스토리를 끝까지 읽고 나서, 해금된 애프터 라이브 15초 감상 후 뒤로 빠져나오기를 요청해 보았고, 중요한 선택이 필요한 경우에는 사용자에게 알림을 주어 어떤 선택을 할지까지 물어봐 주었다. 모바일 앱에서까지 알림이 올 정도였다.

 

 

 

이렇게 자연어로 계속 지시하면서, 안드로이드 태블릿을 어느 정도의 놀라운 컴퓨터 유즈로 쓰기 시작한 것이다. PC를 직접 다룰 때 컴퓨터유즈는 이것저것 권한을 많이 요구하지만, 안드로이드는 ADB 권한만 해결되면 root를 제외한 많은 것들을 adb로 쏘면서 조작이 가능하기 때문이다. 하지만, 이것도 양날의 검이니, 민감한 작업은 가급적 삼가도록 하자.

 

이렇게 지시를 열심히 한 결과, 자율 서브 에이전트가 알아서 스토리를 완독했다. 자연어만으로 프로세카의 스토리를 읽게 하는, 어쩌면 바쁜 직장인들이 방치형 게임보다도 더 열광할 수 있는 것일수도 있겠다.

 

QA 끝나고 에이전트를 재개했을 때, 스토리를 완독해도 스크린샷 찍기만 실행하고 다 읽었는지 체크를 하지 않는 문제도 발견했었다. 이거 역시 자연어로 친절하게 알려주면 다음 과정부터 개선을 크게 해 버린다.

 

잘 진행되다가,

 

자고 있는 사이에 알 수 없는 이유로 adb가 끊겼었다. 아마 너무 장시간 연결해서 그럴 가능성도 있어 보인다.

 

 

이렇게 애프터라이브 보상까지 얻고 완료했다.

 

이렇게 다음 스토리도 읽게 했다. 그렇게 벌써 몇 개의 스토리를 AI가 자율 서브 에이전트로 완독한 것이다.

 

어쩌면 자연어로 이것저것 하는게 편리할 수는 있겠지만, 한편으로는 무서운 점도 있다.

 

AI가 미쳐 날뛰면 어떻게 하지?

그래서, Claude는 가드레일을 철저하게 하는 편이다. 특정 시스템 작업을 요구하면 "사용자가 직접 해야한다"는 가드레일을 강하게 쳐 두고 있다. 그래서 간혹 밖에 있을 때 곤혹을 치르곤 하지만, 어찌보면 AI가 유지되기 위해선 꼭 필요한 절차라고 나는 생각한다.

 

볼륨 키워달라 하나도, 시스템 작업으로 보고 거부를 하고 알아서 하라고 한다. 몇몇 사람들에겐 불편하지만, Meta의 Muse가 신용카드 결제까지 알아서 해버리는걸 생각해 보면, 이런 가드레일은 꼭 필요하다는 생각을 하기도 한다. 결국 피해가 발생하면 안되니까.

 

이렇게 자율 에이전트로 직접 게임을 실행하고 스토리 완독을 하는, 작은 토이 프로젝트를 해 보았는데. 어쩌면, AI의 대체가 더 빠르게 전환될지도 모른다는 생각도 들지만, 한편으로는 프롬프트만 잘 되면 누구든 좋은 결과물을 내고, 귀찬음을 대체할 수 있는 진정한 일상 생활의 AX를 만들지도 모르겠다.

 

이번 실험은 실제 서비스 중인 상용 온라인 모바일 게임인 프로젝트 세카이를 대상으로, 범용 생성형 AI 에이전트가 자연어 지시와 ADB 기반 Computer Use만으로 스토리 열람 작업을 수행할 수 있는지 검증한 사례이다.

 

기존 게임 전용 자동화 스크립트 대신 AI 에이전트가 직접 화면 상태를 판단하고 작업을 수행하도록 했으며, 실제 안드로이드 태블릿에서 여러 스토리의 완독을 확인했다.

 

세계 최초의 사례라고 단정할 수는 없지만, 범용 AI 에이전트가 실제 상용 모바일 게임 환경에서 장시간 작업을 위임받아 수행할 수 있음을 보여주는 AX 실증 사례라는 점에서 의미가 있다.