[번역] GDC2024 UBSOFT의 AI 기반 NPC 공개
유비소프트의 AI 기반 NPC는 플레이어와 동적 상호작용을 어떻게 처리 합니까?
주요 내용 요약
- UBI Soft에서 게임플레이어와 동적 상호작용이 가능한 AI NPC를 공개
- 캐릭터의 고유한 배경, 성격 및 태도를 LLM을 통해 사전에 학습 시켜 플레이어와 대화를 가능하게 만들고 3개 시나리오를 통해 테스트를 진행
- NVIDIA의 Audio 2 Face 기술을 이용하여 실시간 대화를 애니메이션으로도 구gus
NEO NPC는 전기양을 꿈꾸는가
(해석 : "안드로이드는 전기양을 꿈꾸는가" 영화 블레이드 런너 원작 소설의 제목을 인용한 문구 기계와 인간 사이의 경계에 대한 의미로 해석)
UBISOFT 제공
GDC 2024에서 Ubisoft은 공식적으로 NEO NPC를 공개했습니다. 게임 내 대화와 플레이어와 비플레이어 캐릭터 간의 상호작용을 위한 생성 AI 기반 기술입니다.
NEO NPC 프로젝트는 Ubisoft의 개발자와 Inworld AI 간의 협업으로, NEO NPC에 대한 대규모 언어 모델(LLM)을 제공하여 개발자가 고유한 배경, 성격 및 태도를 가진 캐릭터를 만들고 형성할 수 있도록 합니다.
NVIDIA도 참여하여 Audio2Face 기술을 제공하여 NEO NPC를 실시간으로 애니메이션화 합니다.
NEO NPC 기술은 아직 초기 단계이지만, GDC에서 기술을 시연하는 플레이 가능한 데모가 제공되었습니다. 여기에는 플레이어가 NEO NPC와 직접 대화하고 대화를 나누는 세 가지 개별 시나리오가 포함되어 있으며, NPC로부터 정보를 얻는 것을 기반으로 실시간 응답과 진행 중인 목표를 얻습니다.
첫 번째 시나리오에는 Bloom이라는 캐릭터의 배경에 대해 배우고, 롤플레잉 방식으로 자신의 배경을 공유하고, 자신이 참여한 저항 단체에 대한 정보를 얻는 것이 포함되었습니다.
이 시나리오에는 또한 내가 채워야 하는 관계 막대가 있었는데, 이는 소셜 시뮬레이션 요소가 있는 RPG의 관계 막대와 유사하며, 이는 감정 시스템과 게임 내 목표에 따라 관련된 주제에 반응합니다. NEO NPC와 Inworld의 AI 엔진과 통합된 오픈 소스 음성 인식을 통해 그들은 당신이 그들에게 말한 것을 해석하고, 친절하게 반응하고, 당신이 말한 것을 기억하여 나중에 특정 지점에서 참조할 수 있습니다. 나는 그들에게 내가 초인적인 힘을 가지고 있고, 예전에는 적 편이었다고 말함으로써 시스템을 테스트해 보았고, Bloom은 게임 세계에서 설정된 범위 내에서 측정 된 반응으로 반응했습니다.
모든 이미지는 Ubisoft의 제공입니다.
두 번째 시나리오에서는 Bloom과 함께 원격 조종 드론의 비디오 피드를 시청했는데, 이는 NEO NPC가 게임 환경 내에서 일어나는 일에 대응하는 능력과 플레이어가 이에 대해 구체적으로 이야기하는 능력을 보여주었습니다. 그러나 NPC가 다른 작업에 집중하는 동안 자연스러운 상호 작용을 하는 데 제약이 있었습니다. 그러나 NPC가 한 가지에 집중하고 그에게 한 말을 해석할 수 없는 경우입니다.
데모의 세 번째이자 마지막 단계에서는 새로운 NPC인 Iron과 함께 건물에 침투하는 작전을 계획했습니다. 그녀와 대화하고 질문을 하면 작전 목표에 대한 통찰력이 더 커졌지만, 전통적인 대화 트리와 더 비슷하게 구성되었습니다. 최상의 결과를 위한 정답이 있었습니다. 예를 들어, 팀의 해커가 연막탄으로 엄폐물을 만드는 대신 카메라를 비활성화하라고 제안하는 것이 최적의 선택이었습니다.
Ubisoft 내러티브 팀이 NEO NPC가 경험의 로어와 스토리의 범위 내에서 준수하도록 매개변수를 지정한다는 점은 주목할 만합니다. 따라서 NEO NPC를 만들 때 큐레이션 수준이 있습니다. 이전에 Mario + Rabbids: Sparks of Hope의 수석 프로듀서였던 Xavier Manzanares는 현재 NEO NPC 프로젝트의 프로듀서이며, 프레젠테이션에서 디자인 철학에 대해 이야기했습니다.
"우리가 염두에 두는 것은 테이블에 있는 모든 새로운 기술 만으로는 게임을 만들 수 없다는 것입니다. 디자인과 혁신에도 부합해야 합니다. GenAI가 정확히 동일한 것이라는 것이 정말 중요합니다." Manzanares가 말했습니다. 그는 "GenAI는 도구이고 기술입니다. 게임을 만드는 것이 아니라 디자인과 연결되어야 하며 그 기술로 무언가를 추진하고자 하는 팀과 연결되어야 합니다. 팀 내에서 항상 가지고 있던 질문은 '크리에이티브에게 무엇이 좋을까? 플레이어에게 무엇이 좋을까?'였습니다."
NEO NPC 육성
따라서 NPC 짖는 소리를 채우거나 GenAI 모델을 기반으로 더 반응성 있는 NPC를 갖는 것은 그것이 사용되는 한 가지 방법일 뿐입니다. 그것은 분명히 글쓰기 팀을 위한 도구이며, 내러티브 디렉터인 Virginie Mosser가 데모 후 패널에서 이에 대해 말했습니다. "그래서 제 역할은 [NEO NPC]를 육성하여 배경 스토리, 흐름, 특성, 구어체를 구축하는 것입니다. 대화 스타일에 중요하기 때문입니다. 그들이 더 일관되고, 진정한 성격을 갖고, 감정에 대한 진정한 초점을 갖도록 하려면 많은 콘텐츠가 필요합니다." Mosser는 이 기술이 그녀의 작업 방식을 어떻게 바꾸었는지에 대한 질문을 받았을 때 이렇게 말했습니다. 그녀는 또한 프로젝트에 들어가기 전에 의심이 있었다고 언급했습니다.
Inworld AI의 CEO 겸 공동 창립자인 킬런 깁스는 디자이너가 NPC에 설정할 수 있는 경계에 대해 "플레이어가 말하는 내용에서 안전하지 않을 수 있는 것을 감지하는 것뿐만 아니라, 모델이 이를 볼 수 있도록 하고, 안전하지 않을 수 있는 주제를 감지한 다음 다양한 안전 필터를 통과하는 등 다양한 단계를 거칩니다."라고 말했습니다. 그는 "그리고 내러티브 컨트롤이 있는데, 의도된 세계 영역을 벗어나지 않도록 합니다."라고 덧붙였습니다. 깁스는 이 도구를 통해 개발자가 NEO NPC의 행동을 내러티브 팀이 제공하는 정보에 기반하여 유지할 수 있다고 강조했습니다.
현재 NEO NPC 프로젝트에는 Ubisoft Paris, Montpellier, Montreal 스튜디오가 포함되어 있으며, Manzanares에 따르면 약 30명으로 구성된 팀이 있습니다. 여기에는 프로젝트를 안내하는 수석 데이터 과학자 Mélanie Lopez Malet과 과학 책임자 David Louapre가 포함됩니다. 현재로서는 다가올 Ubisoft 게임에서 NEO NPC를 적용한 사례가 알려져 있지 않습니다.
원문 링크
NEO NPC 기술은 아직 초기 단계이지만, GDC에서 기술을 시연하는 플레이 가능한 데모가 제공되었습니다. 여기에는 플레이어가 NEO NPC와 직접 대화하고 대화를 나누는 세 가지 개별 시나리오가 포함되어 있으며, NPC로부터 정보를 얻는 것을 기반으로 실시간 응답과 진행 중인 목표를 얻습니다.
첫 번째 시나리오에는 Bloom이라는 캐릭터의 배경에 대해 배우고, 롤플레잉 방식으로 자신의 배경을 공유하고, 자신이 참여한 저항 단체에 대한 정보를 얻는 것이 포함되었습니다.
이 시나리오에는 또한 내가 채워야 하는 관계 막대가 있었는데, 이는 소셜 시뮬레이션 요소가 있는 RPG의 관계 막대와 유사하며, 이는 감정 시스템과 게임 내 목표에 따라 관련된 주제에 반응합니다. NEO NPC와 Inworld의 AI 엔진과 통합된 오픈 소스 음성 인식을 통해 그들은 당신이 그들에게 말한 것을 해석하고, 친절하게 반응하고, 당신이 말한 것을 기억하여 나중에 특정 지점에서 참조할 수 있습니다. 나는 그들에게 내가 초인적인 힘을 가지고 있고, 예전에는 적 편이었다고 말함으로써 시스템을 테스트해 보았고, Bloom은 게임 세계에서 설정된 범위 내에서 측정 된 반응으로 반응했습니다.
모든 이미지는 Ubisoft의 제공입니다.
두 번째 시나리오에서는 Bloom과 함께 원격 조종 드론의 비디오 피드를 시청했는데, 이는 NEO NPC가 게임 환경 내에서 일어나는 일에 대응하는 능력과 플레이어가 이에 대해 구체적으로 이야기하는 능력을 보여주었습니다. 그러나 NPC가 다른 작업에 집중하는 동안 자연스러운 상호 작용을 하는 데 제약이 있었습니다. 그러나 NPC가 한 가지에 집중하고 그에게 한 말을 해석할 수 없는 경우입니다.
데모의 세 번째이자 마지막 단계에서는 새로운 NPC인 Iron과 함께 건물에 침투하는 작전을 계획했습니다. 그녀와 대화하고 질문을 하면 작전 목표에 대한 통찰력이 더 커졌지만, 전통적인 대화 트리와 더 비슷하게 구성되었습니다. 최상의 결과를 위한 정답이 있었습니다. 예를 들어, 팀의 해커가 연막탄으로 엄폐물을 만드는 대신 카메라를 비활성화하라고 제안하는 것이 최적의 선택이었습니다.
Ubisoft 내러티브 팀이 NEO NPC가 경험의 로어와 스토리의 범위 내에서 준수하도록 매개변수를 지정한다는 점은 주목할 만합니다. 따라서 NEO NPC를 만들 때 큐레이션 수준이 있습니다. 이전에 Mario + Rabbids: Sparks of Hope의 수석 프로듀서였던 Xavier Manzanares는 현재 NEO NPC 프로젝트의 프로듀서이며, 프레젠테이션에서 디자인 철학에 대해 이야기했습니다.
"우리가 염두에 두는 것은 테이블에 있는 모든 새로운 기술 만으로는 게임을 만들 수 없다는 것입니다. 디자인과 혁신에도 부합해야 합니다. GenAI가 정확히 동일한 것이라는 것이 정말 중요합니다." Manzanares가 말했습니다. 그는 "GenAI는 도구이고 기술입니다. 게임을 만드는 것이 아니라 디자인과 연결되어야 하며 그 기술로 무언가를 추진하고자 하는 팀과 연결되어야 합니다. 팀 내에서 항상 가지고 있던 질문은 '크리에이티브에게 무엇이 좋을까? 플레이어에게 무엇이 좋을까?'였습니다."
NEO NPC 육성
따라서 NPC 짖는 소리를 채우거나 GenAI 모델을 기반으로 더 반응성 있는 NPC를 갖는 것은 그것이 사용되는 한 가지 방법일 뿐입니다. 그것은 분명히 글쓰기 팀을 위한 도구이며, 내러티브 디렉터인 Virginie Mosser가 데모 후 패널에서 이에 대해 말했습니다. "그래서 제 역할은 [NEO NPC]를 육성하여 배경 스토리, 흐름, 특성, 구어체를 구축하는 것입니다. 대화 스타일에 중요하기 때문입니다. 그들이 더 일관되고, 진정한 성격을 갖고, 감정에 대한 진정한 초점을 갖도록 하려면 많은 콘텐츠가 필요합니다." Mosser는 이 기술이 그녀의 작업 방식을 어떻게 바꾸었는지에 대한 질문을 받았을 때 이렇게 말했습니다. 그녀는 또한 프로젝트에 들어가기 전에 의심이 있었다고 언급했습니다.
Inworld AI의 CEO 겸 공동 창립자인 킬런 깁스는 디자이너가 NPC에 설정할 수 있는 경계에 대해 "플레이어가 말하는 내용에서 안전하지 않을 수 있는 것을 감지하는 것뿐만 아니라, 모델이 이를 볼 수 있도록 하고, 안전하지 않을 수 있는 주제를 감지한 다음 다양한 안전 필터를 통과하는 등 다양한 단계를 거칩니다."라고 말했습니다. 그는 "그리고 내러티브 컨트롤이 있는데, 의도된 세계 영역을 벗어나지 않도록 합니다."라고 덧붙였습니다. 깁스는 이 도구를 통해 개발자가 NEO NPC의 행동을 내러티브 팀이 제공하는 정보에 기반하여 유지할 수 있다고 강조했습니다.
현재 NEO NPC 프로젝트에는 Ubisoft Paris, Montpellier, Montreal 스튜디오가 포함되어 있으며, Manzanares에 따르면 약 30명으로 구성된 팀이 있습니다. 여기에는 프로젝트를 안내하는 수석 데이터 과학자 Mélanie Lopez Malet과 과학 책임자 David Louapre가 포함됩니다. 현재로서는 다가올 Ubisoft 게임에서 NEO NPC를 적용한 사례가 알려져 있지 않습니다.
원문 링크
댓글 없음
댓글 쓰기