Результат неслабо удивил учёных.
Искусственные интеллекты достигают впечатляющих успехов. Data-science эксперты компании SenseTime Research и S-Lab представили отчёт о прогрессе больших языковых моделей, стандартизировав тесты на шести пространственных умениях: оценка расстояний, мысленная реконструкция, восприятие пространственных отношений, смена перспективы, деформация и сборка, комплексное рассуждение.
Исследование включало стандартизацию команда(prompt), шаблонов ответов и метрик. Для многовариантных вопросов использовался показатель Chance-Adjusted Accuracy (CAA), для численных задач — Mean Relative Accuracy (MRA).
GPT-5 стал лидером среди конкурентов, сравнявшись с человеком в оценке расстояний и понимании пространственного расположения объектов. Однако в сложных задачах, таких как мысленная сборка объектов или моделирование действий, модель уступает человеку.
Нейросети, показывают устойчивость к эффекту позиции вариантов в тестах. Тем не менее, в задачах, требующих трёхмерного воображения и логических операций, GPT-5 пока далёк от нашего уровня. Пространственный интеллект пока остаётся сложной задачей для искусственного интеллекта.