В исследовании принимали участие 500 человек. Каждый из них должен был пообщаться с четырьмя собеседниками. Одним оппонентом оказывался живой человек, а остальные представляли собой продукты ИИ. Для опыта ученые выбрали популярные языковые модели GPT-3.5 и GPT-4, созданные компанией OpenAI, а также виртуального собеседника под названием ELIZA, разработанного в 1966 году и имитирующего разговор с психотерапевтом по методике активного слушания.
В течение 5 минут респонденты по отдельности беседовали с каждым из четырех собеседников и пытались понять, кто поддерживает диалог — человек или ИИ.
В результате около 54 % участников исследования назвали GPT-4 живым человеком, 50 % не смогли отличить GPT-3.5 от настоящего оппонента и 22 % ошибочно посчитали человеком программу ELIZA. Живого собеседника идентифицировали 67 % респондентов.
По словам ученых, опыт доказывает, что возможности искусственного интеллекта становятся все шире. Сегодня ИИ предлагает не только шаблонные фразы и ответы, но и может поддерживать диалог, шутить, сомневаться, а иногда и манипулировать собеседником.
При этом сотрудники компании Epoch считают, что способности кибернетического разума все-таки ограничены. Они полагают, что к 2032 году развитие ИИ приостановится, поскольку к этому времени языковые модели успеют изучить весь объем общедоступных текстовых данных. Сегодня крупнейшая языковая модель LLM Llama 3 уже знает порядка 15 триллионов слов.
По словам сотрудника OpenAI, вероятно, через 3 года появится такой алгоритм, который сможет воспринимать и понимать окружающую действительность как настоящий человек.