Одним из страхов при использовании больших языковых моделей является возможное отупление. Может быть, иногда это и так. Но мой опыт часто показывает обратное: при хорошем сценарии такие системы ускоряют вход в тему, помогают увидеть структуру задачи и быстрее замечать слабые места. Поэтому возникает нормальный вопрос: как именно это работает, и в каких случаях это полезно, а когда - вредно. Пополняем копилочку.
Свежие рандомизированные контролируемые эксперименты дают неприятный, но важный ответ. Сам по себе быстрый и гладкий ответ машины ещё не означает, что человек стал сильнее. В исследовании компании Антропик разработчики, изучавшие новую библиотеку (речь о программировании) с помощью помощника на основе искусственного интеллекта, почти не выиграли во времени, зато хуже усвоили материал: итоговый результат теста оказался ниже на 17%, а особенно просела отладка, именно там, где потом приходится думать самому 😒
Попытка сделать педагогического помощника тоже не стала чудом. В эксперименте помощник, построенный на сократическом диалоге, действительно усиливал рефлексию и метапознание, но не улучшил точность ответов и не сделал поиск информации качественнее. Более того, участники заметно тянулись к быстрым утвердительным ответам вместо проверки оснований 😞
Ещё один важный результат: когда людям показывают не только совет системы, но и первичные основания, то они чаще опираются на доказательства, а не на кайфовые объяснения. В работе Уоррена, например, участники в большинстве случаев принимали решение именно по доказательствам, а не по сопроводительному объяснению. Это важный сигнал для проектирования: красивое объяснение не равно хорошему мышлению, если пользователь не видит, на чём оно стоит. Не случайно сами разработчики ллм уже начали выносить отдельные учебные режимы, где цель не только ответ, но и понимание.
Короче пока что так:
❌ Плохо, когда система превращает человека в оператора кнопки «сделай за меня».
✅ Хорошо, когда система сначала удерживает человека в мысли, потом показывает основание и только после этого ускоряет. Тогда это не костыль для ума, а тренажёр с усилителем.
Свежие рандомизированные контролируемые эксперименты дают неприятный, но важный ответ. Сам по себе быстрый и гладкий ответ машины ещё не означает, что человек стал сильнее. В исследовании компании Антропик разработчики, изучавшие новую библиотеку (речь о программировании) с помощью помощника на основе искусственного интеллекта, почти не выиграли во времени, зато хуже усвоили материал: итоговый результат теста оказался ниже на 17%, а особенно просела отладка, именно там, где потом приходится думать самому 😒
Попытка сделать педагогического помощника тоже не стала чудом. В эксперименте помощник, построенный на сократическом диалоге, действительно усиливал рефлексию и метапознание, но не улучшил точность ответов и не сделал поиск информации качественнее. Более того, участники заметно тянулись к быстрым утвердительным ответам вместо проверки оснований 😞
Ещё один важный результат: когда людям показывают не только совет системы, но и первичные основания, то они чаще опираются на доказательства, а не на кайфовые объяснения. В работе Уоррена, например, участники в большинстве случаев принимали решение именно по доказательствам, а не по сопроводительному объяснению. Это важный сигнал для проектирования: красивое объяснение не равно хорошему мышлению, если пользователь не видит, на чём оно стоит. Не случайно сами разработчики ллм уже начали выносить отдельные учебные режимы, где цель не только ответ, но и понимание.
Короче пока что так:
❌ Плохо, когда система превращает человека в оператора кнопки «сделай за меня».
✅ Хорошо, когда система сначала удерживает человека в мысли, потом показывает основание и только после этого ускоряет. Тогда это не костыль для ума, а тренажёр с усилителем.