Чтобы учиться, не нужно обладать ни разумом, ни сознанием

[macroevolution]

В рамках курса "Введение в эволюционную антропологию" нужно быстренько объяснить студентам базовые принципы работы нервной системы. Весьма полезной для этого оказалась вот такая вымышленная схема нейронного контура, способного обучаться выбору одного из двух действий в ответ на стимул (световой сигнал) в зависимости от результата. Сначала, конечно, нужно объяснить, что такое нейрон, потенциал покоя, потенциал действия, синапс, нейротрансмиттеры, ионотропные и метаботропные рецепторы. Потом - схему формирования кратковременной и долговременной памяти в простейшей системе из трех нейронов у аплизии (см. тут). Ну а потом уже можно показать вот такую схему:



И на ней объяснить несколько общих принципов. ГАМКэргические нейроны посылают тормозящие сигналы (линии с точкой), глутаматэргические - возбуждающие (стрелочки). Слева здесь блок случайного выбора одного из двух действий в ответ на световой сигнал. Фоторецептор посылает импульс двум нейронам, но тот из них, кто случайно возбудится чуть раньше, затормозит своего конкурента. Поэтому будет сделан случайный, но при этом однозначный, уверенный выбор одного из двух действий.
Здесь демонстрируется принцип взаимного торможения - универсальный элемент "демократических" систем принятия решений, спасающий от ловушки "Буриданова осла". Суть его в том, что нужно не только проталкивать собственную точку зрения, но и активно затыкать оппонентов. Применяется не только в парламентах, но даже пчелиным роем при выборе места для поселения.
Справа - блок различения добра и зла, тоже использующий взаимное торможение. Если этот блок, взвесив положительные и отрицательные сигналы, в итоге "видит, что это хорошо", то возбуждается зелененький  дофаминэргический нейрон. Его окончания выбрасывают дофамин (модулирующий сигнал) на аксонные окончания первого блока. И там, где сейчас пробегали потенциалы действия, формируется память (усиливается синаптическая проводимость). И теперь в ответ на следующий световой сигнал будет уже выбираться не случайное действие, а то самое, которое было выбрано в прошлый раз. Вот у нас и произошло обучение на положительном опыте.

Схемка позволяет понять, например, каким образом ухитряется чему-то учиться и что-то запоминать червячок C. elegans с нервной системой из 304 нейронов.

Ну а затем, рассказывая про мозги и нейропсихологию, удобно время от времени возвращаться к этой схемке и пояснять на ней разные тонкие материи. Например:
1) Что нейромодулятор, передающий информацию о том, что "всё получилось хорошо", и стимулирующий запоминание, можно подавать не точечно в синапсы, а разливать широко в межклеточном пространстве в данном отделе мозга - и всё равно система сработает,
2) Что у животных со сложной НС такие выбросы соответствуют чувству удовольствия,
3) Что такое система внутреннего подкрепления, как она соотносится с обычным подкреплением, и почему, если вдруг появляется возможность возбудить зеленый нейрон напрямую, то "трудные окольные пути" вроде добывания пищи или поиска и охмурения сексуальных партнеров становятся "избыточными" - и тогда крыса жмет на рычаг, пока не умрет с голоду, а наркоман колется героином, и даже перспектива скорой смерти его не останавливает.
4) Почему так легко формируются (и у людей, и у других животных) бессмысленные ритуалы и компульсивное поведение: ведь такая простая система не понимает причин и следствий и запоминает "удачный" выбор действия, даже если он совпал с положительным подкреплением чисто случайно.

Ну и всякие другие интересные мысли появляются, когда начинаешь фантазировать, как те или иные простые самообучающиеся контуры в принципе могут быть собраны из нейронов.

Comments

[rvp74.livejournal.com]

Не менее интересен обратный вопрос: а что нужно, чтобы обладать разумом и сознанием?

[macroevolution.livejournal.com]

Ну, для начала, нужно иметь контур не из 15, а из 15 000 000 000 нейронов. И добавить блоки построения виртуальных моделей/образов реальных объектов, включая сородичей и самого себя.

[mikev.livejournal.com]

А внутреннее подкрепление всегда положительное?

[macroevolution.livejournal.com]

У нас есть "система внутреннего подкрепления" ("система вознаграждения"), и есть еще отдельная "система боли" (см. картинку здесь). Но первая, по-видимому, играет в обучении более фундаментальную роль. В ней роль "вещества удовольствия" играет дофамин (а специального "вещества боли", кажется, нет). При этом удовольствие - это когда дофамина выделяется много, а неудовольствие - когда мало.

[dims12.livejournal.com]

А почему такая асимметрия между "добром" и "злом"?

"Блок различения" просто конвертирует стимулы, считающиеся позитивными, в дофамин и льёт его в центр принятия решения. Это линия действия "добра".

А линия действия "зла" заключается в том, что оно сложным образом воздействует на "блок различения" и снижает выработку тем дофамина.

Иными словами, почему ГАМК не льётся точно так же широким потоком, а воздействует только точечно?

[macroevolution.livejournal.com]

Ну, по крайней мере мезолимбическая система, начинающаяся в ventral tegmental area (VTA), действительно влияет на обучение именно выбросами дофамина в далекие отделы мозга (в том числе в префронтальную кору), а использование ГАМК ограничивается "выяснением вопросов" внутри системы; см. например: http://elementy.ru/news/431754

[para-pescar.livejournal.com]

Александр, как вы думаете, почему мы обладаем сознанием и субъективным опытом, если, судя по данным нейрофизиологии, без всего этого, в принципе, можно обойтись? Это случайность что ли какая-то, закреплённая в ходе эволюции? Этот вопрос возник у меня после знакомства с "философским зомби".

[macroevolution.livejournal.com]

Это вроде бы главный из нерешенных вопросов нейробиологии (как из нейронов сделано сознание и воспринимающий субъект)
То, что у нас это так сильно развилось, наверняка связано с нашей гиперсоциальностью. Предполагаю, что "я" появилось в результате усиленного развития "мысленной модели себя", которая была необходима в связи с развитием theory of mind, т.е. с необходимостью просчитывать реакции, мотивы, желания соплеменников для эффективного функционирования в социуме; причем в маленьком сплоченном коллективе, где очень важна репутация, необходимо было умение взглянуть на себя (на мысленную модель себя) со стороны - глазами соплеменников, чтобы понять, какое впечатление произведут на них те или иные ваши действия.

[lonely-u.livejournal.com]

А сколько на моей памяти, было таких, что нужно научиться списывать-делать(шпаргалки)-спать с первого курса до диплома, со всеми, кому не лень...
А как тема - один давнишний знакомец. (я как то помог ему, ещё студентом, в автобусе, отбиться о тгопоты), иногда встречаемся на улице.
-Да я в лепёшку разобьюсь, если у меня на потоке будет хотя бы пять!!! способных студентов! И читать буду только для них, и даже отмазывать, если "хвосты", по Влюблённости, чего то прочего, появятся!! Один (фиг), принесут, будут умаливать, я... эти деньги вложу, чтобы те, кто на что то способен, так и остались, МОИМИ Учениками!!!

Чтобы учиться, не нужно обладать ни разумом, ни сознани

[livejournal.livejournal.com]

Пользователь shadow_stasia сослался на вашу запись в записи «Чтобы учиться, не нужно обладать ни разумом, ни сознанием (http://shadow-stasia.livejournal.com/47001.html)» в контексте: [...] Оригинал взят у в Чтобы учиться, не нужно обладать ни разумом, ни сознанием [...]

[shadow-stasia.livejournal.com]

Утащила к себе, если не возражаете

Чтобы учиться, не нужно обладать ни разумом, ни сознани

[livejournal.livejournal.com]

Пользователь eredraug сослался на вашу запись в записи «Чтобы учиться, не нужно обладать ни разумом, ни сознанием (http://apokrif93.livejournal.com/14471645.html)» в контексте: [...] иные простые самообучающиеся контуры в принципе могут быть собраны из нейронов. Источник сообщения [...]

[1a1.livejournal.com]

Замечательный заголовок!
(Для провозглашения студентам с кафедры - с назидательной интонацией, с поднятым указательным пальцем и глубокомысленным выраженьем на лице

[dennett.livejournal.com]

а как-то появление чувства удовольствия обьясняете?
(появление самого субьективного чувства, а не его физиологического коррелята)
или просто обходите стороной этот вопрос?

[eigen-state.livejournal.com]

с помощью 'hedonic hotspots'

[ivanova-ffm.livejournal.com]

Скажите пожалуйста, а если пчелы нашли два похожих места для улья, но одно немного объективно хуже, чем другое. Однако худшее место нашли большее количество пчел. То рой, видимо, улетит в менее привлекательное место, да? "Издержки демократии", так сказать.

[macroevolution.livejournal.com]

Ну да, а как еще?
Впрочем, та партия разведчиц, которая в меньшинстве, наверное, имеет шанс все же настоять на своем и переубедить остальных, если энергичность их танца и частота "стоп-сигналов" будут пропорциональны достоинствам найденного ими места.

[2born.livejournal.com]

Достаточно взглянуть на моих студентов, чтобы убедиться в справедливости заголовка:)))) Только вот почему-то так ничему и не обучаются))))

[macroevolution.livejournal.com]

:)
Продолжение этой цитаты не помню откуда звучит примерно так "впрочем, разум и сознание могут повысить эффективность процесса".

[joppux.livejournal.com]

> крыса жмет на рычаг, пока не умрет с голоду

В каком-то номере Scientific American была статья про то, что возможно крысы испытывали не удовольствие, а стимул "что-то делать", который они интерпретировали как то, что рычаг нужно нажать еще раз.

[wollsen.livejournal.com]

Сопру, ибо хорошо.

Чтобы учиться, не нужно обладать ни разумом, ни сознани

[livejournal.livejournal.com]

Пользователь studynewsgroup сослался на вашу запись в записи «Чтобы учиться, не нужно обладать ни разумом, ни сознанием (http://edunews-ru.livejournal.com/16026.html)» в контексте: [...] Оригинал взят у в Чтобы учиться, не нужно обладать ни разумом, ни сознанием [...]

[loneyacht.livejournal.com]

а я все не пойму, что является инициатором осознанного действия? Что запускает реакцию, в результате которой возбуждаются нейроны определенного участка коры мозга? С "эмоциональным мозгом" и базальными ганглиями более-менее понятно, там работают программы без участия сознания, а вот, что просходит между тем, как я подумал, что нужно, например, пошевелить пальцем и возбуждением участка коры, который посылает сигнал в спинной мозг и дальше в палец, не понимаю.

[macroevolution.livejournal.com]

Ну, конечно, в деталях расписать этот процесс пока нельзя, и мы не знаем, как из нейронов сделано сознание. Но если оставить в стороне вопрос о том, как оно сделано, то ситуация не менее понятна, чем с базальными ганглиями. В тот момент, когда вы осознали решение пошевелить пальцем (сформированное, скорее всего, на бессознательном уровне, с участием тех самых базальных ганглиев), та область моторной коры, которая контролирует движение пальца, уже активирована. Это просто необходимая часть думания о движении пальцем. Остается там что-то чуть-чуть добавить или снять какой-то тормоз, чтобы мысль о движении превратилась в моторную команду. Как-то так, по-моему.

[eovin2.livejournal.com]

Это ж вроде как условный рефлекс, не?

[macroevolution.livejournal.com]

Ага.

[russian-o.livejournal.com]

А вы "Ложную слепоту" Уоттса не читали? Там, как раз, весь сюжет на этой посылке строится - "цивилизация" космического масштаба не обладающая, предположительно, самосознанием.

[lamecame.livejournal.com]

Я тоже вспомнил об этой книге. :)
------
Простите за оффтоп.
Такое рассуждение.
Утверждение - если какая-то система может обучаться, то у нее обязательно должны быть эмоции. (Положительное/отрицательное подкрепление. Например, в электронных шахматах за разные ходы может выставляться разное количество баллов. Хотя я не очень хорошо представляю, как работают эти программы.)
Такое следствие - если у системы появляются эмоции, то это уже означает, что она обладает сознанием.

[poplavsky.livejournal.com]

А как усложнение контура то происходит с поколениями эволюции?

[nzak.livejournal.com]

А если наоборот, блок различения добра и зла покажет, что это большое зло, то синаптическая проводимость данного пути резко ослабнет? или червяк будет пробовать случайные действия, пока не наткнется на вариант, при котором его не наказывают?

И еще вопрос: допустим, при действии червяка, соответствующему первому пути, его поощряли, и в результате он начинает всегда выполнять первое действие (синапсы там лучше и второй путь блокирован). Тогда переучить такого червяка уже невозможно? ведь вероятность второго действия равна нулю?

Ссылки

[livejournal.livejournal.com]

Пользователь dok_zlo сослался на вашу запись в записи «Ссылки (http://dok-zlo.livejournal.com/1227851.html)» в контексте: [...] 11. схема нейронного контура Тыц [...]

Ссылки

[livejournal.livejournal.com]

Пользователь karhu53 сослался на вашу запись в записи «Ссылки (http://karhu53.livejournal.com/415752.html)» в контексте: [...] 11. схема нейронного контура Тыц [...]

Ссылки от Дока

[livejournal.livejournal.com]

Пользователь olenenyok сослался на вашу запись в записи «Ссылки от Дока (http://olenenyok.livejournal.com/6017893.html)» в контексте: [...] 11. схема нейронного контура Тыц [...]

[8aetherous8.livejournal.com]

Тоже мне новость :) Философы-просветители это уже в XVIII веке говорили. Правда, говорили они это именно как предположение и на основе совсем уж умозрительных логических построений, но тем не менее...

[macroevolution.livejournal.com]

Что "это" они говорили? Разве они философствовали на тему нейронных сетей, взаимного торможения и дофаминэргической системы внутреннего подкрепления?

Чтобы учиться, не нужно обладать ни разумом, ни сознани

[livejournal.livejournal.com]

Пользователь wollsen сослался на вашу запись в записи «Чтобы учиться, не нужно обладать ни разумом, ни сознанием (http://wollsen.livejournal.com/1111162.html)» в контексте: [...] Оригинал взят у в Чтобы учиться, не нужно обладать ни разумом, ни сознанием [...]