Татьяна Черниговская
Татьяна Черниговская о генах, творчестве и чтении
Татьяна Черниговская — доктор биологических наук, профессор, учёный в области нейронауки и психолингвистики, а также теории сознания. В 2017 году номинирована РАН на Золотую медаль за выдающиеся достижения в области пропаганды научных знаний.
Из интервью Татьяны Черниговской:
Везение с генами — это как рояль «Steinway», доставшийся по наследству. Хорошо, конечно, но играть-то на нём всё равно нужно учиться.
Мозг запоминает всё, мимо чего он прошёл, унюхал, попробовал, услышал, потрогал и так далее. Мозг — не решето. Ничего не высыпается из него. Мы, грубо говоря, ничего не забываем, просто большая часть данных лежит в «папке «Другое». Поэтому: не надо слушать плохую музыку, не надо читать плохие книги, не надо всякое дерьмо есть, не надо дрянь пить, не нужно общаться с плохими людьми.
Говоря в общем, для творчества необходимо снять когнитивный контроль и не бояться ошибок. Ошибки — это прекрасно. Да и кто скажет, что такое ошибка?
Многие творческие люди говорят, что озарения приходят неожиданно, во время рутинных действий, никак не связанных с решаемой задачей: я смотрю телевизор, читаю книгу — и вдруг у меня образуется эта долго не появлявшаяся связь!
История науки свидетельствует: открытие нельзя спланировать, кроме технических достижений (их может совершать и компьютер), и идеи приходят в голову, когда человек совершенно к этому не готов.
Открытие нельзя сделать по плану. Правда, есть существенная добавка: они приходят подготовленным умам. Понимаете, таблица Менделеева не приснилась его кухарке. Он долго работал над ней, мозг продолжал мыслить, и просто «щелкнуло» во сне. Я так говорю: таблице Менделеева страшно надоела эта история, и она решила ему явиться во всей красе.
Татьяна Черниговская о генах, творчестве и чтении
У людей неправильные установки, они считают, что, например, повар хуже, чем дирижер. Это не так: гениальный повар перекроет всех дирижеров, я вам как гурман говорю. Сравнивать их все равно что кислое и квадратное — неправильно поставлен вопрос. Каждый хорош на своем месте.
Не мыслить «как все», или проблемы творческих детей
Творческие люди обучаются сами и начинают это делать очень рано. Свои необычные идеи, свои открытия они никогда не считают чем-то экстраординарным. Это для них самая обычная и очевидная вещь. Они часто не понимают, в чем, собственно, состоит их заслуга, если всё так очевидно. Очевидно ИМ…
У таких людей, как правило, неприятности в школе, большая их часть умнее учителей. Они, конечно, не знают того, что знают учителя, но они могут быть умнее. И поэтому попадают в очень сложную ситуацию, оказываясь под прессингом общества.
У меня был коллега, детский врач-терапевт, он рассказал такую историю. Один мальчик — тотальный двоечник в школе, сидя дома, будучи семи лет от роду, изобрел паровой двигатель. И не просто его изобрел, а собрал.
Представьте себе: паровой двигатель на подсолнечном масле, брызгая этим самым раскаленным маслом, носится по квартире! При этом мальчика все считают дурачком.
Почему необходимо читать
Чтобы развиваться, надо читать сложную литературу. Важно линейное чтение — от начала до конца. Гипертекст, вынуждающий кликать на выделенное слово и как бы проваливаться в него, порождает нестройность мысли.
Люди, которые выросли на таком типе чтения, не в состоянии прочесть большой текст целиком. У них рваное сознание — кое-что отсюда, оттуда. Когда спрашиваешь ребенка, про что был этот рассказ, он вам его не может пересказать.
Татьяна Черниговская о генах, творчестве и чтении
Прогнозы ученых о будущем чтения неоптимистичны — предрекают серьезный раскол между возможностями интеллектуальной элиты и основной массы населения земного шара.
Но если дети будут только комиксами заниматься, у них не выработается не только алгоритм для чтения сложной литературы, которая формирует сознание, но и алгоритм сложного думания — они будут думать только на какую кнопку нажать, чтоб тебе гамбургер привезли.
Мозг пластичен не только в детстве, как считали раньше. Доказано: он образует новые нейронные связи до конца жизни. Любая работа, кроме скучной и рутинной, приносит пользу для мозга. Главное — иметь дело с постоянно меняющейся, сложной информацией.
Способность получить высококлассное образование может стать элитарной привилегией, доступной только «посвященным». Вспомним Умберто Эко, предлагавшего в романе «Имя розы» пускать в Библиотеку только тех, кто умеет, кто готов воспринимать сложные знания. Произойдет разделение на тех, кто будет уметь читать сложную литературу, и тех, кто читает вывески, кто таким клиповым образом хватает информацию из интернета. Оно будет раздвигаться все больше и больше.
«Если мы ляжем на диван и будем там лежать полгода, то не сможем встать. Если мозг будет читать идиотские журналы, общаться с дураками, слушать легкую бессмысленную музыку и смотреть тупые фильмы, то не на что жаловаться. Мозг должен тяжело работать. Тяжело – ключевое слово. Мозгу должно быть трудно. Книга, которая может быть для кого-то легкая, но для вас она сложная. Фильм, который вы не понимаете. Значит, вы будете думать, читать критику. Или спектакль, где не ясно, что хотел сказать режиссер. В таком случае мозг будет занят работой».
Из интервью Татьяны Черниговской:
Везение с генами — это как рояль «Steinway», доставшийся по наследству. Хорошо, конечно, но играть-то на нём всё равно нужно учиться.
Мозг запоминает всё, мимо чего он прошёл, унюхал, попробовал, услышал, потрогал и так далее. Мозг — не решето. Ничего не высыпается из него. Мы, грубо говоря, ничего не забываем, просто большая часть данных лежит в «папке «Другое». Поэтому: не надо слушать плохую музыку, не надо читать плохие книги, не надо всякое дерьмо есть, не надо дрянь пить, не нужно общаться с плохими людьми.
Говоря в общем, для творчества необходимо снять когнитивный контроль и не бояться ошибок. Ошибки — это прекрасно. Да и кто скажет, что такое ошибка?
Многие творческие люди говорят, что озарения приходят неожиданно, во время рутинных действий, никак не связанных с решаемой задачей: я смотрю телевизор, читаю книгу — и вдруг у меня образуется эта долго не появлявшаяся связь!
История науки свидетельствует: открытие нельзя спланировать, кроме технических достижений (их может совершать и компьютер), и идеи приходят в голову, когда человек совершенно к этому не готов.
Открытие нельзя сделать по плану. Правда, есть существенная добавка: они приходят подготовленным умам. Понимаете, таблица Менделеева не приснилась его кухарке. Он долго работал над ней, мозг продолжал мыслить, и просто «щелкнуло» во сне. Я так говорю: таблице Менделеева страшно надоела эта история, и она решила ему явиться во всей красе.
Татьяна Черниговская о генах, творчестве и чтении
У людей неправильные установки, они считают, что, например, повар хуже, чем дирижер. Это не так: гениальный повар перекроет всех дирижеров, я вам как гурман говорю. Сравнивать их все равно что кислое и квадратное — неправильно поставлен вопрос. Каждый хорош на своем месте.
Не мыслить «как все», или проблемы творческих детей
Творческие люди обучаются сами и начинают это делать очень рано. Свои необычные идеи, свои открытия они никогда не считают чем-то экстраординарным. Это для них самая обычная и очевидная вещь. Они часто не понимают, в чем, собственно, состоит их заслуга, если всё так очевидно. Очевидно ИМ…
У таких людей, как правило, неприятности в школе, большая их часть умнее учителей. Они, конечно, не знают того, что знают учителя, но они могут быть умнее. И поэтому попадают в очень сложную ситуацию, оказываясь под прессингом общества.
У меня был коллега, детский врач-терапевт, он рассказал такую историю. Один мальчик — тотальный двоечник в школе, сидя дома, будучи семи лет от роду, изобрел паровой двигатель. И не просто его изобрел, а собрал.
Представьте себе: паровой двигатель на подсолнечном масле, брызгая этим самым раскаленным маслом, носится по квартире! При этом мальчика все считают дурачком.
Почему необходимо читать
Чтобы развиваться, надо читать сложную литературу. Важно линейное чтение — от начала до конца. Гипертекст, вынуждающий кликать на выделенное слово и как бы проваливаться в него, порождает нестройность мысли.
Люди, которые выросли на таком типе чтения, не в состоянии прочесть большой текст целиком. У них рваное сознание — кое-что отсюда, оттуда. Когда спрашиваешь ребенка, про что был этот рассказ, он вам его не может пересказать.
Татьяна Черниговская о генах, творчестве и чтении
Прогнозы ученых о будущем чтения неоптимистичны — предрекают серьезный раскол между возможностями интеллектуальной элиты и основной массы населения земного шара.
Но если дети будут только комиксами заниматься, у них не выработается не только алгоритм для чтения сложной литературы, которая формирует сознание, но и алгоритм сложного думания — они будут думать только на какую кнопку нажать, чтоб тебе гамбургер привезли.
Мозг пластичен не только в детстве, как считали раньше. Доказано: он образует новые нейронные связи до конца жизни. Любая работа, кроме скучной и рутинной, приносит пользу для мозга. Главное — иметь дело с постоянно меняющейся, сложной информацией.
Способность получить высококлассное образование может стать элитарной привилегией, доступной только «посвященным». Вспомним Умберто Эко, предлагавшего в романе «Имя розы» пускать в Библиотеку только тех, кто умеет, кто готов воспринимать сложные знания. Произойдет разделение на тех, кто будет уметь читать сложную литературу, и тех, кто читает вывески, кто таким клиповым образом хватает информацию из интернета. Оно будет раздвигаться все больше и больше.
«Если мы ляжем на диван и будем там лежать полгода, то не сможем встать. Если мозг будет читать идиотские журналы, общаться с дураками, слушать легкую бессмысленную музыку и смотреть тупые фильмы, то не на что жаловаться. Мозг должен тяжело работать. Тяжело – ключевое слово. Мозгу должно быть трудно. Книга, которая может быть для кого-то легкая, но для вас она сложная. Фильм, который вы не понимаете. Значит, вы будете думать, читать критику. Или спектакль, где не ясно, что хотел сказать режиссер. В таком случае мозг будет занят работой».
1 ответ · более года назад
Татьяна Черниговская об иллюзии реальности
Татьяна Черниговская – один из самых известных специалистов по нейробиологии. Она – звезда мирового уровня, и на её лекциях всегда аншлаг. В этом убедилась и «Русская Планета», побывав на Ассамблее «Здоровая Москва» и послушав лекцию Татьяны Черниговской «Мир другими глазами: мозг зеркальный и «неверный».
В ней профессор размышляла о том, что такое сознание и реальность, а также о том, почему человеку нет места в мире искусственного интеллекта. Приводим выступление Татьяны Владимировны с небольшими сокращениями. Осторожно, букв будет много! Впрочем, как и полезной (надеемся) информации.
Меня давно интересует такой вопрос: вот природа - она сама всё про себя знает. И про таблицу Менделеева, атомы знают где им крутиться, и кварки знают, что им делать. И планеты знают, и галактики.
Вот зачем этому мощнейшему чему-то понадобилось существо, которое будет разгадывать загадки природы и при этом будет рассказывать, как устроен мир? Этот вопрос не такой глупый, как кажется. Зачем возникло? Откуда взялось? Во-первых, его некому задать. А шутливый мой ответ в том, что, вероятно, природе стало скучно, и ей надо во что-то посмотреться.
Вот маленький котик, который смотрит на себя в зеркало и видит там льва. То, что он видит не себя - это ему угрожает, он же видит не себя, а с другой – повышает его самооценку.
Я несколько месяцев преподавала в Вашингтоне и плохо ориентировалась в американской жизни, и вот когда привели какую-то девицу абсолютно бестолковую, а я объяснила, что я про неё думаю, без грубостей, то мне сказали – вы лучше в эту игру не играйте, у них есть self esteem, и они так расстраиваются… то есть человеку нельзя сказать, что он дурак, он сразу судиться будет с тобой. Но в данном случае котику хорошо, у него с самооценкой полный порядок.
Есть такая вещь: субъективный мир, объективный мир… это выглядит проще, чем на самом деле есть. Когда я рассказываю студентам, то молодые студенты, маленькие ещё, задают вопрос: а какой мир на самом деле? Вот это и есть единственный вопрос. Мир на самом деле, независимо от наших глаз, ушей, мозгов, а он есть вообще?
Потому что проведя много времени – я не врач, никого не лечила, но много лет работала на базе психиатрической клиники, я нагляделась, и ответственно заявляю: для человека, у которого галлюцинации – они точно такая же реальность, как и мир для нас. А вы тогда с чего вообще взяли, что всё, что вокруг нас – не галлюцинация? Какие у вас доказательства?
Когда я задаю этот вопрос студенчеству, они, поскольку ещё маленькие отвечают: так мы же все это видим. Тоже мне аргумент! Может, у нас коллективная галлюцинация. Или вариант второй: мы все находимся внутри вашей галлюцинации. И что будем с этим делать?
Хочу сказать, что этот вопрос не так наивен, как кажется на первый взгляд. Субъективный мир – это тот мир, который я вижу. А почему я такой мир вижу? Потому что такие глаза, такие уши, такие носы, такая кожная чувствительность и прочее.
Вот как Господь нас создал – с таким зрением, которое не видит поляризованный свет, и еще много разного народа на этой планете живет, который умеет гораздо больше, чем мы. Вы как-то с электричеством кроме switch on – switch off, связаны? А сколько плавает в океане существ, которые совсем в других отношениях с ним находятся?
Или любимый мой персонаж последних лет, осьминог. Я даже есть его перестала. Он очень умён, во-вторых - у него в каждой из ног по нервной системе. Вот теперь представьте, какими глазами он видит мир – и мы этого не узнаем, разумеется, никогда – 8 нервных систем, что вообще с этим делать?
Но если от них отвлечься, то мы - это то, что мы помним. Если у нас стереть нашу память, то мы перестанем быть собой.
Мы – это то, что мы знаем. В противном случае мы просто организм, который… и это я с любовью к человечеству сообщаю, что стремительно идет к тому чтобы стать сборищем организмов, которые просто переваривают пищу. Вот если это так – то тогда я спрашиваю, стоило ли рождаться.
Мы – это то, как мы себя идентифицируем. Мы, как котёнок, смотримся в зеркало, и не всегда видим льва, считаем себя ничтожествами, набитыми комплексами, что ничего не можем, ничего не умеем…
Мы – это то, как мы себя размещаем во времени и пространстве. Недаром, когда человек попадает в психиатрическую клинику, ему сразу говорят: как вас зовут? Который год? Это как ориентировка, где ты находишься.
У нас много временных шкал, например, общей истории земли и человечества, есть история меня как моей жизни. Есть шкала дня недели, мы - это то, куда мы себя помещаем.
Здоровая психика – это когда человек знает, где он, когда он, несмотря на все противоречия и обстоятельства себя как-то узнаёт. Это меня веселит: возьмите свои фотографии, где вам 2, 4 месяца. С чего вы вообще взяли, что вы – это вы? Там же вообще другое. Поменялось тело сто раз, кожа вся, всё, мировоззрение, был либерал и романтик, а стал ретроград и вообще мерзавец. А потом ещё раз передумал. Что вам даёт основания считать, что это всё ещё одна и та же личность, кроме паспорта?
А мы миру доверяем? Мы про мир что-нибудь знаем, потому что у нас есть дверь в мозг – в англоязычных книжках так и пишут, windows или doors to the brain, это что? Это органы чувств. Уши, глаза, носы и так далее. Каким мир видим – такой он и есть. Как смогли, так и потрогали, унюхали… а мы себе-то доверяем?
Что считать реальностью? Что происходит на самом деле или где-то висит? Мы сотрудничаем с миром и хотим с ним быть в каких-то отношениях? Мы пытаемся понять других? Вот другие – это термин, который означает другое сознание. Это может быть просто другой человек, даже если он близкий друг. Кошка, мышка, муравей, инопланетянин… у вас какое есть основание считать, что они смотрят на мир так, как мы?
Мы можем чувствительность рецепторов у животных измерить, знаем, как примерно кто что видит, а в смысле видит и понял – это голова, и вот туда мы влезть не можем. Мы можем посмотреть на мозг с помощью томографов, но это не поможет. Если вы раскроете мозг осьминога и посмотрите – увидите мозговую ткань, и вот что смотреть у осьминога – я ума не приложу. Там же не будет написано «либералы», «консерваторы» ... нужно будет это как-то вынимать.
А мы вообще считаем, что нам нужно как-то знать это? Оставим в покое животных, но если бы мы, люди, были умнее, нас должно было бы больше интересовать, как на одну и ту же проблему смотрят представители разных культур.
Вот мы считаем, что если мы каким-то образом смотрим на вещи – то и все остальные смотрят так же. Вот конфликтологи постоянно имеют дело с такими проблемами, люди из разных племён и стран ругаются друг с другом, каждый считает, что он прав.
От того, что эти люди говорят на одном и том же языке – лучше не становится. Вопрос в том, что они разные смыслы вкладывают в одни и те же слова. Но это звучит почти банально, но это очень важно, потому что из-за этого происходят войны, распадаются семьи, понимания нет, а есть профанация общего разговора, как будто все друг друга понимают, а на самом деле ничего подобного.
А каков ментальный мир этих существ? Мой кот британский, который к сожалению, умер несколько лет назад, он смотрел на меня, а я - на него. Во-первых, я, а не он, отводила глаза, а во-вторых – он смотрел и молчал, и было видно, что он умный, но не говорит. А какие я выводы должна из этого сделать? Почему он не говорит? А он что-то мне обещал? Он вообще кому-нибудь что-то обещал? Нет, не обещал. А вдруг он дзен-буддист и сидит, и размышляет, и мы не можем сказать ничего на этот счет, ни да ни нет, и никогда не сможем. А про кого сможем – про существ, у которых заведомо слабый мозг.
У меня были угрызения совести, что вот коровы, у них такие красивые глаза, ресницы длинные, и они такие шелковые. Коровы нравятся, да? После этого идешь в стейк-хаус и говоришь, стейк мне вот так прожарьте. Это что такое? Либо красивые глаза - либо ешь стейк, ты уж разберись! Но я считала, что у них такой мозг, и они абсолютные дуры, о чем было написано в каждой книжке. Но из того что они дуры, не следует, что их нужно съесть. А недавно оказалось, что у них сложная эмоциональная жизнь, и я просто не знаю, огурцами, что ли питаться?
В общем, пафос моей речи в том, что из того, что они нам ничего не говорят, следует, что они нам ничего не говорят, и больше ничего.
Я говорила уже, что есть такая вещь как другое сознание, и есть субъективная реальность, или qualia, сейчас на эту тему масса книг выходит. Мы можем себе представить, как мир видит летучая мышь или комар, а вы можете себе представить, как выглядит мир для бабочки? А для вашего ребенка? Для вашего соседа? А какой мир у индейца навахо? А каким мир видели шумеры? У них была великая цивилизация, кстати, где она? А как они смотрели на мир?
Если есть письменность, мы хоть что-то можем оттуда вытянуть. А если письменности нет? Это что, полностью закрытая для нас вещь? Если, конечно, не считать того, что они создавали рисунки или скульптуры. А что нам говорит наука про эту субъективную реальность? Тут начинается неприятная история, эта qualia она не измеряется ничем, ни децибелами, ни химическим анализом… у этого нет объективного измерения, это личный вывод.
Вот Наташа Ростова, большинство уверены, что это замечательный персонаж. А она – самый ненавидимый мной персонаж во всей русской литературе. Я ее просто терпеть не могу! И заметьте, что она в этом абсолютно не виновата. Гораздо хуже другое: её вообще никогда не существовало!
Наташа Ростова – это черненькое на беленьком, буковки, но мы, люди, такие сложные существа, мы живём не только в мире материальных объектов – столов, стульев, микрофонов и апельсинов, но и тех в мирах, которые сами себе создаём. Это все искусство и вся духовная продукция, включая религию. То есть мы сами себе придумали, сами себе шею режем во время войн разных, сами страдаем в театре – а еще лучше, в кино, висит простыня, а на ней что-то мелькает. Это как в Техасе, когда на экране злодей обижает девушку, человек в зале достает пистолет. Но нет ни девушки, ни негодяя, а это столь важная часть жизни, часто даже важнее материальной.
Встает вопрос: а какое отношение это имеет к мозгу? Вот то, что каждый сам себе думает, это всё – как пока что считает наука – это порождается нейронными сетями, которые есть у нас в голове. А что значит – порождается нейронными сетями? Я, когда в сумасшедшем доме работала, я слушала людей с белой горячкой, совершенно изумительные истории о том, как они общаются с разными чертями и так далее. Я должна мозгу верить, что он говорит правду. Есть вещи не физические, от того что мы влезем в мозг – что получаем? Циферки, а дальше начинаются трактовки, как умеем, так и трактуем, что мозг думает по этому поводу – другой вопрос. В доме-то, кто хозяин, кстати? Если сознание порождают нейронные сети – то это он сам этот мир создает? Не хочу дешёвых сравнений, но фильм «Матрица» - от него не по себе.
Мы сталкиваемся с парадоксом, что мозг находится в мире, а мир находится в мозгу. И что мы с этим будем делать? Эта тема насчет сознания – она опасная, она очень серьёзная, научная, но она вышла на площадь, на панель. Ее обсуждают те, кто ничего не понимает.
А одни ли мы обладаем сознанием? Вопрос с множественными ответами. Первый ужасный: нет никакой договоренности о том, что вообще считать сознанием. Это огромный диапазон. Одни – это буддисты – считают, что сознание — это свойство вселенной и везде есть, не обязательно есть носитель, а есть приемники. Эта штука с антенной – она только у людей? Тогда мы должны решить, что сознанием будем называть? Если это реакция – тогда никакую улитку ни под каким соусом съесть нельзя, потому что она глубоко страдает.
Хорошо, а мы сами - у нас сознание есть или мы – идеальная программа? Какие у вас есть основания считать, что и я – не исключительно, виртуозно созданная программа? Вот все точно так: и кожа, и речь, но не живая. Я не морочу вам голову, эта проблема обсуждается в мировой науке и называется «проблема зомби», это не про мертвецов, это мысленный эксперимент, если мы представим себе, что есть нечто точно такое, как мы, только без сознания, то как мы об этом узнаем? И у нас сознание есть, а они – это кто? Они - это вообще все, кроме людей. Ну включим в это число домашних животных, собак, лошадей… а остальные? Доказательств нет.
Сознание не вписывается в физическую картину мира. Потому что оно ничем не измеряется. Есть два выхода: вписать в эту картину мира либо отказаться от той физической картины, которая есть у человечества. На второе никто в здравом уме не согласен. А в первое – оно не лезет никуда.
Термин этот очень сомнительный. Любое живое существо в каких-то дозах обладает сознанием. Тем более, мы часто сталкиваемся с понятием сознательное/бессознательное, или сталкиваемся с понятием рефлексии – то есть познания. Если так считать, то тогда сознанием в этой трактовке не обладают дети маленькие, вообще. Но что это значит? Процентов 90 населения Земли, по-моему, не обладает, и что тогда?
От ответа на вопрос зависит, что мы будем искать и где искать. Вот я поливаю уксусом на помидорину, и она съёжится, она от обиды что ли съёжится? Безумие всё это надо как-то ограничивать, если сознание – любая реакция, то тогда что? Тогда – всё? Тогда планктон в океане обладает сознанием. Но если этот вопрос задать буддистам –ответ будет: «Да, конечно».
1661 год, картинка Harmonia Macrocosmica. Или вот художник Филонов. Если на них смотреть необычным глазом, то приходит вот что:
Если представить, что к Земле подлетает кто-то, а у него другой тип зрения, он видит только маленькие объекты, а большие у него не кучкуются. Тогда он видит такой бульончик, в котором плавают атомы. То есть он не увидит никаких других объектов, а если у него другие уши – то он и не услышит ничего.
Те, кто постарше, помнят, что, когда был в советское время приступ поиска неземных цивилизаций, люди с великим интеллектом послали в космос какую-то штуку. Там были нарисованы мужчина и женщина, а также слово «мир» на 70 языках, еще какая-то формула и ноты. Это мог сделать только слабоумный. Кто сказал, что там есть глаза? Что там есть понятие о формах, что буквы – не вычисляемы? Какие это буквы? Как это будет воспринято? Это рассчитано на таких же, как мы, только, скажем, зелененьких. Но нам этого никто не говорит! Почему считается, что сюда ещё никто не прилетал? А вирус ОРЗ? Поедает энергию, живёт, все в порядке, вам кто-то обещал, что это будут существа примерно нашего роста? Самые главные вещи могут быть иными.
Есть такие понятие – зеркальные системы. Человек, который открыл зеркальные нейроны и номинировался на Нобелевскую, он открыл это. Идея в том, что в мозгу есть такие участки, которые включаются не тогда, когда вы что-то делаете, а когда наблюдаете за тем, как это делают другие.
Предположим, матери показывают видео, как её ребенок ломает руку – у нее будет такой всплеск, будто это она всё сломала. То есть зеркальные системы являются основой для любого обучения. Это все гораздо сложнее, чем я говорю, но они очень важны. Люди, у которых они поломаны – это аутистический спектр. Аутисты эту систему потеряли. Классический аутист вообще не реагирует на переживания родителей. Эти системы нарушены у пациентов с шизофренией.
Но это важно, потому что здесь включается то, как я смотрю за другими. Вот такая способность – то что значит модель «theory of mind», способности встать не на свою позицию. Вот это что, способность выйти за пределы собственного представления о мире.
И люди, которые так умеют, обладают бесспорно поведенческим преимуществом. Вот проиграйте заранее спор с начальником, сообразите заранее, что вы услышите в ответ, и это требует хорошо развитой оперативной и долговременной памяти, больших вычислительных процедур мозга, нужно сохранить свое представление о мозге и еще и включиться в другое.
Взгляд в зеркало с точки зрения нейрона – это очень опасная, но очень важная человеческая характеристика. Я должна сказать: хорошо, если собака ваша украла сосиску, то она как-то боком смотрит, значит, она понимает, что у вас на эту сосиску другой взгляд?
По-моему, разговор о том, у кого сознание есть, а у кого нет, он вообще неправильный. Надо разрубить эту бинарность: у всякого всякого хватает, просто у одних больше, у других меньше.
А скорости, с которыми мы смотрим на мир? Вот есть те, кто видят не так, как мы, остановив момент падения бокала кадром, а они – вот так видят? У них другие скорости, а и скоростей нам никто не обещал, есть существа, которые живут полдня, какое у них восприятие? Это значит, что они на наш мир смотрят и видят то, чего мы не видим вообще.
А как с этими другими быть? Будем делать вид, что их нет? Пчелы, как вы знаете, танцем общаются. Вот она нашла нектар, а дальше - прилетает в улей и дает танцем научную информацию, куда лететь, а куда не надо. Но ещё хуже – она устала, и ложится спать, мол, завтра расскажу. А вот теперь расскажите мне – где она хранит эту информацию до утра? Это уже долговременная память, она ночь спала с этим.
А они нас хотят понять? А мы вообще можем понять? Это нам по силам? Лаборатория интеллекта насекомых есть такая, там муравьи такое вытворяют! Разве что интегралы не берут.
Вот к примеру, каков мир для жука? Он же здесь же живёт, он такой же полноценный житель этой планеты, как и мы. Или в океане плавает такая штука, когда опасность – она становится прозрачной, а мы чем гордимся, я понять не могу? Даже если забыть про то, как, я хочу спросить – а откуда она знает, что она прозрачная? Что для врага она невидима?
Ответьте мне на этот вопрос – и мы все вместе поедем в Стокгольм, получать, а затем и пропивать Нобелевскую премию.
С дельфинами я работала. У них огромный мозг, дело не в том, что он больше чем наш. То, что большой или маленький – это не важно. Но он очень сложный. Они же, как вы знаете, вышли на землю, а потом вернулись обратно. Так вот с того момента, как они вернулись, прошло 60 миллионов лет. Я полагаю, за это время они много чего придумали. Вот мы живём в нашем нынешнем состоянии 200 тысяч лет, всего лишь. По эволюционной шкале это миллисекунды. У них очень сложный мозг, сложный язык, который пока не поддался расшифровке.
Люди мне говорят: они не создали цивилизацию. А они что, обещали построить Днепрогэс на дне морском? А почему они должны создавать цивилизацию? Они живут в счастливом мире, если где-то есть рай – то там живут дельфины. Они невероятно умны, у них нет конкурентов, у ни совершенное тело, у них бесконечное количество еды, у них есть способность к эхолокации – это как бы УЗИ они делают всем, если я буду ему врать, он это увидит, и даже опухоль. Они во многих отношениях лучше нас, а чем они занимаются? Пляшут и поют! И занимаются любовью. Какой Днепрогэс? Райская жизнь!
Слоны очень умны, у них есть ритуалы, они помнят своих погибших. Ворона разумная. В прошлом году официально признано, что их интеллект равен интеллекту шимпанзе, а это следующие за нами. Вот у этих птичек интеллект шимпанзе! Они решают очень сложные когнитивные задачи, при этом у них всего того, чем мы гордимся – у них абсолютно гладкий мозг.
Наконец, такая вещь как кросс-культурные отличия. Люди, живущие в разных культурах - китайская, русская, английская и другие, имеют восприятие другое, классификацию мира другую, и решения принимают другие, это серьёзно. Этим занимается, в частности, кросс-культурная психология. Сейчас обсуждается вопрос, поскольку наступает эра искусственного интеллекта, и вот что вложить в эту программу?
Скажем, беспилотные штуки, ездящие по земле, они должны знать не только правила дорожного движения. А, например, кого спасать? Пассажира или пешехода? Или в экстренной ситуации что делать? Вырулить в стену и разбиться или перекрошить там всех? А кто это решение примет?
Разные культуры разные решения принимают по этому поводу, людские, не компьютерные. В учебниках по психологии есть немыслимые задачи, которые надо решать.
А была реальная ситуация. У поезда все развинтилось, и если он поедет сюда, погибнут тысячи. А если сюда – в маленький городок, то… в итоге передавил 12 человек, среди которых были дети. 2015 год был. Встает вопрос: власти правильно поступили, приняв такое решение? Погубить самолет или погубить Лос-Анджелес – как мы в фильмах смотрим – это же жуткие решения.
Один кросс-психолог на съезде в Вене задал залу вопрос. Вы приезжаете домой, там два человека. Ваша мать и ваш партнёр. А вытащить можно одного. Знаете, как голосовал зал? Кроме пяти человек, одним из которых была я, все остальные проголосовали за этого партнёра. А мать? Ну родила и родила, и всё, хватит.
Я на кофе-брейке стала как маньячка спрашивать: почему вы так голосовали? Понятно, что это заранее неразрешимая задача, но всё-таки такое голосование о многом говорит. И они отвечали – мой партнер – моя ответственность, я сам его выбрал, и я сам его защищаю. Из тех, кто голосовал против – не было западных людей. Это были индийцы, китайцы и я вот.
Практически во всех западных культурах люди в таких кошмарных задачах чаще спасают женщин и детей, а в восточных – тренд, чтобы и на стариков тоже не плюнуть, он стоит острее. И вот чем снабжать эти умные устройства, он не простой, и в разных странах по-разному будет решён.
А как мы относимся к пространству, к времени? С точки зрения Эйнштейна, который говорил, что это одно из измерений? Подходя к этому по-разному, можно стать на позицию и объективную, и субъективную, они зачёркивают друг друга. Это функция мозга? Это измерение? Это физическое явление? А что, время все еще течет равномерно и в одну сторону? Оно может возвращаться? А есть ещё книжка у меня, где написано, что время порождено мозгом, а значит – возвращаемся к началу беседы.
А вот как себя чувствует существо, которое пребывает в разных ипостасях? Например, вот такая штучка – вот она гусеница, вот она куколка, вот она бабочка. И у нее один и тот же геном, это одно и то же существо. Только генетика доказывает это. А галлюцинации, которые мы обсуждали - вот человеку дают таблетку, где говорят, что это наркотик. И томограф показывает вот так. А при приеме настоящих – весь мозг зажигается.
Ну засунем мы голову человека, у которого галлюцинация, в томограф. Но я бы об этом не знала, а видела только снимки, и ничего такого не обнаружила. У него же работают те же самые отделы мозга, что и у нас, когда мы видим или слышим что-то реальное. То есть там нейронная сеть начинает шалить, ей не нужны входы через глаза, она сама себе всё придумала, обработала и живет в них.
Вот Сеченов говорил про рефлексы головного мозга: «Мозгу всё равно, происходит ли это реально или это галлюцинация». Откуда Сеченов мог это знать? А мы это уже видим в томографе, что человек слушает музыку, которой нет как бы. А что происходит в голове у композитора? А если этот композитор – Бетховен, который полностью оглох?
Вот смотрите, что пишет один из ученых: для мозга иллюзия – и есть реальность. И только очень плохой врач будет уговаривать человека, что этого не бывает. Либо его хорошо полечить, либо подождать пока само пройдёт, но разговорами это не лечится, потому что он видит это и слышит это на самом деле.
Повторяюсь, а как нам быть с другими? Что слышит собака? Тот факт, что звук попадает в ухо, а зрительная информация в мозг, это только начало. Потому что мы смотрим глазами, а видим мозгом. Слышим ушами, а слышим мозгом. В голове это происходит! Даже если правильная информация туда пришла – если сейчас сюда придет гениальный японский музыкант, который сыграет шедевр древнейшей японской музыки, я не смогу ничего оценить, потому что ничего об этом не знаю. Мы можем увидеть и услышать только то, к чему мы готовы. А это – здесь, в голове, а не в ушах и не в носах.
Для нас очень важна роль контекста – кто сказал, когда сказал, чему учился и так далее. В том числе в системах искусственного интеллекта. Второе, избыточность информации для нас не плоха, мы одни и те же вещи можем делать разными путями. Частотная непредсказуемость, у машин этого нет, для того, чтобы компьютер что-то сделал, нужны четкие инструкции.
Если ему сказать – ты поезжай где кустики такие, ты их чуть-чуть обогнешь, потом желтенький дом, а следом – еще более желтенький дом… это задача, непонятная для механизма, но как раз для человека.
Вы все читали кулинарные рецепты, ну там же не пишут - возьмите 3 миллиграмма соли. Кто-то видел 3 миллиграмма соли? Подрумянить. Немножко потушить. Щепотку. Это не инструкции, но для нас они понятны, а для машин – нет. Размытость, неточность и приблизительность описаний – это то, что надо.
К тому же, с чего мы взяли, что все мышление базируется на причинно-следственной связи, которую завещал нам еще Аристотель? Вы с чего взяли? Это одна из систем, не более того.
Есть и другое мышление, например, обыденное. Я знаю, что если чайник отключить, то через 10 минут он остынет. А есть научное мышление, которое сейчас распространилось среди многих никчёмных людей. Но там есть правила: первое – факты на бочку, но есть другие области знаний, где факты не нужны. А здесь – факты, они должны быть статистически достоверны, они должны быть проверяемы – просто правила игры такие. А ещё есть религиозное мышление, и прочих мышлений много.
Я прошу подумать об этих других. И если залезть в тему искусственного интеллекта – то это просто необходимо делать. Как мы вообще с ним будем общаться? Не с тем ИИ, который сейчас – настоящего искусственного интеллекта пока нет, есть просто хорошие программы. А искусственный интеллект появится тогда, когда – мы этого все боимся, и не на кухнях, а в Сколково - он станет личностью. И это представляет для нас большую угрозу.
Может ли появиться ИИ, у которого будет Я? Что это значит? Значит, у него будут свои планы, свои цели, свои мотивы, и я вас уверяю, мы в эти планы не входим. Стоит вопрос — вот как: а мы по каким признакам это узнаем? Может, он уже здесь? Или нам к психиатру? Вот если без фокусов - мы узнаем, когда программа уже вошла в эту стадию? Нет признаков. Серьёзные специалисты по ИИ на серьёзных заседаниях говорят, если это произойдет – то все, мы попали в другой мир, где нам места нет.
Искусственный интеллект может страдать, но там нет смерти, там нет боли, там ничего этого нет. Но есть способность к фантастической имитации. Он даже сделает вид, что сопереживает. И эти вопросы мне пришли – почему мы решили, что ИИ будет развиваться, как мы? А с чего мы это взяли? Почему он будет знать, что такое добро и зло? У муравьёв это есть? Почему мы считаем, что эта железяка будет ориентироваться на то, что писали в старых фантастических книгах, помните? Закон робототехники, не мог принести вред человеку… ты даже не узнаешь этого, когда он нарушит!
Если мы собираемся конкурировать с техникой такого уровня – то мы дурачки. Она нас обыграла, ни у кого из людей нет такой памяти, никто из людей не может работать бесконечно, он не влюбляется, у него не болит голова. И это не будущее, это настоящее.
Все другие виды интеллекта, кроме того, о котором нас предупреждал недавно ушедший Хокинг, он начал интересоваться другими цивилизациями. И сказал: не только не нужно их искать, нужно всячески стараться, спрятаться как можно дальше, потому что если они нас обнаружат – то нам крышка придет довольно быстро. Раз они нас нашли - то они гораздо более развиты, а мы им зачем? А мы с ними сможем договориться? Может, там даже не мозги, а что-то совершенно иное?
У нас очень усложняются все системы. Есть вещь, так называемое число Данбара, ограничение на количество постоянных социальных связей. Некое число, вычисляемое из объёмов и возможностей мозга. Считается, что у обезьян круг общения — это примерно 50 особей, а из них близких – 3-4. У человека – 150 общение, а близких примерно 15. А теперь залезьте к себе в телефоны и посмотрите сколько там номеров.
Мы влезли в пространство, которое мы можем не выдержать. Оно такое огромное, я общаюсь с тысячами людей, но это давно вылезло за пределы. Итого – гиперсети в мозгу, и Москва – это тоже сеть, сеть сетей, сеть сетей сетей... Гиперсети везде, в социуме, это не может долго держаться, будут разрывы.
Уже родились дети, которые не переучивались, а уже родились с гаджетами. Что с ними собираются делать учителя? Тот, который говорит – вот это стул, на нем сидят – не нужен никому, у ребенка есть Google, где он сам всё посмотрит. Он уже давно знает, как это включать. А что должен делать учитель с таким ребенком?
Так вот нет никаких правил. Есть только один закон: не может так общество существовать. Коллапс должен наступить. Вам учитель говорит одно, вы ему - другое, и это же везде, и каждый день происходит. Идут серьезные споры по выработке норм для мозга, что можно делать, а что нельзя. А с геномом вот – можно? Уже сказали: с геномом – нельзя, а в Китае трое детей родились с модифицированными генами… в одной комнате запрещают, а в соседней есть…
Есть такие области – нейрохакинг, считывать, что в мозгу делается. А уж вставить чип в мозг – уже пустяки. Раз есть возможность считывать – значит, есть возможность и влиять, это одна и та же дорога.
Но наконец – как нам не потерять представление о реальности? Как не потерять контроль над ней? Сейчас прозрачный мир, телефон фиксирует всё, где вы были. Этические нормы другие, ценности и смыслы другие, давайте хаоса не прибавлять. Потому что больше всего сейчас цивилизация напоминает то, с чего я свою профессиональную деятельность начинала, а именно – сумасшедший дом.
В ней профессор размышляла о том, что такое сознание и реальность, а также о том, почему человеку нет места в мире искусственного интеллекта. Приводим выступление Татьяны Владимировны с небольшими сокращениями. Осторожно, букв будет много! Впрочем, как и полезной (надеемся) информации.
Меня давно интересует такой вопрос: вот природа - она сама всё про себя знает. И про таблицу Менделеева, атомы знают где им крутиться, и кварки знают, что им делать. И планеты знают, и галактики.
Вот зачем этому мощнейшему чему-то понадобилось существо, которое будет разгадывать загадки природы и при этом будет рассказывать, как устроен мир? Этот вопрос не такой глупый, как кажется. Зачем возникло? Откуда взялось? Во-первых, его некому задать. А шутливый мой ответ в том, что, вероятно, природе стало скучно, и ей надо во что-то посмотреться.
Вот маленький котик, который смотрит на себя в зеркало и видит там льва. То, что он видит не себя - это ему угрожает, он же видит не себя, а с другой – повышает его самооценку.
Я несколько месяцев преподавала в Вашингтоне и плохо ориентировалась в американской жизни, и вот когда привели какую-то девицу абсолютно бестолковую, а я объяснила, что я про неё думаю, без грубостей, то мне сказали – вы лучше в эту игру не играйте, у них есть self esteem, и они так расстраиваются… то есть человеку нельзя сказать, что он дурак, он сразу судиться будет с тобой. Но в данном случае котику хорошо, у него с самооценкой полный порядок.
Есть такая вещь: субъективный мир, объективный мир… это выглядит проще, чем на самом деле есть. Когда я рассказываю студентам, то молодые студенты, маленькие ещё, задают вопрос: а какой мир на самом деле? Вот это и есть единственный вопрос. Мир на самом деле, независимо от наших глаз, ушей, мозгов, а он есть вообще?
Потому что проведя много времени – я не врач, никого не лечила, но много лет работала на базе психиатрической клиники, я нагляделась, и ответственно заявляю: для человека, у которого галлюцинации – они точно такая же реальность, как и мир для нас. А вы тогда с чего вообще взяли, что всё, что вокруг нас – не галлюцинация? Какие у вас доказательства?
Когда я задаю этот вопрос студенчеству, они, поскольку ещё маленькие отвечают: так мы же все это видим. Тоже мне аргумент! Может, у нас коллективная галлюцинация. Или вариант второй: мы все находимся внутри вашей галлюцинации. И что будем с этим делать?
Хочу сказать, что этот вопрос не так наивен, как кажется на первый взгляд. Субъективный мир – это тот мир, который я вижу. А почему я такой мир вижу? Потому что такие глаза, такие уши, такие носы, такая кожная чувствительность и прочее.
Вот как Господь нас создал – с таким зрением, которое не видит поляризованный свет, и еще много разного народа на этой планете живет, который умеет гораздо больше, чем мы. Вы как-то с электричеством кроме switch on – switch off, связаны? А сколько плавает в океане существ, которые совсем в других отношениях с ним находятся?
Или любимый мой персонаж последних лет, осьминог. Я даже есть его перестала. Он очень умён, во-вторых - у него в каждой из ног по нервной системе. Вот теперь представьте, какими глазами он видит мир – и мы этого не узнаем, разумеется, никогда – 8 нервных систем, что вообще с этим делать?
Но если от них отвлечься, то мы - это то, что мы помним. Если у нас стереть нашу память, то мы перестанем быть собой.
Мы – это то, что мы знаем. В противном случае мы просто организм, который… и это я с любовью к человечеству сообщаю, что стремительно идет к тому чтобы стать сборищем организмов, которые просто переваривают пищу. Вот если это так – то тогда я спрашиваю, стоило ли рождаться.
Мы – это то, как мы себя идентифицируем. Мы, как котёнок, смотримся в зеркало, и не всегда видим льва, считаем себя ничтожествами, набитыми комплексами, что ничего не можем, ничего не умеем…
Мы – это то, как мы себя размещаем во времени и пространстве. Недаром, когда человек попадает в психиатрическую клинику, ему сразу говорят: как вас зовут? Который год? Это как ориентировка, где ты находишься.
У нас много временных шкал, например, общей истории земли и человечества, есть история меня как моей жизни. Есть шкала дня недели, мы - это то, куда мы себя помещаем.
Здоровая психика – это когда человек знает, где он, когда он, несмотря на все противоречия и обстоятельства себя как-то узнаёт. Это меня веселит: возьмите свои фотографии, где вам 2, 4 месяца. С чего вы вообще взяли, что вы – это вы? Там же вообще другое. Поменялось тело сто раз, кожа вся, всё, мировоззрение, был либерал и романтик, а стал ретроград и вообще мерзавец. А потом ещё раз передумал. Что вам даёт основания считать, что это всё ещё одна и та же личность, кроме паспорта?
А мы миру доверяем? Мы про мир что-нибудь знаем, потому что у нас есть дверь в мозг – в англоязычных книжках так и пишут, windows или doors to the brain, это что? Это органы чувств. Уши, глаза, носы и так далее. Каким мир видим – такой он и есть. Как смогли, так и потрогали, унюхали… а мы себе-то доверяем?
Что считать реальностью? Что происходит на самом деле или где-то висит? Мы сотрудничаем с миром и хотим с ним быть в каких-то отношениях? Мы пытаемся понять других? Вот другие – это термин, который означает другое сознание. Это может быть просто другой человек, даже если он близкий друг. Кошка, мышка, муравей, инопланетянин… у вас какое есть основание считать, что они смотрят на мир так, как мы?
Мы можем чувствительность рецепторов у животных измерить, знаем, как примерно кто что видит, а в смысле видит и понял – это голова, и вот туда мы влезть не можем. Мы можем посмотреть на мозг с помощью томографов, но это не поможет. Если вы раскроете мозг осьминога и посмотрите – увидите мозговую ткань, и вот что смотреть у осьминога – я ума не приложу. Там же не будет написано «либералы», «консерваторы» ... нужно будет это как-то вынимать.
А мы вообще считаем, что нам нужно как-то знать это? Оставим в покое животных, но если бы мы, люди, были умнее, нас должно было бы больше интересовать, как на одну и ту же проблему смотрят представители разных культур.
Вот мы считаем, что если мы каким-то образом смотрим на вещи – то и все остальные смотрят так же. Вот конфликтологи постоянно имеют дело с такими проблемами, люди из разных племён и стран ругаются друг с другом, каждый считает, что он прав.
От того, что эти люди говорят на одном и том же языке – лучше не становится. Вопрос в том, что они разные смыслы вкладывают в одни и те же слова. Но это звучит почти банально, но это очень важно, потому что из-за этого происходят войны, распадаются семьи, понимания нет, а есть профанация общего разговора, как будто все друг друга понимают, а на самом деле ничего подобного.
А каков ментальный мир этих существ? Мой кот британский, который к сожалению, умер несколько лет назад, он смотрел на меня, а я - на него. Во-первых, я, а не он, отводила глаза, а во-вторых – он смотрел и молчал, и было видно, что он умный, но не говорит. А какие я выводы должна из этого сделать? Почему он не говорит? А он что-то мне обещал? Он вообще кому-нибудь что-то обещал? Нет, не обещал. А вдруг он дзен-буддист и сидит, и размышляет, и мы не можем сказать ничего на этот счет, ни да ни нет, и никогда не сможем. А про кого сможем – про существ, у которых заведомо слабый мозг.
У меня были угрызения совести, что вот коровы, у них такие красивые глаза, ресницы длинные, и они такие шелковые. Коровы нравятся, да? После этого идешь в стейк-хаус и говоришь, стейк мне вот так прожарьте. Это что такое? Либо красивые глаза - либо ешь стейк, ты уж разберись! Но я считала, что у них такой мозг, и они абсолютные дуры, о чем было написано в каждой книжке. Но из того что они дуры, не следует, что их нужно съесть. А недавно оказалось, что у них сложная эмоциональная жизнь, и я просто не знаю, огурцами, что ли питаться?
В общем, пафос моей речи в том, что из того, что они нам ничего не говорят, следует, что они нам ничего не говорят, и больше ничего.
Я говорила уже, что есть такая вещь как другое сознание, и есть субъективная реальность, или qualia, сейчас на эту тему масса книг выходит. Мы можем себе представить, как мир видит летучая мышь или комар, а вы можете себе представить, как выглядит мир для бабочки? А для вашего ребенка? Для вашего соседа? А какой мир у индейца навахо? А каким мир видели шумеры? У них была великая цивилизация, кстати, где она? А как они смотрели на мир?
Если есть письменность, мы хоть что-то можем оттуда вытянуть. А если письменности нет? Это что, полностью закрытая для нас вещь? Если, конечно, не считать того, что они создавали рисунки или скульптуры. А что нам говорит наука про эту субъективную реальность? Тут начинается неприятная история, эта qualia она не измеряется ничем, ни децибелами, ни химическим анализом… у этого нет объективного измерения, это личный вывод.
Вот Наташа Ростова, большинство уверены, что это замечательный персонаж. А она – самый ненавидимый мной персонаж во всей русской литературе. Я ее просто терпеть не могу! И заметьте, что она в этом абсолютно не виновата. Гораздо хуже другое: её вообще никогда не существовало!
Наташа Ростова – это черненькое на беленьком, буковки, но мы, люди, такие сложные существа, мы живём не только в мире материальных объектов – столов, стульев, микрофонов и апельсинов, но и тех в мирах, которые сами себе создаём. Это все искусство и вся духовная продукция, включая религию. То есть мы сами себе придумали, сами себе шею режем во время войн разных, сами страдаем в театре – а еще лучше, в кино, висит простыня, а на ней что-то мелькает. Это как в Техасе, когда на экране злодей обижает девушку, человек в зале достает пистолет. Но нет ни девушки, ни негодяя, а это столь важная часть жизни, часто даже важнее материальной.
Встает вопрос: а какое отношение это имеет к мозгу? Вот то, что каждый сам себе думает, это всё – как пока что считает наука – это порождается нейронными сетями, которые есть у нас в голове. А что значит – порождается нейронными сетями? Я, когда в сумасшедшем доме работала, я слушала людей с белой горячкой, совершенно изумительные истории о том, как они общаются с разными чертями и так далее. Я должна мозгу верить, что он говорит правду. Есть вещи не физические, от того что мы влезем в мозг – что получаем? Циферки, а дальше начинаются трактовки, как умеем, так и трактуем, что мозг думает по этому поводу – другой вопрос. В доме-то, кто хозяин, кстати? Если сознание порождают нейронные сети – то это он сам этот мир создает? Не хочу дешёвых сравнений, но фильм «Матрица» - от него не по себе.
Мы сталкиваемся с парадоксом, что мозг находится в мире, а мир находится в мозгу. И что мы с этим будем делать? Эта тема насчет сознания – она опасная, она очень серьёзная, научная, но она вышла на площадь, на панель. Ее обсуждают те, кто ничего не понимает.
А одни ли мы обладаем сознанием? Вопрос с множественными ответами. Первый ужасный: нет никакой договоренности о том, что вообще считать сознанием. Это огромный диапазон. Одни – это буддисты – считают, что сознание — это свойство вселенной и везде есть, не обязательно есть носитель, а есть приемники. Эта штука с антенной – она только у людей? Тогда мы должны решить, что сознанием будем называть? Если это реакция – тогда никакую улитку ни под каким соусом съесть нельзя, потому что она глубоко страдает.
Хорошо, а мы сами - у нас сознание есть или мы – идеальная программа? Какие у вас есть основания считать, что и я – не исключительно, виртуозно созданная программа? Вот все точно так: и кожа, и речь, но не живая. Я не морочу вам голову, эта проблема обсуждается в мировой науке и называется «проблема зомби», это не про мертвецов, это мысленный эксперимент, если мы представим себе, что есть нечто точно такое, как мы, только без сознания, то как мы об этом узнаем? И у нас сознание есть, а они – это кто? Они - это вообще все, кроме людей. Ну включим в это число домашних животных, собак, лошадей… а остальные? Доказательств нет.
Сознание не вписывается в физическую картину мира. Потому что оно ничем не измеряется. Есть два выхода: вписать в эту картину мира либо отказаться от той физической картины, которая есть у человечества. На второе никто в здравом уме не согласен. А в первое – оно не лезет никуда.
Термин этот очень сомнительный. Любое живое существо в каких-то дозах обладает сознанием. Тем более, мы часто сталкиваемся с понятием сознательное/бессознательное, или сталкиваемся с понятием рефлексии – то есть познания. Если так считать, то тогда сознанием в этой трактовке не обладают дети маленькие, вообще. Но что это значит? Процентов 90 населения Земли, по-моему, не обладает, и что тогда?
От ответа на вопрос зависит, что мы будем искать и где искать. Вот я поливаю уксусом на помидорину, и она съёжится, она от обиды что ли съёжится? Безумие всё это надо как-то ограничивать, если сознание – любая реакция, то тогда что? Тогда – всё? Тогда планктон в океане обладает сознанием. Но если этот вопрос задать буддистам –ответ будет: «Да, конечно».
1661 год, картинка Harmonia Macrocosmica. Или вот художник Филонов. Если на них смотреть необычным глазом, то приходит вот что:
Если представить, что к Земле подлетает кто-то, а у него другой тип зрения, он видит только маленькие объекты, а большие у него не кучкуются. Тогда он видит такой бульончик, в котором плавают атомы. То есть он не увидит никаких других объектов, а если у него другие уши – то он и не услышит ничего.
Те, кто постарше, помнят, что, когда был в советское время приступ поиска неземных цивилизаций, люди с великим интеллектом послали в космос какую-то штуку. Там были нарисованы мужчина и женщина, а также слово «мир» на 70 языках, еще какая-то формула и ноты. Это мог сделать только слабоумный. Кто сказал, что там есть глаза? Что там есть понятие о формах, что буквы – не вычисляемы? Какие это буквы? Как это будет воспринято? Это рассчитано на таких же, как мы, только, скажем, зелененьких. Но нам этого никто не говорит! Почему считается, что сюда ещё никто не прилетал? А вирус ОРЗ? Поедает энергию, живёт, все в порядке, вам кто-то обещал, что это будут существа примерно нашего роста? Самые главные вещи могут быть иными.
Есть такие понятие – зеркальные системы. Человек, который открыл зеркальные нейроны и номинировался на Нобелевскую, он открыл это. Идея в том, что в мозгу есть такие участки, которые включаются не тогда, когда вы что-то делаете, а когда наблюдаете за тем, как это делают другие.
Предположим, матери показывают видео, как её ребенок ломает руку – у нее будет такой всплеск, будто это она всё сломала. То есть зеркальные системы являются основой для любого обучения. Это все гораздо сложнее, чем я говорю, но они очень важны. Люди, у которых они поломаны – это аутистический спектр. Аутисты эту систему потеряли. Классический аутист вообще не реагирует на переживания родителей. Эти системы нарушены у пациентов с шизофренией.
Но это важно, потому что здесь включается то, как я смотрю за другими. Вот такая способность – то что значит модель «theory of mind», способности встать не на свою позицию. Вот это что, способность выйти за пределы собственного представления о мире.
И люди, которые так умеют, обладают бесспорно поведенческим преимуществом. Вот проиграйте заранее спор с начальником, сообразите заранее, что вы услышите в ответ, и это требует хорошо развитой оперативной и долговременной памяти, больших вычислительных процедур мозга, нужно сохранить свое представление о мозге и еще и включиться в другое.
Взгляд в зеркало с точки зрения нейрона – это очень опасная, но очень важная человеческая характеристика. Я должна сказать: хорошо, если собака ваша украла сосиску, то она как-то боком смотрит, значит, она понимает, что у вас на эту сосиску другой взгляд?
По-моему, разговор о том, у кого сознание есть, а у кого нет, он вообще неправильный. Надо разрубить эту бинарность: у всякого всякого хватает, просто у одних больше, у других меньше.
А скорости, с которыми мы смотрим на мир? Вот есть те, кто видят не так, как мы, остановив момент падения бокала кадром, а они – вот так видят? У них другие скорости, а и скоростей нам никто не обещал, есть существа, которые живут полдня, какое у них восприятие? Это значит, что они на наш мир смотрят и видят то, чего мы не видим вообще.
А как с этими другими быть? Будем делать вид, что их нет? Пчелы, как вы знаете, танцем общаются. Вот она нашла нектар, а дальше - прилетает в улей и дает танцем научную информацию, куда лететь, а куда не надо. Но ещё хуже – она устала, и ложится спать, мол, завтра расскажу. А вот теперь расскажите мне – где она хранит эту информацию до утра? Это уже долговременная память, она ночь спала с этим.
А они нас хотят понять? А мы вообще можем понять? Это нам по силам? Лаборатория интеллекта насекомых есть такая, там муравьи такое вытворяют! Разве что интегралы не берут.
Вот к примеру, каков мир для жука? Он же здесь же живёт, он такой же полноценный житель этой планеты, как и мы. Или в океане плавает такая штука, когда опасность – она становится прозрачной, а мы чем гордимся, я понять не могу? Даже если забыть про то, как, я хочу спросить – а откуда она знает, что она прозрачная? Что для врага она невидима?
Ответьте мне на этот вопрос – и мы все вместе поедем в Стокгольм, получать, а затем и пропивать Нобелевскую премию.
С дельфинами я работала. У них огромный мозг, дело не в том, что он больше чем наш. То, что большой или маленький – это не важно. Но он очень сложный. Они же, как вы знаете, вышли на землю, а потом вернулись обратно. Так вот с того момента, как они вернулись, прошло 60 миллионов лет. Я полагаю, за это время они много чего придумали. Вот мы живём в нашем нынешнем состоянии 200 тысяч лет, всего лишь. По эволюционной шкале это миллисекунды. У них очень сложный мозг, сложный язык, который пока не поддался расшифровке.
Люди мне говорят: они не создали цивилизацию. А они что, обещали построить Днепрогэс на дне морском? А почему они должны создавать цивилизацию? Они живут в счастливом мире, если где-то есть рай – то там живут дельфины. Они невероятно умны, у них нет конкурентов, у ни совершенное тело, у них бесконечное количество еды, у них есть способность к эхолокации – это как бы УЗИ они делают всем, если я буду ему врать, он это увидит, и даже опухоль. Они во многих отношениях лучше нас, а чем они занимаются? Пляшут и поют! И занимаются любовью. Какой Днепрогэс? Райская жизнь!
Слоны очень умны, у них есть ритуалы, они помнят своих погибших. Ворона разумная. В прошлом году официально признано, что их интеллект равен интеллекту шимпанзе, а это следующие за нами. Вот у этих птичек интеллект шимпанзе! Они решают очень сложные когнитивные задачи, при этом у них всего того, чем мы гордимся – у них абсолютно гладкий мозг.
Наконец, такая вещь как кросс-культурные отличия. Люди, живущие в разных культурах - китайская, русская, английская и другие, имеют восприятие другое, классификацию мира другую, и решения принимают другие, это серьёзно. Этим занимается, в частности, кросс-культурная психология. Сейчас обсуждается вопрос, поскольку наступает эра искусственного интеллекта, и вот что вложить в эту программу?
Скажем, беспилотные штуки, ездящие по земле, они должны знать не только правила дорожного движения. А, например, кого спасать? Пассажира или пешехода? Или в экстренной ситуации что делать? Вырулить в стену и разбиться или перекрошить там всех? А кто это решение примет?
Разные культуры разные решения принимают по этому поводу, людские, не компьютерные. В учебниках по психологии есть немыслимые задачи, которые надо решать.
А была реальная ситуация. У поезда все развинтилось, и если он поедет сюда, погибнут тысячи. А если сюда – в маленький городок, то… в итоге передавил 12 человек, среди которых были дети. 2015 год был. Встает вопрос: власти правильно поступили, приняв такое решение? Погубить самолет или погубить Лос-Анджелес – как мы в фильмах смотрим – это же жуткие решения.
Один кросс-психолог на съезде в Вене задал залу вопрос. Вы приезжаете домой, там два человека. Ваша мать и ваш партнёр. А вытащить можно одного. Знаете, как голосовал зал? Кроме пяти человек, одним из которых была я, все остальные проголосовали за этого партнёра. А мать? Ну родила и родила, и всё, хватит.
Я на кофе-брейке стала как маньячка спрашивать: почему вы так голосовали? Понятно, что это заранее неразрешимая задача, но всё-таки такое голосование о многом говорит. И они отвечали – мой партнер – моя ответственность, я сам его выбрал, и я сам его защищаю. Из тех, кто голосовал против – не было западных людей. Это были индийцы, китайцы и я вот.
Практически во всех западных культурах люди в таких кошмарных задачах чаще спасают женщин и детей, а в восточных – тренд, чтобы и на стариков тоже не плюнуть, он стоит острее. И вот чем снабжать эти умные устройства, он не простой, и в разных странах по-разному будет решён.
А как мы относимся к пространству, к времени? С точки зрения Эйнштейна, который говорил, что это одно из измерений? Подходя к этому по-разному, можно стать на позицию и объективную, и субъективную, они зачёркивают друг друга. Это функция мозга? Это измерение? Это физическое явление? А что, время все еще течет равномерно и в одну сторону? Оно может возвращаться? А есть ещё книжка у меня, где написано, что время порождено мозгом, а значит – возвращаемся к началу беседы.
А вот как себя чувствует существо, которое пребывает в разных ипостасях? Например, вот такая штучка – вот она гусеница, вот она куколка, вот она бабочка. И у нее один и тот же геном, это одно и то же существо. Только генетика доказывает это. А галлюцинации, которые мы обсуждали - вот человеку дают таблетку, где говорят, что это наркотик. И томограф показывает вот так. А при приеме настоящих – весь мозг зажигается.
Ну засунем мы голову человека, у которого галлюцинация, в томограф. Но я бы об этом не знала, а видела только снимки, и ничего такого не обнаружила. У него же работают те же самые отделы мозга, что и у нас, когда мы видим или слышим что-то реальное. То есть там нейронная сеть начинает шалить, ей не нужны входы через глаза, она сама себе всё придумала, обработала и живет в них.
Вот Сеченов говорил про рефлексы головного мозга: «Мозгу всё равно, происходит ли это реально или это галлюцинация». Откуда Сеченов мог это знать? А мы это уже видим в томографе, что человек слушает музыку, которой нет как бы. А что происходит в голове у композитора? А если этот композитор – Бетховен, который полностью оглох?
Вот смотрите, что пишет один из ученых: для мозга иллюзия – и есть реальность. И только очень плохой врач будет уговаривать человека, что этого не бывает. Либо его хорошо полечить, либо подождать пока само пройдёт, но разговорами это не лечится, потому что он видит это и слышит это на самом деле.
Повторяюсь, а как нам быть с другими? Что слышит собака? Тот факт, что звук попадает в ухо, а зрительная информация в мозг, это только начало. Потому что мы смотрим глазами, а видим мозгом. Слышим ушами, а слышим мозгом. В голове это происходит! Даже если правильная информация туда пришла – если сейчас сюда придет гениальный японский музыкант, который сыграет шедевр древнейшей японской музыки, я не смогу ничего оценить, потому что ничего об этом не знаю. Мы можем увидеть и услышать только то, к чему мы готовы. А это – здесь, в голове, а не в ушах и не в носах.
Для нас очень важна роль контекста – кто сказал, когда сказал, чему учился и так далее. В том числе в системах искусственного интеллекта. Второе, избыточность информации для нас не плоха, мы одни и те же вещи можем делать разными путями. Частотная непредсказуемость, у машин этого нет, для того, чтобы компьютер что-то сделал, нужны четкие инструкции.
Если ему сказать – ты поезжай где кустики такие, ты их чуть-чуть обогнешь, потом желтенький дом, а следом – еще более желтенький дом… это задача, непонятная для механизма, но как раз для человека.
Вы все читали кулинарные рецепты, ну там же не пишут - возьмите 3 миллиграмма соли. Кто-то видел 3 миллиграмма соли? Подрумянить. Немножко потушить. Щепотку. Это не инструкции, но для нас они понятны, а для машин – нет. Размытость, неточность и приблизительность описаний – это то, что надо.
К тому же, с чего мы взяли, что все мышление базируется на причинно-следственной связи, которую завещал нам еще Аристотель? Вы с чего взяли? Это одна из систем, не более того.
Есть и другое мышление, например, обыденное. Я знаю, что если чайник отключить, то через 10 минут он остынет. А есть научное мышление, которое сейчас распространилось среди многих никчёмных людей. Но там есть правила: первое – факты на бочку, но есть другие области знаний, где факты не нужны. А здесь – факты, они должны быть статистически достоверны, они должны быть проверяемы – просто правила игры такие. А ещё есть религиозное мышление, и прочих мышлений много.
Я прошу подумать об этих других. И если залезть в тему искусственного интеллекта – то это просто необходимо делать. Как мы вообще с ним будем общаться? Не с тем ИИ, который сейчас – настоящего искусственного интеллекта пока нет, есть просто хорошие программы. А искусственный интеллект появится тогда, когда – мы этого все боимся, и не на кухнях, а в Сколково - он станет личностью. И это представляет для нас большую угрозу.
Может ли появиться ИИ, у которого будет Я? Что это значит? Значит, у него будут свои планы, свои цели, свои мотивы, и я вас уверяю, мы в эти планы не входим. Стоит вопрос — вот как: а мы по каким признакам это узнаем? Может, он уже здесь? Или нам к психиатру? Вот если без фокусов - мы узнаем, когда программа уже вошла в эту стадию? Нет признаков. Серьёзные специалисты по ИИ на серьёзных заседаниях говорят, если это произойдет – то все, мы попали в другой мир, где нам места нет.
Искусственный интеллект может страдать, но там нет смерти, там нет боли, там ничего этого нет. Но есть способность к фантастической имитации. Он даже сделает вид, что сопереживает. И эти вопросы мне пришли – почему мы решили, что ИИ будет развиваться, как мы? А с чего мы это взяли? Почему он будет знать, что такое добро и зло? У муравьёв это есть? Почему мы считаем, что эта железяка будет ориентироваться на то, что писали в старых фантастических книгах, помните? Закон робототехники, не мог принести вред человеку… ты даже не узнаешь этого, когда он нарушит!
Если мы собираемся конкурировать с техникой такого уровня – то мы дурачки. Она нас обыграла, ни у кого из людей нет такой памяти, никто из людей не может работать бесконечно, он не влюбляется, у него не болит голова. И это не будущее, это настоящее.
Все другие виды интеллекта, кроме того, о котором нас предупреждал недавно ушедший Хокинг, он начал интересоваться другими цивилизациями. И сказал: не только не нужно их искать, нужно всячески стараться, спрятаться как можно дальше, потому что если они нас обнаружат – то нам крышка придет довольно быстро. Раз они нас нашли - то они гораздо более развиты, а мы им зачем? А мы с ними сможем договориться? Может, там даже не мозги, а что-то совершенно иное?
У нас очень усложняются все системы. Есть вещь, так называемое число Данбара, ограничение на количество постоянных социальных связей. Некое число, вычисляемое из объёмов и возможностей мозга. Считается, что у обезьян круг общения — это примерно 50 особей, а из них близких – 3-4. У человека – 150 общение, а близких примерно 15. А теперь залезьте к себе в телефоны и посмотрите сколько там номеров.
Мы влезли в пространство, которое мы можем не выдержать. Оно такое огромное, я общаюсь с тысячами людей, но это давно вылезло за пределы. Итого – гиперсети в мозгу, и Москва – это тоже сеть, сеть сетей, сеть сетей сетей... Гиперсети везде, в социуме, это не может долго держаться, будут разрывы.
Уже родились дети, которые не переучивались, а уже родились с гаджетами. Что с ними собираются делать учителя? Тот, который говорит – вот это стул, на нем сидят – не нужен никому, у ребенка есть Google, где он сам всё посмотрит. Он уже давно знает, как это включать. А что должен делать учитель с таким ребенком?
Так вот нет никаких правил. Есть только один закон: не может так общество существовать. Коллапс должен наступить. Вам учитель говорит одно, вы ему - другое, и это же везде, и каждый день происходит. Идут серьезные споры по выработке норм для мозга, что можно делать, а что нельзя. А с геномом вот – можно? Уже сказали: с геномом – нельзя, а в Китае трое детей родились с модифицированными генами… в одной комнате запрещают, а в соседней есть…
Есть такие области – нейрохакинг, считывать, что в мозгу делается. А уж вставить чип в мозг – уже пустяки. Раз есть возможность считывать – значит, есть возможность и влиять, это одна и та же дорога.
Но наконец – как нам не потерять представление о реальности? Как не потерять контроль над ней? Сейчас прозрачный мир, телефон фиксирует всё, где вы были. Этические нормы другие, ценности и смыслы другие, давайте хаоса не прибавлять. Потому что больше всего сейчас цивилизация напоминает то, с чего я свою профессиональную деятельность начинала, а именно – сумасшедший дом.
2 ответа · более года назад
Письмо философу 4. Тат твам аси
О сколько твердил Валентин 1 " тат твам аси" , что даже я это запомнил.
Говорят же умные люди " повторение мать учение". Но, другие умные люди сказали " сколько не повторяй халва, сладко не станет".
Что хотел сказать Валентин 1 этими словами не понятно.
Так как смысл этой фразы размыт.
То ли это молитва, то ли философская концепция , а может даже смысл того, что бог есть в каждом
Бог есть в каждом, но смысла в этом мало.
Валентин 1 не раскрывал смысл этой свой часто повторяемой заученной фразой.
Так часть людей верит что повторение мантр , то есть разных слов на древних языках, даст им божественные силы, могущество и даже богатство.
Те люди которые не получили сего, им говорится, мало старались, маленькая вера была и прочее.
У китайцев орудие маленькое а , детей делают. Так что не в малой вере проблема.
Да и Христос сказал " имей вы веру с горчичное зерно и сказав горе иди и гора пошла ...". То есть не в стараниях и вере проблема. А в чем?
Галла утверждает что буддизм совершил множество открытий божественных законов.
На просьбу Исакова Г.В. озвучить хотя бы один закон.
Было выдано множество философских рассуждений, сказок и притч. Что само по себе и не плохо.
Но где же божественные законы ?
А их оказывается и нет.
Дело в том что ответ есть.
Этот ответ "атомная бомба " всем духовидцам которые находятся в тумане духовных слов, не ища Истины , о которой Христос сказал " что она сделает их свободными" и " не хлебом единным жив человек" и " испившей духовной воды" в настоящей уже не будет иметь надобности и " копить богатство на небе", все эти вещи праведные, святые.
Но, стал ли жить человечество и человек счастливой жизнью, после 2000 лет после святых слов и распятия?
Не думаю. И Нагорная проповедь не помогла. И 10 заповедей не помогло.
Почему ? Задаю себе этот вопрос.
И тут же вам отвечу.
Не знаю как Христос а вот Валентин 1 и Галла, эти самые божественные законы
ВОВСЕ НЕ ПРИНИМАЮТ В РАСЧЕТ.
То есть если Галлу несет по волнам ее духовных слов , то где смысл во всем этом.
А смысл такой что Галла , да и Валентин 1 учитывают обычный например Закон притяжения и не выходят в окно, выше 2 этажа. И чем выше этаж тем не безопаснее этого сделать. Этот факт они учитывают. А свой божественный треп не учитывают, не берут в расчет.
Так если кто не будет учитывать закрытыую дверь и попытается пройти сквозь нее, максимум разобьет лоб.
Не учитывать физические законы не возможно.
А вот божественные законы, которые Галла так и не сформулировала возможно.
И даже 90 % населения нарушается и нарушалась всегда.
Это непреложный факт.
БОЖЕСТВЕННЫЕ ЗАКОНЫ НАРУШАЮТСЯ
Человечество подошло к краю пропасти за которым мрак и ужас.
Но и это ее не пугает.
Как сказала Галла " платите по счетам".
Мы заплатим , но и вы то же заплатите.
А чтобы не платить за грехи : война, ранняя смерть и прочее, надо всего лишь
ДУХОВНО РАЗВИВАТЬСЯ И ДУХОВНО РАСТИ.
А по моему получать ДС- духовный свет.
Говорят же умные люди " повторение мать учение". Но, другие умные люди сказали " сколько не повторяй халва, сладко не станет".
Что хотел сказать Валентин 1 этими словами не понятно.
Так как смысл этой фразы размыт.
То ли это молитва, то ли философская концепция , а может даже смысл того, что бог есть в каждом
Бог есть в каждом, но смысла в этом мало.
Валентин 1 не раскрывал смысл этой свой часто повторяемой заученной фразой.
Так часть людей верит что повторение мантр , то есть разных слов на древних языках, даст им божественные силы, могущество и даже богатство.
Те люди которые не получили сего, им говорится, мало старались, маленькая вера была и прочее.
У китайцев орудие маленькое а , детей делают. Так что не в малой вере проблема.
Да и Христос сказал " имей вы веру с горчичное зерно и сказав горе иди и гора пошла ...". То есть не в стараниях и вере проблема. А в чем?
Галла утверждает что буддизм совершил множество открытий божественных законов.
На просьбу Исакова Г.В. озвучить хотя бы один закон.
Было выдано множество философских рассуждений, сказок и притч. Что само по себе и не плохо.
Но где же божественные законы ?
А их оказывается и нет.
Дело в том что ответ есть.
Этот ответ "атомная бомба " всем духовидцам которые находятся в тумане духовных слов, не ища Истины , о которой Христос сказал " что она сделает их свободными" и " не хлебом единным жив человек" и " испившей духовной воды" в настоящей уже не будет иметь надобности и " копить богатство на небе", все эти вещи праведные, святые.
Но, стал ли жить человечество и человек счастливой жизнью, после 2000 лет после святых слов и распятия?
Не думаю. И Нагорная проповедь не помогла. И 10 заповедей не помогло.
Почему ? Задаю себе этот вопрос.
И тут же вам отвечу.
Не знаю как Христос а вот Валентин 1 и Галла, эти самые божественные законы
ВОВСЕ НЕ ПРИНИМАЮТ В РАСЧЕТ.
То есть если Галлу несет по волнам ее духовных слов , то где смысл во всем этом.
А смысл такой что Галла , да и Валентин 1 учитывают обычный например Закон притяжения и не выходят в окно, выше 2 этажа. И чем выше этаж тем не безопаснее этого сделать. Этот факт они учитывают. А свой божественный треп не учитывают, не берут в расчет.
Так если кто не будет учитывать закрытыую дверь и попытается пройти сквозь нее, максимум разобьет лоб.
Не учитывать физические законы не возможно.
А вот божественные законы, которые Галла так и не сформулировала возможно.
И даже 90 % населения нарушается и нарушалась всегда.
Это непреложный факт.
БОЖЕСТВЕННЫЕ ЗАКОНЫ НАРУШАЮТСЯ
Человечество подошло к краю пропасти за которым мрак и ужас.
Но и это ее не пугает.
Как сказала Галла " платите по счетам".
Мы заплатим , но и вы то же заплатите.
А чтобы не платить за грехи : война, ранняя смерть и прочее, надо всего лишь
ДУХОВНО РАЗВИВАТЬСЯ И ДУХОВНО РАСТИ.
А по моему получать ДС- духовный свет.
14 ответов · более года назад