В обыденной жизни можно наблюдать следующую зависимость: чем сложнее орудие труда, машина, любой механизм, тем менее они надежны, тем больше убытков получается при их поломке. Так, каменные орудия труда наших предков, пролежавшие в земле многие тысячелетия, выглядят сейчас "как новые". Десятки лет могут служить человеку лопата, топор, телега. Значительно меньше живут и вдобавок требуют постоянного ухода экскаваторы, станки, автомобили. Разумеется, более сложные вещи приносят и больше пользы.
Под эту закономерность нетрудно подвести и формальную основу: чем больше элементов в системе, тем выше вероятность выхода из строя ее элементов и блоков. Здесь-то и возникает сомнение в возможности создания такой сложной системы как искусственный разум, значительно превосходящий человеческий. Не опасна ли такая система своей ненадежностью и непредсказуемыми последствиями? Не будет ли эта опасность сопоставима с той, которая исходит от атомных станций? Вирусы, гуляющие по сетям ЭВМ, дают весомые основания сомневаться в способности человека контролировать свое детище.
Прежде всего заметим, что есть немало объектов, для которых указанная зависимость между сложностью и надежностью не имеет места. Например, живые организмы. Продолжительность их существования определяется биологическими программами и практически не зависит от уровня организации. Так человек живет дольше, чем мышь, комар, дождевой червь, но меньше, чем гораздо менее сложные деревья, способные иногда достигать возраста в пять тысяч лет. Широта диапазона сроков жизни показывает, что сложность не является здесь препятствием для увеличения надежности системы, и в принципе эволюция могла бы привести к появлению программ, допускающих еще большие сроки жизни, т.е. на несколько порядков выше, чем у любой современной технической системы, у любой ЭВМ, которые гораздо проще даже самого простого живого организма.
Еще более устойчивыми являются биоценозы, которые могут существовать миллионы лет. К надежным можно отнести и такую сложнейшую систему как человеческое общество. Правда, в современных условиях, когда накоплены огромные запасы оружия, для мира существует серьезная опасность. Но пути для выхода из сложного положения есть.
Попытаемся разобраться, почему усложнение биологических систем, вообще говоря, не ведет к уменьшению их надежности.
Особенность живых организмов и биоценозов состоит в том, что они постоянно себя воспроизводят, восстанавливают связи, подвергшиеся разрушению. У них также выходят из строя отдельные элементы, ничуть не реже, чем в технических устройствах, но эти нарушения не приводят к гибели, поскольку система сама себя "ремонтирует". Процессы естественного разрушения уравновешиваются деятельностью системы. По мере усложнения число "неполадок" растет, но растет и активность системы. Причем противоположный, восстановительный процесс становится преобладающим - это видно на примерах биоценозов и человечества в целом.
В отличие от этого, технические устройства, как правило, не снабжены механизмами автономного регулирования, и законы вероятностного, стихийного разрушения проявляются здесь в чистом виде.
А отсутствуют такие механизмы по следующим причинам. Во-первых, их заменяет человек. И правильнее было бы оценивать надежность системы "человек плюс машина". Поскольку без человека трамвай или самолет - это вообще мертвый хлам. Тогда простая на первый взгляд закономерность уменьшения надежности технических устройств не покажется такой уж очевидной.
Во-вторых, сначала создаются простые машины, а для них не может быть и речи об установке контролирующих подсистем. (Калькулятор в ручке лопаты был бы явно неуместен.) В этих условиях развитие идет по линии простого увеличения числа деталей машин, что вполне закономерно приводит к снижению надежности. Таким образом, современные "сложные" машины ненадежны не потому, что они слишком сложны, а потому, что они, наоборот, недостаточно сложны, они еще не дошли до того уровня, когда экономически оправданной будет установка на них специальных блоков контроля и самовосстановления.
Кроме того, существует моральное старение техники, по причине которого нет смысла делать "вечные" станки и приборы. "Современные научные приборы морально изнашиваются столь быстро, что за 4-5 лет, как правило, безнадежно устаревают. При нынешних темпах научно-технического прогресса абсурдной выглядит так называемая бережная (по нескольку часов в неделю) эксплуатация прибора." (Глушков В.М.) Отсюда - относительно невысокая надежность. Принципиально есть возможность бесконечно ремонтировать и совершенствовать каждый конкретный станок (меняя при этом, может быть, даже его назначение), но проще бывает создать новый станок. Так что малый срок службы машины еще не говорит о низкой надежности механизма, а точнее, системы "человек плюс машина".
Итак, противоречия между сложностью и надежностью нет. "...Что усложнение непременно снижает надежность, - явное заблуждение... " - опять же считает академик В.М.Глушков.
Как раз сейчас мы живем в эпоху резкого повышения надежности технических устройств. На протяжении тысячелетий человек был единственным регулятором и контролером технических устройств. Поэтому физические возможности человека служили определяющим и часто сдерживающим фактором в развитии машин. И только в последнее столетие электричество, радио, компьютеры открыли новые пути эффективного управления машинами.
Любопытно, что первые ЭВМ были исключительно ненадежны и требовали чуть ли не ежечасного ремонта. Прежде чем стать средством контроля они сами должны были стать достаточно надежными.
Отметим, что справедливые сомнения в надежности и безопасности машин вызваны не только чисто техническими, но и социальными факторами. История сложилась так, что создание и развитие технических устройств происходило в антагонистических формациях. Средства производства находились в руках эксплуататоров и использовались, прежде всего, в интересах эксплуататоров. Машины служили средством угнетения, средством подавления чужой воли. "Прогресс техники и науки означает в капиталистическом обществе прогресс в искусстве выжимать пот." (В.И.Ленин)
Кроме того, отрицательное отношение к машинам, страх перед бездушными механизмами вызваны именно их бездушием, тем, что трудно найти общий язык с машиной. "Распространяемое комиксами и дешевой фантастикой мнение, что думающие машины должны быть злобными существами, враждебными человеку, настолько абсурдно, что вряд ли стоит тратить силы на его опровержение. Меня подмывает сказать, что только неразумные машины могут быть злыми; каждый, кто пробовал запустить заупрямившийся подвесной лодочный мотор, вероятно, согласится со мной. Те, кто изображает машины как активных врагов, лишь проецирует свои собственные доставшиеся в наследство от джунглей агрессивные инстинкты в мир, где их попросту не существует." (А.Кларк)
Но бездушие машин не вечно. Уже сегодня труд, связанный с использованием сложных технических устройств, как правило, интереснее и более привлекателен. По мере совершенствования машины становятся дополнительными руками человека, его глазами, новым телом общественного организма. Когда появляются возможности для творчества, и человек вкладывает душу в любимое дело, он начинает ценить и уважать своих верных технических помощников.
От людей зависит та программа, которая закладывается в технические системы. Если все механизмы сконструированы не для разрушения, а для созидания, для удовлетворения человеческих потребностей, для роста общественных богатств, то осуществлять "черные дела" машине будет просто нечем и не из-за чего. А на случай неисправностей есть надежные средства контроля.
Есть гипотеза, что люди будут совершенствовать ЭВМ лишь до некоторого предела, до "безопасного уровня", так чтобы они не сравнялись по умственным способностям с людьми и не превратились в самостоятельную общественную силу. Однако остановка в развитии на "безопасном уровне" повысила бы вероятность гибели цивилизации под натиском стихийных сил, вела бы к застою в науке и технике, т.е. была бы, наоборот, ОПАСНОЙ.
При таком подходе человек и машины мыслятся как непримиримые противоборствующие стороны. Но ведь грядет изменение биологических основ, машины в свою очередь развиваются по линии приближения к человеческим способностям. Граница между ними постепенно будет размываться, и надо не возводить ее, пусть из соображений безопасности, а, наоборот, искать пути к ее преодолению.
Кроме того, даже в конкретную эпоху нет четких критериев, что опасно, а что нет. Конечно, этот вопрос можно решить юридически, но без материальной основы юридические законы порождают только еще больше противоречий.
Весьма показательна в этом отношении ситуация, описанная С.Батлером (1835-1902) в романе "Эревон" (1872г.). После победы над машинами в Эревоне были запрещены все машины и механизмы, в том числе и часы. Такое решение победителей может вызвать только улыбку. Часы можно было оставить. Ведь уничтожая технику, люди наносят удар не столько по машинам, сколько по себе. Не механизмы, а человек теряет здесь свои права, свои возможности. Жизнь современного человека подчинена огромному количеству правил и запретов, но эти ограничения на самом деле увеличивают свободу человека. "Освобождение" от знаний, от достижений цивилизации, возврат к первобытному существованию снимают формальные запреты, но в действительности ставят человека в исключительно жесткие рамки.
Однако, оставив часы, мы тут же сталкиваемся с проблемой: как быть со швейной машинкой, велосипедом, телевизором? Вряд ли их следует опасаться. А вот в вопросе о ЭВМ мнения, наверное, разделятся. И давайте подумаем, почему. Возражать, скорее всего, будут те, кто не знаком с принципами работы ЭВМ и потому опасаются, как бы машины чего не натворили. Тех же, кто непосредственно связан с работой на вычислительной машине, не напугаешь, поскольку они заранее знают, что может "натворить" машина. Аналогичное отношение проявляется и в других видах деятельности: крановщица, наверняка, не уютно чувствовала бы себя в операционной, как впрочем и хирург - на высоте двадцатиэтажного дома.
В той или иной мере опасны все виды человеческой деятельности. Но причины несчастных случаев кроются не столько в машинах, сколько в незнании, неумении обращаться с техникой. Сравнительно недавно люди пугались первых паровозов, пароходов, самолетов, тракторов. А все - от незнания, элементарной неграмотности. Чтобы не опасаться своих творений, надо прежде всего работать над собой. Конечно, знаний человеку будет требоваться все больше и больше. Но та же наука и техника открывают широкие перспективы для совершенствования человека, вплоть до изменения его биологической структуры.
Развитие ЭВМ принципиально отличается от слепой биологической эволюции. Оно контролируется и направляется человеком. Поэтому требовательным человек должен быть прежде всего к себе. Тогда каким бы сложным ни было техническое устройство, бояться его и отказываться от него станет так же бессмысленно и смешно, как запрещать мясорубку или кисточку для бритья. Н.В.Невесенко
Под эту закономерность нетрудно подвести и формальную основу: чем больше элементов в системе, тем выше вероятность выхода из строя ее элементов и блоков. Здесь-то и возникает сомнение в возможности создания такой сложной системы как искусственный разум, значительно превосходящий человеческий. Не опасна ли такая система своей ненадежностью и непредсказуемыми последствиями? Не будет ли эта опасность сопоставима с той, которая исходит от атомных станций? Вирусы, гуляющие по сетям ЭВМ, дают весомые основания сомневаться в способности человека контролировать свое детище.
Прежде всего заметим, что есть немало объектов, для которых указанная зависимость между сложностью и надежностью не имеет места. Например, живые организмы. Продолжительность их существования определяется биологическими программами и практически не зависит от уровня организации. Так человек живет дольше, чем мышь, комар, дождевой червь, но меньше, чем гораздо менее сложные деревья, способные иногда достигать возраста в пять тысяч лет. Широта диапазона сроков жизни показывает, что сложность не является здесь препятствием для увеличения надежности системы, и в принципе эволюция могла бы привести к появлению программ, допускающих еще большие сроки жизни, т.е. на несколько порядков выше, чем у любой современной технической системы, у любой ЭВМ, которые гораздо проще даже самого простого живого организма.
Еще более устойчивыми являются биоценозы, которые могут существовать миллионы лет. К надежным можно отнести и такую сложнейшую систему как человеческое общество. Правда, в современных условиях, когда накоплены огромные запасы оружия, для мира существует серьезная опасность. Но пути для выхода из сложного положения есть.
Попытаемся разобраться, почему усложнение биологических систем, вообще говоря, не ведет к уменьшению их надежности.
Особенность живых организмов и биоценозов состоит в том, что они постоянно себя воспроизводят, восстанавливают связи, подвергшиеся разрушению. У них также выходят из строя отдельные элементы, ничуть не реже, чем в технических устройствах, но эти нарушения не приводят к гибели, поскольку система сама себя "ремонтирует". Процессы естественного разрушения уравновешиваются деятельностью системы. По мере усложнения число "неполадок" растет, но растет и активность системы. Причем противоположный, восстановительный процесс становится преобладающим - это видно на примерах биоценозов и человечества в целом.
В отличие от этого, технические устройства, как правило, не снабжены механизмами автономного регулирования, и законы вероятностного, стихийного разрушения проявляются здесь в чистом виде.
А отсутствуют такие механизмы по следующим причинам. Во-первых, их заменяет человек. И правильнее было бы оценивать надежность системы "человек плюс машина". Поскольку без человека трамвай или самолет - это вообще мертвый хлам. Тогда простая на первый взгляд закономерность уменьшения надежности технических устройств не покажется такой уж очевидной.
Во-вторых, сначала создаются простые машины, а для них не может быть и речи об установке контролирующих подсистем. (Калькулятор в ручке лопаты был бы явно неуместен.) В этих условиях развитие идет по линии простого увеличения числа деталей машин, что вполне закономерно приводит к снижению надежности. Таким образом, современные "сложные" машины ненадежны не потому, что они слишком сложны, а потому, что они, наоборот, недостаточно сложны, они еще не дошли до того уровня, когда экономически оправданной будет установка на них специальных блоков контроля и самовосстановления.
Кроме того, существует моральное старение техники, по причине которого нет смысла делать "вечные" станки и приборы. "Современные научные приборы морально изнашиваются столь быстро, что за 4-5 лет, как правило, безнадежно устаревают. При нынешних темпах научно-технического прогресса абсурдной выглядит так называемая бережная (по нескольку часов в неделю) эксплуатация прибора." (Глушков В.М.) Отсюда - относительно невысокая надежность. Принципиально есть возможность бесконечно ремонтировать и совершенствовать каждый конкретный станок (меняя при этом, может быть, даже его назначение), но проще бывает создать новый станок. Так что малый срок службы машины еще не говорит о низкой надежности механизма, а точнее, системы "человек плюс машина".
Итак, противоречия между сложностью и надежностью нет. "...Что усложнение непременно снижает надежность, - явное заблуждение... " - опять же считает академик В.М.Глушков.
Как раз сейчас мы живем в эпоху резкого повышения надежности технических устройств. На протяжении тысячелетий человек был единственным регулятором и контролером технических устройств. Поэтому физические возможности человека служили определяющим и часто сдерживающим фактором в развитии машин. И только в последнее столетие электричество, радио, компьютеры открыли новые пути эффективного управления машинами.
Любопытно, что первые ЭВМ были исключительно ненадежны и требовали чуть ли не ежечасного ремонта. Прежде чем стать средством контроля они сами должны были стать достаточно надежными.
Отметим, что справедливые сомнения в надежности и безопасности машин вызваны не только чисто техническими, но и социальными факторами. История сложилась так, что создание и развитие технических устройств происходило в антагонистических формациях. Средства производства находились в руках эксплуататоров и использовались, прежде всего, в интересах эксплуататоров. Машины служили средством угнетения, средством подавления чужой воли. "Прогресс техники и науки означает в капиталистическом обществе прогресс в искусстве выжимать пот." (В.И.Ленин)
Кроме того, отрицательное отношение к машинам, страх перед бездушными механизмами вызваны именно их бездушием, тем, что трудно найти общий язык с машиной. "Распространяемое комиксами и дешевой фантастикой мнение, что думающие машины должны быть злобными существами, враждебными человеку, настолько абсурдно, что вряд ли стоит тратить силы на его опровержение. Меня подмывает сказать, что только неразумные машины могут быть злыми; каждый, кто пробовал запустить заупрямившийся подвесной лодочный мотор, вероятно, согласится со мной. Те, кто изображает машины как активных врагов, лишь проецирует свои собственные доставшиеся в наследство от джунглей агрессивные инстинкты в мир, где их попросту не существует." (А.Кларк)
Но бездушие машин не вечно. Уже сегодня труд, связанный с использованием сложных технических устройств, как правило, интереснее и более привлекателен. По мере совершенствования машины становятся дополнительными руками человека, его глазами, новым телом общественного организма. Когда появляются возможности для творчества, и человек вкладывает душу в любимое дело, он начинает ценить и уважать своих верных технических помощников.
От людей зависит та программа, которая закладывается в технические системы. Если все механизмы сконструированы не для разрушения, а для созидания, для удовлетворения человеческих потребностей, для роста общественных богатств, то осуществлять "черные дела" машине будет просто нечем и не из-за чего. А на случай неисправностей есть надежные средства контроля.
Есть гипотеза, что люди будут совершенствовать ЭВМ лишь до некоторого предела, до "безопасного уровня", так чтобы они не сравнялись по умственным способностям с людьми и не превратились в самостоятельную общественную силу. Однако остановка в развитии на "безопасном уровне" повысила бы вероятность гибели цивилизации под натиском стихийных сил, вела бы к застою в науке и технике, т.е. была бы, наоборот, ОПАСНОЙ.
При таком подходе человек и машины мыслятся как непримиримые противоборствующие стороны. Но ведь грядет изменение биологических основ, машины в свою очередь развиваются по линии приближения к человеческим способностям. Граница между ними постепенно будет размываться, и надо не возводить ее, пусть из соображений безопасности, а, наоборот, искать пути к ее преодолению.
Кроме того, даже в конкретную эпоху нет четких критериев, что опасно, а что нет. Конечно, этот вопрос можно решить юридически, но без материальной основы юридические законы порождают только еще больше противоречий.
Весьма показательна в этом отношении ситуация, описанная С.Батлером (1835-1902) в романе "Эревон" (1872г.). После победы над машинами в Эревоне были запрещены все машины и механизмы, в том числе и часы. Такое решение победителей может вызвать только улыбку. Часы можно было оставить. Ведь уничтожая технику, люди наносят удар не столько по машинам, сколько по себе. Не механизмы, а человек теряет здесь свои права, свои возможности. Жизнь современного человека подчинена огромному количеству правил и запретов, но эти ограничения на самом деле увеличивают свободу человека. "Освобождение" от знаний, от достижений цивилизации, возврат к первобытному существованию снимают формальные запреты, но в действительности ставят человека в исключительно жесткие рамки.
Однако, оставив часы, мы тут же сталкиваемся с проблемой: как быть со швейной машинкой, велосипедом, телевизором? Вряд ли их следует опасаться. А вот в вопросе о ЭВМ мнения, наверное, разделятся. И давайте подумаем, почему. Возражать, скорее всего, будут те, кто не знаком с принципами работы ЭВМ и потому опасаются, как бы машины чего не натворили. Тех же, кто непосредственно связан с работой на вычислительной машине, не напугаешь, поскольку они заранее знают, что может "натворить" машина. Аналогичное отношение проявляется и в других видах деятельности: крановщица, наверняка, не уютно чувствовала бы себя в операционной, как впрочем и хирург - на высоте двадцатиэтажного дома.
В той или иной мере опасны все виды человеческой деятельности. Но причины несчастных случаев кроются не столько в машинах, сколько в незнании, неумении обращаться с техникой. Сравнительно недавно люди пугались первых паровозов, пароходов, самолетов, тракторов. А все - от незнания, элементарной неграмотности. Чтобы не опасаться своих творений, надо прежде всего работать над собой. Конечно, знаний человеку будет требоваться все больше и больше. Но та же наука и техника открывают широкие перспективы для совершенствования человека, вплоть до изменения его биологической структуры.
Развитие ЭВМ принципиально отличается от слепой биологической эволюции. Оно контролируется и направляется человеком. Поэтому требовательным человек должен быть прежде всего к себе. Тогда каким бы сложным ни было техническое устройство, бояться его и отказываться от него станет так же бессмысленно и смешно, как запрещать мясорубку или кисточку для бритья. Н.В.Невесенко
Обсуждения Противоречивы ли сложность и надежность?
Именно из-за упомянутых Вами экономических соображений уже давным-давно многое не проверяется и отдано на откуп машинам. А можно ли что-то проконтролировать в современном Интернете?
ИР будет создаваться вовсе не для того, чтобы пристально следить за каждым его шагом, дабы не натворил чего. А наоборот, чтобы освободить людей от мелочных забот и расчетов.
Законы в области программирования предлагалось принять еще на его заре. Тогда, возможно, не было бы современного бардака. Но не случилось... Наверное, имеет смысл подумать о законодательстве. Но я затрудняюсь предложить что-либо конкретное. А на примере законов роботехники видно, что не так то просто заставить машины ходить по струнке.
Версию деградации человечества я считаю вполне реальной. Но, конечно, людям надо иметь ее ввиду не для любования ею, а для предотвращения деградации. Так что помогайте и Вы в этом направлении. Н.В.Невесенко
Наступит момент, когда само программирование сложных систем станет настолько сложным и затратным для людей, что это дело будет поручено самим программам.
Скорее это произойдет из чисто экономических соображений.
Например, скажем, корпорации Майкрософт будет выгоднее содержать одну программирующую программу, чем тысячу программистов.
Вот тогда люди и начнут терять контроль над ИР.
Поэтому, уже сейчас надо принимать международный закон для предупреждения такой ситуации.
Хотя, согласно концепции "Программа эволюции" когда уровень интеллектуального развития человечества достигнет предела, о чем как раз и будет свидетельствовать поручение всех сфер деятельности, как производства так и управления искусственному разуму, человечество все равно начнет физически деградировать и вымирать и переходить из земного уровня развития на следующий космический уровень развития в астральном теле - духовную эволюцию.