Щеглов Виталий Николаевич : другие произведения.

Когнитивные карты: интерпретация основных понятий с помощью алгоритма построения Амкл

Самиздат: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]
Ссылки:


 Ваша оценка:


В.Н. Щеглов

Когнитивные карты: интерпретация основных понятий с помощью алгоритма построения АМКЛ

   В статье показано, что основные существенные понятия метода когнитивных карт и, в частности, основные понятия при исследовании человеческого фактора в управлении сложных систем, весьма эффективно отображаются алгоритмом построения алгебраических моделей конструктивной (интуиционистской) логики.
   Ключевые слова: алгоритм, интуиционистская логика, алгебраическая модель, интерпретация, когнитивные карты, сложные системы.
  
   При исследовании сложных объектов с помощью интуиционистских моделей математической логики [1, 2, 3] и, в частности, алгебраических моделей конструктивной (интуиционистской) логики (АМКЛ), обращает на себя внимание следующий факт. Интуиционистские модели могут быть истолкованы (в виде приближенного отображения действительности) как возможные состояния знания некоторого познающего субъекта, как модели творческого сознания. С помощью самой структуры или способа построения этих моделей удалось показать достаточно интересные алгоритмические интерпретации основ квантовой теории, теории калибровочных полей и общей теории относительности; квантовой теории калибровочных полей, квантовой теории гравитации, редукции квантованных когерентных состояний ультраструктур нейронов мозга, особых состояний сознания, структуры качественных выводов из астрономической модели Керра; удалось сопоставить структуру Нагорной проповеди и библейских заповедей с этапами построения АМКЛ [4], а также многие другие интерпретации особенно в области медицины (см. http://samlib.ru/ ).
   Возможно, любую интересную и сложную область познания можно интерпретировать с помощью этих достаточно гибких по своему построению интуиционистских моделей АМКЛ (далее будем писать иногда просто "моделей" или М). Формализация этого подхода может по мере накопления опыта и новых данных постепенно уточняться и специализироваться при изучении отдельных областей знания. Можно рассматривать эти модели как некоторый "переводчик" терминов, взятых из специализированных областей знания на язык построения М; они являются как бы некоторым формализованным познающим субъектом. Познание здесь осуществляется в виде алгебраических моделей интуиционистской логики (моделей Бета-Крипке). Такие М при практическом их использовании отображают динамику состояний ("свободно становящиеся последовательности" [3]), или динамику знания некоторого познающего субъекта (алгоритма вычисления АМКЛ). Приведем краткое описание этого алгоритма, детальное описание и множество примеров приведено в [1].
   В исходном массиве действительных (или комплексных) чисел или чисел k-значной логики) Х(n+1, m), где n - число переменных (столбцов в Х) и m - число состояний t (строк), записанных в порядке течения времени t, выделяется один или несколько столбцов Y, для которых Y = f(X). В дальнейшем для краткости этот массив (базу данных) будем записывать как (Х, Y, t), где t - время (или порядковый номер строки или в иных случаях номер индивида). Значения Y разбиваются на k частей (обычно на 2 по медиане), и эти значения кодируются, например, в виде булевой функции Z = (0, 1), где 0 - нецелевые состояния и 1 - целевые. Далее каждое состояние (строки в Х), которому задано определенное целевое значение Z, сравнивается со всей своей окрестностью нецелевых состояний, начиная с ближайших. Строятся конъюнкции К* (переменные соединены логическими связками "и", &) малого числа r открытых интервалов dx значений переменных для целевого состояния; r будем называть рангом конъюнкции К*. Итоговые К** (по всем целевым состояниям) вычисляются таким образом, чтобы К** были бы простыми импликациями (логические связки "если, то", -->), истинными формулами для Z, например: "если К**, то Z = 1" (иногда эти импликации будем называть исходными М). Примем также (это наше семантическое соглашение), что вычисление К* относится к функции подсознания, а К** и далее по алгоритму - к функции сознания. Затем вычисляются оценки Г для каждой К** (число состояний, где встречается данная К**). Далее строятся тупиковые дизъюнктивные формы (АМКЛ) для каждого из Z = (0, 1) в отдельности. Начиная с наибольшей Г отбираются эти К и объединяются логическими связками "или" (V); предварительно отбрасываются те из них, множества состояний которых ("покрытия", множества номеров строк) уже входят в объединение покрытий ранее отобранных итоговых К (т. е. строится тупиковая дизъюнктивная форма или итоговая М). Далее все вышеприведенные аналогичные операции совершаются и в отношении нецелевых состояний. "Целевым" значением здесь становится Z = 0; соответствующее объединенное посредством связок V множество этих К присоединяется в скобках к целевому множеству К посредством связки V и константы " - " ("ложь", "отрицание").
   В некоторых случаях требуется построение вероятностной модели. Для этого все частичные пересечения двух или более К обозначаются как новые К, оставшиеся множества и эти новые К вновь упорядочиваются по их Г, переиндексируются и подсчитываются итоговые Г и Г/m. Эти частоты в сумме дают единицу.
   После вычисления модели обычно проводится ее интерпретация (обычно с помощью подходящих информационно-поисковых систем) - сопоставление с уже известными более общими теориями, в которые К входят как подмножества (поиск "мажоранты", "наводящих соображений", "пояснений" [5]). Иногда вычисляется также контекст отдельных наиболее интересных итоговых К, входящих в тупиковую форму. Это замкнутые интервалы значений всех переменных, не включенных в данную К, т. е. только для "своих" Г строк-состояний (для "покрытия" этой К). Интерпретация контекста (вместе с К) соответствует возможному "объяснению" функций Z и также несущественных переменных. При необходимости аналитического отображения логической модели производится аппроксимация всех подмножеств значений (х, у) для каждого К обобщенными рядами Эрмита или Фурье [1, 2, 6]. Будем считать, что мы потенциально имеем возможность отслеживать и сохранять в памяти компьютера весьма большие, но конечные массивы числовой содержательной информации, которая отображает доступный нам смысл исследуемого процесса.
   Во многих часто встречающихся случаях Y = (у1, у2, ...) является многокритериальной функцией для Х (алгоритм см. в [1]). В более общем случае можно считать, что Х является массивом всей доступной информации, как бы некоторый текст (в динамике, по строкам), посредством которого исследуемый объект обменивается информацией с исследователем. Номера соответствующих переменных ("слов", столбцов массива Х), являются обычно некоторым ограниченным словарем, тезаурусом. При этом, вообще говоря, каждое слово из этого словаря можно задать в качестве функции цели у относительно оставшейся части Х. Все дело заключается в том, в каком контексте (смысле) проводится исследование. Более того, иногда даже конкретная цель для исследователя не совсем ясна. В этом случае можно вычислить некоторое множество моделей для "обзорного" множества у и отобрать модель, для которой информационная энтропия меньше - практически, можно предпочесть модель, которая содержит меньшее число выводов К с оценками Г = 1. Конечно, далее если возможно, следует с помощью информационно-поисковых средств интерпретировать полученную модель, а иногда и отбросить неинтересные тавтологии, которые неожиданно выявляются при тесной корреляции у с некоторыми сходными (с у) по смыслу переменными. Затем, если это требуется, уже строится модель для многокритериального Y. Еще отметим, что при исследовании объектов в динамике в массив исходных данных можно включать информацию (модели, в том числе и их Y), полученные на предыдущем шаге исследования (модели с "памятью"). Особенно это характерно при исследовании конфликтующих структур (дипломатия, разведка, информационное воздействие на социальные структуры...), при этом обычно Y отображается в виде значений k-значной логики.
   Сами модели АМКЛ в динамике (с контекстами) являются как бы некоторым кинофильмом, отображающим поведение исследуемого объекта, который можно видеть с запаздыванием, зависящим от времени передачи исходных данных и всех вычислений. Вычисляемые итоговые импликации К (отдельные модели из АМКЛ) отображают здесь изменения во времени исследуемого объекта (или субъекта). В случае прогнозирования поведения объекта в будущем, входные данные должны включать также некоторые временные переменные: скорости, ускорения и т. п. Весьма часто такие процессы идут с обратной связью - Y зависит не только от значений входных переменных и Y в данный момент времени, но также и от более ранних их значений. При прогнозировании удобно использовать также аппроксимацию всех подмножеств значений (х, у) для каждого К обобщенными рядами Фурье или Эрмита - поведение объекта отображается как бы в виде "голографической интерференции" различных волн или в виде некоторых "пакетов" волн.
   Будем считать, что на первом этапе исследования всевозможных текстов по заданной теме уже вычислены модели, которые распознают в этих произведениях ситуации, отображаемые в итоге некоторыми наборами научных, психологических, философских, религиозных понятий или иных обобщенных выводов, часто обозначаемых определенными терминами. Приведем далее список возможных семантических соглашений (интерпретаций результатов функционирования самого алгоритма построения АМКЛ), которые в итоге приписывают как самому алгоритму построения, так и различным параметрам модели, записанной в общем виде (например, функционалам К и Г) их определенные смысловые значения в различных ситуациях. Эти соглашения могут уточняться по мере накопления новых сведений о применении этих соглашений в определенной содержательной области. Следует отметить, что, возможно, лишь интуиционистские модели в настоящее время позволяют как бы более тонко "настроить" способы понимания, семантику получаемых выводов из моделей, относящихся к определенному содержательному виду. Будем записывать (жирным курсивом) далее нумерованный список по теме статьи некоторых сложных высказываний и понятий различных цитируемых авторов. Эти высказывания будем сопоставлять с различными стадиями функционирующего алгоритма или с наличием различных параметров модели (здесь как бы составляется словарь заранее согласованного "перевода" слов с одного языка на другой). Ссылка на литературу для каждого элемента списка приводится лишь один раз - она относится и к последующим элементам списка, вплоть до очередной новой ссылки (но внутри поясняющего текста могут быть свои ссылки). Приводимые ниже элементы списка следуют ходу изложения текста цитируемых авторов. В этом списке и в соответствующих интерпретациях даются по возможности лишь краткие определения различных терминов. Их более точный смысл следует искать в контексте всей статьи. Далее в интерпретациях курсивом выделяются термины и высказывания, поясняющие, например, с точки зрения психологии эти термины (или когда приводятся примеры). Иногда курсив применяется просто для выделения смысла слов.
   1. Термин "когнитивная карта" относится к семейству моделей представления знаний экспертов в виде структуры каузальных (или причинно-следственных) влияний в моделируемых ситуациях [7]. - Эта структура отображается в данном случае в виде алгебраических моделей конструктивной (интуиционистской) логики (АМКЛ). Дополнительно также могут отображаться близкие к требуемым структурам некоторые модели (обычно в виде текстов), получаемые с помощью информационно-поисковых систем или каким-либо иным способом (эксперты и т.п.). Когнитивные карты - множество конъюнкций (в итоге импликаций К), входящих в АМКЛ.
   2. Ядро всех моделей этого семейства - ориентированный граф, с вершинами которого связаны факторы, и дуги, интерпретируемые как причинно-следственные влияния между факторами. Обычно ядро дополняется некоторыми параметрами, такими как знак влияния ("+" или " - ") или интенсивность влияния. - Факторами здесь являются переменные величины. Обычно массив значений этих переменных (Х, Y, t) имеет численные значения и/или значения k-значной логики (в частности, булевы значения). Дуги - это логические связки & ("и"), V ("или"), --> ("если, то") и константа -, ("ложь"). Знаками влияния в случае численных значений переменных здесь являются изменения величины интервалов (предикатов) dx, dy в процессе "обучения": при их увеличении +, при уменьшении - . Интенсивность влияния - значения оценок Г.
   3. При исследовании рисков важен критерий адекватности перевода содержательных знаний о проблемной ситуации на язык математической модели и обратно. - Риск - недостаточная устойчивость (недостаточная стационарность) модели в динамике ее последующего практического использования. На практике вычислений риск можно оценивать весьма просто, например, по минимуму "шума" - по минимуму суммарного числа оценок Г = 1 в различных вычисляемых вариантах модели. Критерий адекватности - обычно минимум информационной энтропии модели. На практике также весьма удобно отбирать модели с минимальным числом импликаций К, имеющих оценку Г = 1 или Г = 1 и Г = 2 и т.д. (модели с малым "шумом"). В некоторых случаях, когда содержательная интерпретация К для максимальной оценки Г (или для иной большой Г) представляется заслуживающей внимания, выбирается модель, которая содержит именно эту К. Обратный перевод - при практическом использовании моделей часто необходимо также знание ("уставки") также и интервалов значений некоторых переменных, которые не вошли в выбранную модель - необходимо знание "содержательного" требуемого контекста модели.
   4. Для улучшения понятности математического языка модели создаются словесные шаблоны понимания связей в когнитивной карте. Подставляются имена факторов, связанных влиянием, вместо свободных переменных. - Вычисление АМКЛ: в результате некоторые ранее свободные переменные оказываются "существенными", связанными между собой определенными взаимодействиями (логическими связками, см. п. 2). Также вычисляются открытые интервалы значений этих переменных, которые необходимы и достаточны чтобы, например, импликации К --> Z = 1 были истинными формулами. Эти логические конструкции весьма удобны для их перевода на естественный язык и создания подходящих для понимания словесных шаблонов.
   5. Недостаточная четкость содержательного смысла некоторых факторов является в свою очередь фактором риска для требуемой достоверности модели. - При вычислении АМКЛ "отсеиваются" несущественные переменные. Одной из причин их удаления (или, в частности, построения более узких интервалов dx и соответствующие им малые значения Г) является указанная выше недостаточная четкость субъективного содержательного смысла некоторых введенных в массив данных переменных и, соответственно, большой разброс их значений.
   6. Исправления в карте с целью удовлетворения критерия полноты влияния на фактор выражаются в виде расширения состава факторов. Зависимость их числа от порядка фиксации факторов в строящейся карте. - Алгоритм построения модели (см. [1] и вводную часть статьи) вкратце состоит в том, что выбирается определенное целевое состояние t (строка исходного массива данных), которая сравнивается со всей своей окрестностью нецелевых состояний. Происходит уменьшение интервалов dx, некоторые из них уничтожаются ("схлопываются"). После такого уничтожения самого последнего интервала делается шаг назад - восстанавливается предыдущее состояние интервала, проверяется гипотеза К* --> Z=1, помечаются состояния t, на которых эта гипотеза ложна. Далее происходит аналогичный процесс "обучения", но лишь на помеченных t - добавляется аналогичным образом новая переменная и т.д. до истинности все усложняющейся гипотезы на всем массиве данных. Затем выбирается очередное целевое состояние и т.д. Заметим, что последние выделяемые переменные (для определенного состояния t) отображают влияние на К** более "отдаленной" нецелевой окрестности относительно заданного на данном этапе (очередного) целевого состояния. Другими словами, при исследовании объекта в динамике (во времени) последние выделяемые переменные отображают влияние наиболее "старых" состояний исследуемого объекта.
   7. Мыслимы ситуации, когда моделирование экспертных знаний в терминах выбранной модели когнитивных карт оказывается невозможным без отдельных нарушений аксиомы транзитивности влияний, и нарушения не признаются экспертами как ошибки, но, напротив, находят рациональное обоснование. - Напомним, что транзитивность влияний означает ситуацию, когда при a --> b и b --> c имеет место a --> c. Для АМКЛ в наиболее общем виде, для ее интервальной (предикатной) формы, пусть, например, в частности (К1 = dx) --> dy1, dy1 --> dz1 = 1 (истина). Здесь полагаем, что в массиве данных имеется лишь одна переменная у на выходе, через dy1 будем обозначать интервал значений у, соответствующие состояния которых "покрываются" импликацией К1. Аналогичным образом dz1 здесь будет означать набор определенных булевых значений, соответствующих dy1. По построению (по алгоритму) импликация К1 --> dz1 здесь всегда истинна, т.е. транзитивность влияний в модели обеспечена.
   Однако, например, покрытие состояний t для К1 может "перекрываться" покрытиями, соответствующими иным К (для того же значения z). Другими словами, импликации (выводы) К носят некоторый обобщенный характер, что на практике может привести к иному их семантическому толкованию. В случае частичного или полного перекрытия областей определения ("покрытий) для некоторых К1, К2, ... (в общем случае это весьма характерно для АМКЛ) следует заметить, что такие импликации в чем-то сходны между собой. Лишь анализ априорной содержательной информации может показать, например, их соответствие некоторой более общей теории, расширяющей понятие предиката К1 (r-мерного "куба", заполненного своими "точками" t), до понятия более сложного предиката, соответствующего некоторому объединению, например, двух таких "кубов" (например, для К1 и К2).
   8. Когнитивная карта задает структуру причинно-следственных влияний для класса ситуаций, отличающихся параметрами (начальными данными). Модель ситуации на основе карты - это описание одной из возможных ситуаций класса [8]. - См. п. 1. Ситуации t - строки массива данных. Карта - это одна из импликаций К (r-мерных "кубов" со ребрами dx). Аналитические модели для "точек" t, заполняющих такие кубы, в частности, могут быть быстро вычислены в виде обобщенных рядов Эрмита или Фурье. Можно предположить, что использование таких логических или аналитических моделей может быть первым шагом для более успешного дальнейшего использования, например, методов агентного (имитационного) моделирования или различных методов использования когнитивных карт.
   9. Основным средством, поддерживающим решение задачи верификации, является открытое множество критериев отсутствия риска для достоверности конечных результатов моделирования. - Открытые r-мерные интервалы dx, содержащие только целевые "точки" (состояния) t, принадлежащие к определенной целевой К1. Каждое такое состояние является критерием отсутствия риска того, что импликация К1 может быть нецелевой, т.е. ложной (согласно алгоритму, по построению, этот "куб" К1 может содержать только целевые t).
   10. По виду представления критерии являются слабо формализованными. Это значит, что (в данном случае) критерий представляется в виде словесного шаблона, который, в логическом смысле, является предикатом со свободной переменной. При подстановке конкретной конструкции получается высказывание, истинность которого означает соответствие этой конструкции данному критерию. - Интервалы dx по сути дела являются некоторыми редкими множествами; свободная переменная х здесь означает континуум еще не реализованных "точек" t, из которых следует лишь вычесть Г уже реализованных точек для определенного К ("всегда" истинной модели). При разработки уточненной модели следует проверять на истинность каждую "новую" точку из dx. Модели должны постоянно уточняться - желательно слежение за объектом в динамике его развития.
   11. Существенная роль человека и его когнитивных средств в процессе экспертной верификации без критериев делает целесообразным 1)привлечение знаний когнитивных наук для исследования таких процессов,
   2) построение правдоподобной междисциплинарной модели, которая позволила бы не только объяснить процессы верификации без критериев, известные сегодня, но и подсказывать пути развития средств их поддержки, теоретических и инструментальных. Подчеркнем, что постановка задачи такого рода неизвестна. - В данной работе предлагается использовать алгебраические модели конструктивной (интуиционистской) логики по известной содержательной информации, которые дают достаточно обоснованное приближение к указанным целям 1) и 2), - отображают творческое сознание человека (экспертов, верификаторов, теоретиков, практиков). По отношению к выше разобранным случаям, наиболее важным аспектом этих моделей являются соответствующие семантические соглашения, характерные именно для интуиционистского понимания суждений. По сути дела для всех вышеприведенных высказываний авторов [7, 8] даются их толкования (интерпретации) в интуиционистском смысле - приводятся примеры конструктивных операций, которые реализуют поставленные цели.
   12. Преувеличение общности хорошо известно в лингвистике и изучается в качестве одного из языковых способов манипуляции. - См. п. 7, 10.
   13. Работоспособен принцип противопоставления различных видов знаний для проверки обоснованности получаемых результатов моделирования, позволяющий обнаруживать противоречия, свидетельствующие в пользу недостоверности результатов. - Всегда в список переменных могут быть введены все те переменные, которые характеризуют различные виды знаний (теорий). Некоторые импликации К* могут содержать различные переменные, которые относятся (каждая) к "своему" виду знания. В том же случае, если в процессе дальнейшего процесса "обучения" такие К* не превращаются в соответствующие истинные формулы К**, естественно, будем считать результаты такого моделирования недостоверными - различные виды знаний здесь противоречивы.
   14. Необходимость дальнейшего развития методов экспертной верификации и ее программной поддержки. - В данной работе предлагается использовать программы, реализующие метод построения АМКЛ, на первом этапе экспертной верификации - для "обучения" экспертов с помощью некоторых выводов, которых нет в априорных (например, в литературных) данных.
   15. При верификации карты или модели на ее основе по многим локальным критериям необходимы методы комплексного оценивания, достаточно информативные для принятия решений по коррекции. - Здесь укажем на достаточно общий метод "обучения" по известным значениям сложного критерия Z = (z1, z2, z3, ...) для всех состояний t, см. [1]. В случае численных значений Y = (y1, y2, y3, ...) этот метод сводится к такому сдвигу точек разбиения всех значений каждого из yi, при котором итоговый булев вектор-столбец Zj = (0, 1) имел бы примерно равное количество значений 0 и 1. Вектор Zj как бы "свертывает" значения вектора Z согласно заданной цели - исследователем заранее задается строка ("кортеж") целевых булевых значений Z* = (z*1, z*2, z*3, ...). В том случае, если Z совпадает с Z*, то соответствующее значение zj из столбца Zj будет равно 1, иначе равно 0 (далее, если это требуется, происходит небольшой сдвиг точек разбиения у и т.д.). Заметим, что в итоговой модели всегда известны значения у, входящие в каждый dyi.
   16. Необходимость диагностической модели, обобщающей разные подходы и поддерживающей компетентное и обоснованное принятия решений в ситуациях конфликта разных знаний. - см. п. 13.
   17. Одной из интересных исследовательских задач представляется сравнительный анализ диагностических возможностей разных подходов к верификации на представительном пакете прикладных примеров, отражающих опыт применения формальных когнитивных карт. - Вычисление алгебраических моделей конструктивной (интуиционистской) логики является одним из возможных подходов к исследованию проблемы верификации. Эти модели в данном случае интересны также тем, что они могут быть как бы удобным "полигоном" для отработки самых различных (внутри этих моделей) методов верификации. Если массивы исходной информации достаточно велики (например, m больше или равно 2n) для некоторых объектов (точнее, больших систем), в каком-то смысле сходных с требуемыми объектами исследования, то диагностические возможности каждого варианта здесь можно оценивать весьма просто, например, по минимуму "шума" или риска - по минимуму суммарного числа оценок Г = 1 в различных вычисляемых вариантах модели.
   18. Для повышения эффективности процесса верификации производственно-технических комплексов, связанных с безопасностью, целесообразно применять не только модели процессов их создания и испытаний, но и когнитивные карты, отражающие представления ответственных исполнителей о взаимосвязях факторов риска в этом процессе и их относительной значимости (принцип рефлексивного анализа [9]. - См. п. 7, 11, 17.
  
   В качестве заключения отметим, что основные, существенные понятия метода когнитивных карт и, в частности, основные понятия при исследовании человеческого фактора в управлении, весьма эффективно отображаются алгоритмом построения алгебраических моделей конструктивной (интуиционистской) логики.
  
   Литература
  
      -- 1. Щеглов В. Н. Творческое сознание: интуиционизм, алгоритмы и модели. - Тула: "Гриф и К", 2004. - 201 с. (см. также http://publ.lib.ru).
      -- 2. Щеглов В. Н. Творческое сознание: интерпретация алгоритма построения алгебраических моделей конструктивной (интуиционистской) логики, 2007. - 12 с. (см. также http://publ.lib.ru).
      -- 3. Драгалин А. Г. Математический интуиционизм. - М.: "Наука", 1979. - 256 с.
      -- 4. Щеглов В. Н. Нагорная проповедь: сопоставление с алгоритмом построения алгебраических моделей интуиционистской логики, 2008. - 9 с. (см. http://samlib.ru/ , там же и другие статьи по АМКЛ-интерпретациям).
      -- 5. Шанин Н. А. Об иерархии способов понимания суждений в конструктивной математике// Труды математического института имени В. А. Стеклова, CXXIX // Проблемы конструктивного направления в математике, 6. - Л.: "Наука", 1973. - С. 203 - 266.
      -- 6. Антосик П., Микусинский Я., Сикорский Р. Теория обобщенных функций. - М.: Мир, 1976. - 312 с.
      -- 7. Абрамова Н.А., Коврига С.В. Некоторые критерии достоверности моделей на основе когнитивных карт. //Проблемы управления. - 2008. - N6. - С. 23 - 33.
      -- 8. Абрамова Н.А. Экспертная верификация при использовании формальных когнитивных карт. Подходы и практика. // Сборник "Управление большими системами" - М.: ИПУ РАН, 2010. - С. 1 - 41.
      -- 9. Паспорт лаборатории когнитивного моделирования и управления развитием ситуаций. - М.: ИПУ РАН, 2010.
  
  
   См. публикации автора в Интернете: http://samlib.ru/ , http://publ.lib.ru (здесь также статьи с формулами), http://shcheglov.livejournal.com/ (ссылки на новые статьи). Мой фотоальбом1: http://4put.ru/pics/u_135/ , мои фотоальбомы 2, 3, 4: http://shcheglov.gallery.ru . Мой фотоальбом 5:
   http://photo.qip.ru/users/shcheg32/151006983/ . Эл. почта: [email protected] , тел. 8 905 119 70 97.
  

9.06.2011 г.

   ` '
  
  
  
  
  
  
  
  
  
  

6

  
  
  
  

 Ваша оценка:

Связаться с программистом сайта.

Новые книги авторов СИ, вышедшие из печати:
О.Болдырева "Крадуш. Чужие души" М.Николаев "Вторжение на Землю"

Как попасть в этoт список

Кожевенное мастерство | Сайт "Художники" | Доска об'явлений "Книги"