.RU

§2. Системы поддержки принятия решений - Интеллектуальные информационные сист емы


^ §2. Системы поддержки принятия решений



Системы поддержки принятия решений – это программные средства и информационно-аналитические технологии, предназначенные специально для оказания помощи в решении задач поиска, анализа и выбора лучших из возможных вариантов. При этом лицо, принимающее решение, должно обеспечиваться не только информационной, но в первую очередь технологической поддержкой процедуры, вплоть до выбора лучшего решения.

Понятие о поддержке в принятии решений сформулировали П. Кин и Ч. Стэйбел. Ранние определения систем поддержки принятия решений (в начале 70-х годов прошлого века) отражали следующие три свойства систем:

В современном представлении идеальная система поддержки принятия решений:

До середины 60-х годов ХХ века создание больших информационных систем было чрезвычайно дорогостоящим, поэтому первые информационные системы менеджмента (Management Information Systems) были созданы в эти годы лишь в достаточно больших компаниях. Они предназначались для подготовки периодических структурированных отчетов для менеджеров. Но информационные системы способны на большее. В конце 60-х годов появляется новый тип информационных систем – модель-ориентированные системы поддержки принятия решений (Decision Support Systems) или системы управленческих решений (Management Decision Systems).

70-е годы ХХ века стали периодом возникновения ранних систем поддержки принятия решений и теоретических изысканий. К 1975 году Дж. Д. Литтл разработал систему Brandaid (Поддержка бренда), которая предназначалась для поддержки принятия решений в производстве, продвижении, ценообразовании и рекламе. Также Литтл в своей более ранней статье сформулировал критерии по формированию моделей и систем для поддержки принятия решений для менеджмента: надежность, легкость контроля, простота и полнота набора необходимых деталей.

В начале 80-х годов исследователи из академических институтов создали новую категорию программного обеспечения для поддержки группового принятия решений. Самыми ранними вариантами таких систем были Mindsight компании Execucom Systems, GroupSystems, созданные в Аризонском университете, и система SAMM, созданная исследователями Университета Миннесоты. В 1984 году в Университете Аризоны была завершена разработка системы PLEXSYS и сформирована служба компьютеризованной поддержки групповых решений.

Новые технологии стали использовать совместно с системами поддержки принятия решений. Примерно с 1990-го года Б. Инмон и Р. Кимбел начали продвигать системы поддержки принятия решений, построенные с помощью технологий реляционных баз данных. Активно разрабатывались системы поддержки принятия решений, основанные на архитектуре «клиент-сервер», до этого в основном использовались большие компьютеры (mainframe). Системы поддержки принятия решений стали интегрироваться в долговременные хранилища. Системы поддержки принятия решений, использующие возможности Интернета, стали реальностью около 1995 года.
^ Структура систем поддержки принятия решений
Структура системы поддержки принятия решений зависит от решаемой задачи, предметной области, аппаратно-программной платформы и конкретной реализации. В самом общем виде систему поддержки принятия решения можно представить в виде двух подсистем: системы поддержки генерации решений и системы поддержки выбора решений (рис. 35).




Рис. 35. Обобщенная структура системы поддержки принятия решений


Системы поддержки генерации решений можно разделить на эвристические и оптимизационные. Эвристические технологии стимулируют и дисциплинируют мышление (например, структурный и морфологический анализ), помогают находить варианты решений на базе известных правил, принципов и аналогов. Однако при формировании вариантов решений уникальных задач (например, при стратегическом планировании) их применимость часто ограничивают вспомогательными функциями. Оптимизационные системы поддержки принятия решений основаны на методах оптимального структурного синтеза и параметрической оптимизации.

Системы поддержки выбора решений предназначены для выбора эффективных вариантов решения, сгенерированных любым из вышеперечисленных методов либо поступивших извне (например, заявок на финансирование инвестиционных проектов). Эти системы базируются на методах многокритериального анализа и экспертных оценок.

Другой вариант обобщенной архитектуры системы поддержки принятия решений состоит из пяти частей (рис. 36): источники данных (часто используется база данных), система управления данными (если источников несколько, подсистема объединяет, проверяет и синхронизирует их), модели управления (включают в себя модели решаемой задачи и внешнего мира), машина вывода (позволяет с помощью имеющихся данных и моделей получить и обосновать решение) и интерфейс пользователя.




Рис. 36. Компоненты системы поддержки принятия решений


Систему поддержки принятия решений можно представить в виде процессов (рис. 37).

Система проводит сбор запрашиваемых у пользователя или внешних датчиков данных и вложенных в нее при создании данных и знаний. После этого определяет состояние, в котором находится система и решаемая задача, критерии и цели (может запрашивать и уточнять у пользователя). На основе полученных данных, которые содержатся в памяти, и имеющейся модели системы или задачи с учетом сформированных критериев и целей генерируется множество решений, которые проверяются на модели, и выбирается лучшее. После реализации решения производится оценка результатов: если она неудовлетворительная, то процессы генерации и выбора повторяются с учетом новых данных.




Рис. 37. Процессы системы поддержки принятия решений


С информационно-аналитической точки зрения, задачей системы поддержки принятия решений является агрегирование (сжатие) многокритериальной информации об анализируемых объектах до объема и формы представления, воспринимаемых лицом, принимающим решение.

С программно-технологической точки зрения, варианты решений являются для системы принятия решений просто анализируемыми объектами, которые характеризуются наборами количественных и качественных характеристик (показателей).

Чаще всего системы принятия решений используют при стратегическом планировании и выборе организации сложных систем. Несмотря на уникальность каждой из таких задач, при их решении используется типовая технология обработки информации. Поэтому в мире уже достаточно широко используются универсальные системы поддержки принятия решений, предназначенные для сравнения и выбора вариантов любых решений. Задача пользователя таких систем заключается в настройке универсальной программной оболочки на нужную предметную область путем ввода (импорта) информации об анализируемых объектах, а также иерархии требований и предпочтений. Для универсальных систем принятия решений анализируемыми объектами могут являться любые объекты, для которых требуется дать оценку их соответствия предъявляемым требованиям по многим критериям, принять решение альтернативного выбора, например «выбрать лучшее из...» или «одобрить-отвергнуть», принять решение о распределении ресурсов среди группы объектов, исходя из их текущей приоритетности.

В зависимости от решаемой задачи в системах поддержки принятия решений могут использоваться различные методы принятия решений, привлекаться модели и методы, разработанные в рамках предметной области. Примерами методов принятия решения являются:

Системы поддержки принятия решений начинают все шире применяться государственными организациями и крупными корпорациями
(U.S. Navy, NASA, IBM, General Motors, Xerox, 3M, Rockwell International, Reiter Consulting Group International и др.). Примеры задач, решаемых с привлечением таких систем:

В последнее время системы поддержки принятия решений начинают применяться и в интересах малого и среднего бизнеса (например, выбор варианта размещения торговых точек, выбор кандидатуры на замещение вакантной должности, выбор варианта информатизации и т.д.).
^ Классификация систем поддержки принятия решений
Общепринятой исчерпывающей классификации систем поддержки принятия решений не существует, но системы поддержки принятия решений можно разделить по нескольким уровням.

На уровне пользователя системы поддержки принятия решений можно разделить на:

Пассивной системой поддержки принятия решений называется система, которая помогает процессу принятия решения, но не может вынести предложение, какое решение принять.

Активная система может сделать предложение, какое решение следует выбрать.

Кооперативная система позволяет лицу, принимающему решение, изменять, пополнять или улучшать решения, предлагаемые системой, посылая затем эти изменения в систему для проверки. Система изменяет, пополняет или улучшает эти решения и посылает их опять пользователю. Процесс продолжается до получения согласованного решения.

На концептуальном уровне выделяют следующие системы поддержки принятия решений:

Система, управляемая сообщениями, поддерживает группу пользователей, работающих над выполнением общей задачи.

Системы, управляемые данными, ориентируются на доступ и манипуляции с данными.

Системы, управляемые документами, осуществляют поиск и манипулируют неструктурированной информацией, заданной в различных форматах.

Системы, управляемые знаниями, обеспечивают решение задач в виде фактов, правил, процедур.

Системы, управляемые моделями, базируются на математических моделях (статистических, финансовых, оптимизационных, имитационных). Для их построения можно использовать OLAP-системы, позволяющие осуществлять сложный анализ данных, и тогда такую систему поддержки принятия решения можно отнести к гибридным системам, которые обеспечивают моделирование, поиск и обработку данных.

^ На уровне данных, с которыми эти системы работают, условно можно выделить:

Оперативные системы поддержки принятия решений предназначены для немедленного реагирования на изменения текущей ситуации в управлении финансово-хозяйственными процессами компании.

Стратегические системы ориентированы на анализ значительных объемов разнородной информации, собираемой из различных источников.

На уровне решаемой задачи и области применения выделяют системы поддержки принятия решений:

Системы поддержки принятия решений первого класса, обладающие наибольшими функциональными возможностями, предназначены для применения в органах государственного управления высшего уровня (администрация президента, министерства) и органах управления больших компаний (совет директоров корпорации) при планировании крупных комплексных целевых программ для обоснования решений относительно включения в программу различных политических, социальных или экономических мероприятий и распределения между ними ресурсов на основе оценки их влияния на достижение основной цели программы. Системы поддержки принятия решений этого класса являются системами коллективного пользования, базы знаний которых формируются многими экспертами – специалистами в различных областях знаний.

Системы поддержки принятия решений второго класса являются системами индивидуального пользования, базы знаний которых формируются непосредственным пользователем. Они предназначены для использования государственными служащими среднего ранга, а также руководителями малых и средних фирм для решения оперативных задач управления.

Системы поддержки принятия решений третьего класса являются системами индивидуального пользования, адаптирующимися к опыту пользователя. Они предназначены для решения часто встречающихся прикладных задач системного анализа и управления (например, выбор субъекта кредитования, выбор исполнителя работы, назначение на должность и пр.). Такие системы обеспечивают получение решения текущей задачи на основе информации о результатах практического использования решений этой же задачи, принятых в прошлом. Кроме того, системы этого класса предназначены для использования в торговых предприятиях, торгующих дорогими товарами длительного пользования, в качестве средства «интеллектуальной рекламы», позволяющего покупателю выбрать товар на основе своего опыта применения товаров аналогичного назначения.

На уровне архитектуры системы поддержки принятия решений делятся на:

Они отличаются организацией серверной стороны системы поддержки принятия решений. Характерной чертой функциональной системы является то, что анализ осуществляется с использованием данных из оперативных систем. На клиентской стороне располагается пользовательский интерфейс системы поддержки принятия решений, а на серверной – источники данных для задач принятия решений.

^ Витрина данных – база данных, функционально-ориентированная и, как правило, содержащая данные по одному из направлений деятельности организации. Она отвечает тем же требованиям, что и хранилище данных, но, в отличие от хранилища, нейтрального к приложениям, в витрине данных информация хранится оптимизированно с точки зрения решения конкретных задач.

Кроме того, под витриной данных иногда понимают относительно небольшое хранилище данных или же часть более общего хранилища данных, специфицированную для использования конкретным подразделением в организации и/или определенной группой пользователей. Если в корпоративной системе имеется две витрины данных, то общие данные, имеющиеся в обеих секциях одновременно, должны быть представлены в секциях идентично.

Независимые витрины данных часто появляются в организации исторически и встречаются в крупных организациях с большим количеством независимых подразделений, зачастую имеющих свои собственные отделы информационных технологий.

^ Хранилище данных – предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений; может состоять из нескольких баз данных, имеет свою собственную модель хранения данных. Информация, поступившая в хранилище, не удаляется, не изменяется.

Двухуровневое хранилище данных строится централизованно для предоставления информации в рамках компании. Для поддержки такой архитектуры необходимы специалисты в области хранилищ данных. Это означает, что вся организация должна согласовать все определения и процессы преобразования данных.

Трехуровневое хранилище данных представляет собой единый централизованный источник корпоративной информации. Витрины данных представляют подмножества данных из хранилища, организованные для решения задач отдельных подразделений компании. Пользователи имеют возможность доступа к детальным данным хранилища в случае, если данных в витрине недостаточно, а также для получения более полной картины состояния бизнеса.

В большинстве реальных случаев система принятия решений вне зависимости от класса и архитектуры должна помочь лицу, принимающему решения, формализовать его собственные представления о ценности полученных результатов и затратах на их получение.

Главным в системе принятия решений является не вычислительная часть, а технологическая поддержка процедуры корректного извлечения и формализации субъективных требований и предпочтений специалистов, а также процедуры пошагового агрегирования информации под контролем аналитика. Система поддержки принятия решений – не более чем средство технологической поддержки процедуры принятия решений, последнее слово всегда должно оставаться за экспертом.
^ Тест по теме «Системы поддержки принятия решений»



1. Что характерно для ранних систем поддержки принятия решений?

  1. возможность оперировать неструктурированными или слабоструктурированными задачами, в отличие от задач, с которыми имеет дело исследование операций

  2. оперирует слабоструктурированными решениями;

  3. поддерживает разнообразные стили и методы решения, что может быть полезно при решении задачи группой лиц, принимающих решения;

  4. нет правильного ответа

^ 2. Какие подсистемы входят в системы поддержки принятия решений?

  1. системы поддержки генерации решений

  2. системы поддержки выбора решений

  3. системы управления базами данных

  4. системы имитационного моделирования

  5. нет правильного ответа

^ 3. Какие методы используют в системах поддержки принятия решений?

  1. метод аналитических иерархических процессов

  2. метод Гаусса

  3. математическое моделирование

  4. метод аналитических сетевых процессов

  5. нет правильного ответа

^ 4. Как можно классифицировать систему поддержки принятия решений?

  1. на уровне пользователя

  2. в зависимости от языка программирования

  3. на концептуальном уровне

  4. в зависимости от области применения

^ 5. Какие системы поддержки принятия решений позволяют модифицировать решения системы, опирающиеся на большие объемы данных из разных источников?

  1. активные

  2. кооперативные

  3. стратегические

  4. оперативные

  5. управляемые данными

  6. нет правильного ответа

^ 6. К какому классу относится система поддержки принятия решения, чья база знаний сформирована многими экспертами?

  1. первому

  2. второму

  3. третьему

^ 7. Какие бывают архитектуры систем поддержки принятия решений?

  1. независимые витрины данных

  2. зависимые витрины данных

  3. трехуровневое хранилище данных

  4. одноуровневое хранилище данных

^ 8. При какой архитектуре данные хранятся в единственном экземпляре?

  1. трехуровневое хранилище данных

  2. двухуровневое хранилище данных

  3. функциональная система

  4. четырехуровневое хранилище данных



Литература по теме «Системы поддержки
принятия решений»




  1. Абдрахимов, Д. Поддержка принятия решений: взгляд на место информационно-аналитических технологий поддержки принятия решений в арсенале банковского аналитика [Электронный ресурс] / Д. Абдрахимов, А. Иоффин. – Режим доступа: http://www.bizcom.ru/rus/bt/1997/nr4/10.htm

  2. Горский, П. Мифы и реальность использования научных методов принятия решений в банковском бизнесе / П. Горский // Банковское дело. – 2002. – № 5. – Режим доступа: http://www.bizcom.ru/bank_business/2002-05/02.html

  3. Кравченко, Т. К. Современные информационные технологии в развитии компьютерных систем поддержки принятия решений [Электронный ресурс] / Т. К. Кравченко, Н. Л. Наумова. – Режим доступа: http://www.mesi.ru/ksit/k4sem24.zip

  4. Ларичев, О. И. Качественные методы принятия решений / О. И. Ларичев, Е. М. Мошкович. – М. : Наука : Физматлит, 1996.

  5. Лисянский, К. Архитектуры систем поддержки принятия решений [Электронный ресурс] / К. Лисянский. – Режим доступа: http://lissianski.narod.ru/index.html

  6. Моисеев, Н. Н. Предисловие к книге Орловского С.А. «Проблемы принятия решений при нечеткой исходной информации» / Н. Н. Моисеев. – М. : Наука, 1981.

  7. Пауэр, Д. Д. Краткая история развития систем поддержки принятия решений [Электронный ресурс] / Д. Д. Пауэр. – Режим доступа: CorpSite.ru. http://corportal.ru/History/DataTech/DSS/DSS.aspx

  8. Принятие решения: основные понятия и концепции [Электронный ресурс]. – Режим доступа: http://de.nwpi.ru/courses/man/main.htm

  9. Тоценко, В. Системы поддержки принятия решений – ваш инструмент для правильного выбора / В. Тоценко // Компьютера. – 1998. – № 34. – Режим доступа: http://www.computerra.ru/offline/1998/262/1520/

  10. Трахтенгерц, Э. А. Компьютерная поддержка принятия решений /
    Э. А. Трахтенгерц. – М. : СИНТЕГ, 1998.



Глоссарий


Основные определения по теме «История развития
искусственного интеллекта»

Искусственный интеллект (Artificial Intelligence, AI) – научное направление, в рамках которого ставятся и решаются задачи аппаратного или программного моделирования тех видов человеческой деятельности, которые традиционно считаются интеллектуальными (представление знаний, обучение, общение и т.п.).

Интеллектуальная система – система или устройство с программным обеспечением, имеющие возможность с помощью встроенного процессора настраивать свои параметры в зависимости от состояния внешней среды.

Эвристика – процесс поиска решений; прием решения задачи, основанный не на строгих математических моделях и алгоритмах, а на соображениях, восходящих к «здравому смыслу»; отражает особенности того, как такие задачи решает человек, когда он не пользуется строго формальными приемами.

Кибернетика – наука об управлении, связи и переработке информации. Основным объектом исследования кибернетики являются абстрактные кибернетические системы – от компьютеров до человеческого мозга и человеческого общества.

Теория игр – математическая теория предсказания результатов игр, в которых участники не имеют полной информации о намерениях друг друга. Теория игр используется для описания процессов, происходящих на олигополистических рынках, и в теории фирм.

Теория принятия решений – область исследования, изучающая закономерности выбора людьми путей решения разного рода задач и исследующая способы поиска наиболее выгодных из возможных решений.

Когнитивная психология – направление в психологической науке, изучающее зависимость поведения субъекта от познавательных процессов. Главное в когнитивной психологии – выделение некоторых общих компонентов, структур, процессов, характерных для познания в целом. В этом плане когнитивная психология – это современная психология познавательных процессов.

^ Основные определения по теме «Направления исследований
в области искусственного интеллекта»

Нейрокибернетика – научное направление, изучающее основные закономерности организации и функционирования нейронов и нейронных образований. Основным методом нейрокибернетики является математическое моделирование, при этом данные физиологического эксперимента используются в качестве исходного материала для создания моделей.

Нейрокомпьютеры – это системы, в которых алгоритм решения задачи представлен логической сетью элементов частного вида – нейронов с полным отказом от булевских элементов типа и, или, не. Как следствие этого, введены специфические связи между элементами, которые являются предметом отдельного рассмотрения.

Нейрокомпьютинг – скороразвивающаяся область вычислительных технологий, стимулированная исследованиями мозга. Вычислительные операции выполняются огромным числом сравнимо обычных, нередко адаптивных процессорных частей. Нейрокомпьютинг, по собственному происхождению, совершенно приспособлен для сравнения образов, определения образов и синтеза систем управления.

Робот – автоматическое устройство с антропоморфным действием, которое частично или полностью заменяет человека при выполнении работ в опасных для жизни условиях или при относительной недоступности объекта. Робот может управляться оператором либо работать по заранее составленной программе. Использование роботов позволяет облегчить или вовсе заменить человеческий труд на производстве, в строительстве, при работе с тяжелыми грузами, вредными материалами, а также в других тяжелых или небезопасных для человека условиях.

Компьютерная лингвистика (computational linguistics) – область использования компьютеров для моделирования функционирования языка в тех или иных условиях или проблемных областях, а также сфера применения компьютерных моделей языка в лингвистике и др. дисциплинах.

Распознавание образов (Pattern recognition) – разделение образов в неком пространстве на классы. Образ традиционно представляется в виде вектора измеренных величин.

Распознавание речи (Speech recognition) – автоматическое разложение звукового вида на фонемы и слова.

Естественный язык – в лингвистике любой язык общения между людьми. Под естественностью некоторого языка понимается наличие синонимии и омонимии слов и словосочетаний, а также свободный порядок слов в предложении.

Проблемная область интеллектуальной системы определяется предметной областью и решаемыми в ней задачами.

Предметную область можно характеризовать описанием области в терминах пользователя, а задачи – их типом. С точки зрения разработчика, выделяются статические и динамические предметные области. Предметная область называется статической, если описывающие ее исходные данные не изменяются во времени. При этом производные данные (выводимые из исходных) могут появляться заново и изменяться (не изменяя при этом исходных данных). Если исходные данные, описывающие предметную область, изменяются за время решения задачи, то предметную область называют динамической.


^ Основные определения по теме «Представление знаний»

Данные – это отдельные факты, характеризующие объекты, процессы и явления предметной области, а также их свойства; сведения, полученные путем измерения, наблюдения, логических или арифметических операций, представленные в форме, пригодной для постоянного хранения, передачи и (автоматизированной) обработки.

Знания – это закономерности предметной области (принципы, связи, законы), полученные в результате практической деятельности и профессионального опыта, позволяющие специалистам ставить и решать задачи в этой области; это хорошо структурированные данные, или данные о данных, или метаданные.

Поверхностные знания – знания о видимых взаимосвязях между отдельными событиями и фактами в предметной области.

Глубинные знания – абстракции, аналогии, схемы, отображающие структуру и природу процессов, протекающих в предметной области. Эти знания объясняют явления и могут использоваться для прогнозирования поведения объектов.

Процедурные знания – знания, «растворенные» в алгоритмах.

Декларативными знаниями считаются предложения, записанные на языках представления знаний, приближенных к естественному и понятных неспециалистам.

Эмпирические знания – знания, которые могут добываться ИС путем наблюдения за окружающей средой.

Поле знаний – поле, в котором содержатся основные понятия, используемые при описании предметной области, и свойства всех отношений, используемых для установления связей между понятиями. Поле знаний связано с концептуальной моделью проблемной области, в которой еще не учтены ограничения, которые неизбежно возникают при формальном представлении знаний в базе знаний.

Семантическая сеть – это ориентированный граф, вершины которого – понятия, а дуги – отношения между ними.

Фрейм – это абстрактный образ для представления некоего стереотипа восприятия.


Основные определения по теме «Нейронные сети»

Нейрон (биологический) – клетка мозга, способная генерировать электрический импульс в случае, когда суммарный потенциал превысит критическую величину. Соединяясь друг с другом, нейроны образуют сеть, по которой путешествуют электрические импульсы; именно нейронные сети мозга обрабатывают информацию. При этом «обучение» сети и запоминание информации базируется на настройке значений весов связей между нейронами.

Синапс (вес, синаптический вес) – межнейронное соединение, однонаправленная входная связь нейрона, соединенная с выходом другого нейрона.

Аксон – выходная связь нейрона: при помощи аксона нейрон передает собственный выходной сигнал.

Искусственная нейронная сеть (Artificial neural network) – это система, состоящая из многих простых вычислительных элементов, работающих параллельно, функция которых определяется структурой сети, силой взаимных связей, а вычисления производятся в самих элементах или узлах.

Нейронные сети – класс моделей, основанных на биологической аналогии с мозгом человека и предназначенных после прохождения этапа так называемого обучения на имеющихся данных для решения разнообразных задач анализа данных.

Нейронная сеть – это процессор с массивным распараллеливанием операций, обладающий естественной способностью сохранять экспериментальные знания и делать их доступными для последующего использования. Он похож на мозг в двух отношениях: сеть приобретает знания в результате процесса обучения и для хранения информации используются величины интенсивности межнейронных соединений, которые называются синаптическими весами.

Нейрокомпьютер – это вычислительная система с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом логическом базисе.

Обучение нейронной сети (Training) – целенаправленный процесс изменения межслойных синаптических связей, итеративно повторяемый до тех пор, пока сеть не приобретет необходимые свойства.

Обучение с учителем, или обучение контролируемое, или обучение управляемое (Supervised learning, Associative learning). Обучение с учителем предполагает, что для каждого входного вектора существует целевой вектор, представляющий собой требуемый выход. Вместе они называются обучающей парой. Предъявляется выходной вектор, вычисляется выход сети и сравнивается с соответствующим целевым вектором, разность (ошибка) с помощью обратной связи подается в сеть, и веса изменяются в соответствии с алгоритмом, стремящимся минимизировать ошибку. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки, и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемо низкого уровня.

Обучение без учителя, или самообучение, или обучение неконтролируемое, или обучение неуправляемое (Unsupervised learning, Self-organization). Алгоритм обучения без учителя подстраивает веса сети так, чтобы получались согласованные выходные векторы, то есть чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения выделяет статистические свойства обучающего множества и группирует сходные векторы в классы.

Переобучение сети (Over training, Overfitting). Если в результате обучения нейронная сеть хорошо распознает примеры из обучающего множества, но не приобретает свойство обобщения, то есть не распознает или плохо распознает любые другие примеры, кроме обучающих, то говорят, что сеть переобучена. Переобучение – это результат чрезмерной подгонки сети к обучающим примерам.

Сходимость процесса обучения (Coincidence of the learning algorithm). Целью процедуры минимизации является отыскание глобального минимума, достижение его называется сходимостью процесса обучения.

Задача классификации (Classification problem) заключается в разбиении объектов на классы, когда основой разбиения служит вектор параметров объекта. Объекты в пределах одного класса считаются эквивалентными с точки зрения критерия разбиения. Сами классы часто бывают неизвестными заранее и формируются динамически (как, например, в сетях Кохонена). Классы зависят от предъявляемых объектов, и поэтому добавление нового объекта требует корректирования системы классов.

Кластеризация (Сlustering) – это один из методов анализа данных, позволяющих классифицировать многомерные наблюдения, каждое из которых описывается набором переменных X1, X2, …, Xn. Целью кластеризации является образование групп схожих между собой объектов.


^ Основные определения по теме «Эволюционное моделирование»

Эволюционное моделирование – направление в математическом моделировании, объединяющее компьютерные методы моделирования эволюции, а также близкородственные по источнику заимствования идей другие направления в эвристическом программировании. Включает в себя как разделы генетические алгоритмы, эволюционные стратегии, эволюционное программирование, искусственные нейронные сети, нечеткую логику.

Генетический алгоритм (Genetic algorithm, как направление исследований) – раздел эволюционного моделирования, заимствующий методические приемы из теоретических положений популяционной генетики. Представляет собой своего рода модель машинного исследования поискового пространства, построенную на эволюционной метафоре. Характерные особенности: использование строк фиксированной длины для представления генетической информации, работа с популяцией строк, использование генетических операторов для формирования будущих поколений. Генетические алгоритмы, являясь одной из парадигм эволюционных вычислений, представляют собой алгоритмы случайного направленного поиска для построения (суб)оптимального решения данной проблемы, который моделирует процесс естественной эволюции.

Генетические алгоритмы (как метод) – адаптивные методы поиска, которые используются для решения задач функциональной оптимизации.

Кроссовер, скрещивание (Crossover) – процедура или оператор в генетических алгоритмах, используемые для получения разнообразия в процессе воспроизводства. При одноточечном кроссовере берутся две хромосомы потомка, на них случайным образом выбирается точка, и для этой точки происходит обмен генетического материала потомков. При двухточечном кросcовере происходит то же самое, только выбираются случайным образом две точки.

Мутация (Mutation) – оператор в генетических алгоритмах, предназначенный для внесения разнообразия в процесс размножения; с очень малой вероятностью двоичная мутация заменяет биты в хромосоме случайными битами, значение этой вероятности является параметром генетического алгоритма.

Ген (Gene) в генетических алгоритмах представляет собой основную единицу информации, определяющую характеристику особи. Например, если мы используем генетический алгоритм для обучения нейронной сети, то тогда в качестве генов мы будем использовать веса связей между нейронами. Гены в реализации генетических алгоритмов обычно представляют собой битовые строки фиксированной длины.

Генотип (Genotype) – представление особи в терминах генетического алгоритма.

Фенотип (Phenotype) – представление особи в виде, имеющемся в реальном мире.

Хромосома, особь (Chromosome) – базовый элемент генетического алгоритма. Она представляет собой набор генов, описывающих параметры особи и однозначно определяющих ее. Например, в задаче обучения нейронной сети хромосома будет содержать в себе полностью все настраиваемые параметры. Обычно при реализации генетического алгоритма размер хромосом от эпохи к эпохе не изменяется, хотя встречаются и исключения.

Приспособленность, фитнесс (Fitness) – параметр, определяющий, насколько хорошо данная особь отвечает требованиям. Приспособленность рассчитывается для каждой особи на основе данных, закодированных в генотипе, и используется для выбора наиболее приспособленных особей.

Популяция (Population) – совокупность особей, участвующих в генетических операциях. В классических реализациях алгоритма ее размер постоянен.

Эпоха (Еpoch) – один этап функционирования генетического алгоритма. На нем осуществляется вычисление приспособленности каждой особи популяции. Затем на основании приспособленности отбираются хромосомы, участвующие в формировании следующей эпохи. Затем к ним применяются генетические операции, такие как скрещивание, мутация и т.д.


^ Основные определения по теме «Нечеткие множества
и нечеткая логика»

Нечеткая логика (Fuzzy logic) – умозаключение с использованием нечетких множеств или множеств нечетких правил. Это направление восходит к первым работам по нечетким множествам, выполенным Лофти Заде (Lofti Zaden) в 1960-1970 гг.

Неопределенность является неотъемлемой частью процессов принятия решений. Неопределенности принято разделять на три класса:

Нечеткое множество А  Х представляет собой набор пар , где х  Х и – функция принадлежности, то есть , которая представляет собой некоторую субъективную меру соответствия элемента нечеткому множеству и может принимать значения от нуля, который обозначает абсолютную непринадлежность, до единицы, которая, наоборот, говорит об абсолютной принадлежности элемента х нечеткому множеству А.

Нечетким числом называется выпуклое нормальное нечеткое множество с кусочно-непрерывной функцией принадлежности, заданное на множестве действительных чисел.

Лингвистическую переменную можно определить как переменную, значениями которой являются не числа, а слова или предложения естественного (или формального) языка.

Терм-множеством (term set) называется множество всех возможных значений лингвистической переменной.

Термом (term) называется любой элемент терм-множества. В теории нечетких множеств терм формализуется нечетким множеством с помощью функции принадлежности.

Дефаззификацией (defuzzification) называется процедура преобразования нечеткого множества в четкое число.

Фаззификацией (fuzzification) называется процедура преобразования четких значений в степени уверенности.

Нечетким логическим выводом называется получение заключения в виде нечеткого множества, соответствующего текущим значениям входов, с использованием нечеткой базы знаний и нечетких операций.

Нечеткой базой знаний называется совокупность нечетких правил «если… то…», определяющих взаимосвязь между входами и выходами исследуемого объекта. Обобщенный формат нечетких правил такой: если , то .

Посылка правила, или антецедент, представляет собой утверждение типа «x есть низкий», где «низкий» – это терм (лингвистическое значение), заданный нечетким множеством на универсальном множестве лингвистической переменной x. Квантификаторы «очень», «более-менее», «не», «почти» и т.п. могут использоваться для модификации термов антецедента.

Заключение, или следствие, правила представляет собой утверждение типа «y есть d», в котором значение выходной переменной d может задаваться:

Нечеткая система – множество нечетких правил, преобразующих входные данные в выходные. В простейшем случае эти правила устанавливает эксперт, в более сложном – например, нейросеть.

Нечеткое правило – условное высказывание вида «если X есть A, то Y есть B», где A и B – нечеткие множества.


^ Основные определения по теме «Экспертные системы»

Экспертные системы – это сложные программные комплексы, аккумулирующие знания специалистов в конкретных предметных областях и тиражирующие эти знания для консультации менее квалифицированных специалистов.

Пользователь – специалист предметной области, для которого предназначена система. Обычно его квалификация недостаточно высока, и поэтому он нуждается в помощи и поддержке своей деятельности со стороны экспертной системы.

Инженер по знаниям – специалист в области искусственного интеллекта, выступающий в роли промежуточного буфера между экспертом и базой знаний. Синонимы: когнитолог, инженер-интерпретатор, аналитик.

Интерфейс пользователя – комплекс программ, реализующих диалог пользователя с ЭС как на стадии ввода информации, так и при получении результатов.

База знаний – ядро ЭС, совокупность знаний предметной области, записанных на машинный носитель в форме, понятной эксперту и пользователю (обычно на некотором языке, приближенном к естественному). Параллельно такому «человеческому» представлению существует БЗ во внутреннем «машинном» представлении.

Решатель – программа, моделирующая ход рассуждений эксперта на основании знаний, имеющихся в БЗ. Синонимы: дедуктивная машина, машина вывода, блок логического вывода.

Подсистема объяснений – программа, позволяющая пользователю получить ответы на вопросы: «Как была получена та или иная рекомендация?» и «Почему система приняла такое решение?» Ответ на вопрос «как» – это трассировка всего процесса получения решения с указанием использованных фрагментов БЗ, то есть всех шагов цепи умозаключений. Ответ на вопрос «почему» – ссылка на умозаключение, непосредственно предшествовавшее полученному решению, то есть отход на один шаг назад. Развитые подсистемы объяснений поддерживают и другие типы вопросов.

Интеллектуальный редактор базы знаний – программа, представляющая инженеру по знаниям возможность создавать БЗ в диалоговом режиме. Включает в себя систему вложенных меню, шаблонов языка представления знаний, подсказок и других сервисных средств, облегчающих работу с базой.

Решение – процесс и результат выбора способа и цели действий из ряда альтернатив в условиях неопределенности.

Приобретением знаний называется выявление знаний из источников и преобразование их в нужную форму, а также перенос в базу знаний ИС. Источниками знаний могут быть книги, архивные документы, содержимое других баз знаний и т.п., то есть некоторые объективизированные знания, переведенные в форму, которая делает их доступными для потребителя.

Экспертные знания – знания, которые имеются у специалистов, но не зафиксированы во внешних по отношению к нему хранилищах. Экспертные знания являются субъективными.

Формализация. Процесс формализации знаний, полученных у эксперта, состоит из следующих шагов: выбор метода измерения нечеткости, получение исходных данных посредством опроса эксперта, реализация алгоритма построения функции принадлежности.

Интерпретация данных. Это одна из традиционных задач для экспертных систем. Под интерпретацией понимается процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анализ данных.

Диагностика. Под диагностикой понимается процесс соотнесения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность – это отклонение от нормы. Такая трактовка позволяет с единых теоретических позиций рассматривать и неисправность оборудования в технических системах, и заболевания живых организмов, и всевозможные природные аномалии. Важной спецификой является здесь необходимость понимания функциональной структуры («анатомии») диагностирующей системы.

Мониторинг. Основная задача мониторинга – непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы – «пропуск» тревожной ситуации и инверсная задача «ложного» срабатывания. Сложность этих проблем – в размытости симптомов тревожных ситуаций и необходимости учета временного контекста.

Проектирование. Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определенными свойствами. Под спецификацией понимается весь набор необходимых документов: чертеж, пояснительная записка и т.д. Основные проблемы здесь – получение четкого структурного описания знаний об объекте и проблема «следа». Для организации эффективного проектирования и в еще большей степени перепроектирования необходимо формировать не только сами проектные решения, но и мотивы их принятия. Таким образом, в задачах проектирования тесно связываются два основных процесса, выполняемых в рамках соответствующей ЭС: процесс вывода решения и процесс объяснения.

Прогнозирование. Прогнозирование позволяет предсказывать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуаций. В прогнозирующей системе обычно используется параметрическая динамическая модель, в которой значения параметров «подгоняются» под заданную ситуацию. Выводимые из этой модели следствия составляют основу для прогнозов с вероятностными оценками.

Планирование. Под планированием понимается нахождение планов действий, относящихся к объектам, способным выполнять некоторые функции. В таких ЭС используются модели поведения реальных объектов с тем, чтобы логически вывести последствия планируемой деятельности.

Обучение. Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины с помощью ЭВМ и подсказывают правильные решения. Они аккумулируют знания о гипотетическом «ученике» и его характерных ошибках, затем в работе они способны диагностировать слабости в познаниях обучаемых и находить соответствующие средства для их ликвидации. Кроме того, они планируют акт общения с учеником в зависимости от успехов ученика с целью передачи знаний.

Управление. Под управлением понимается функция организованной системы, поддерживающая определенный режим деятельности. Такого рода ЭС осуществляют управление поведением сложных систем в соответствии с заданными спецификациями.

Оптимизация – нахождение решения, удовлетворяющего системе ограничений и максимизирующего или минимизирующего целевую функцию.


^ Основные определения по теме «Системы поддержки
принятия решений»

Принятие решения – это особый вид человеческой деятельности, направленный на выбор лучшей из имеющихся альтернатив. Главной задачей, которую приходится разрешать при принятии решения, является выбор альтернативы, наилучшей для достижения некоторой цели, или ранжирование множества возможных альтернатив по степени их влияния на достижение этой цели.

Процесс принятия решений – получение и выбор наиболее оптимальной альтернативы с учетом просчета всех последствий. Необходимо выбирать ту альтернативу, которая наиболее полно отвечает поставленной цели, но при этом приходится учитывать большое количество противоречивых требований и, следовательно, оценивать выбранный вариант решения по многим критериям.

Системы поддержки принятия решений (DSS, Decision Support System) являются человеко-машинными объектами, которые позволяют лицам, принимающим решения, использовать данные, знания, объективные и субъективные модели для анализа и решения слабоструктурированных и неструктурированных проблем.

Хранилище данных – предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений.

Витрина данных – упрощенный вариант хранилища данных, содержащий только тематически объединенные данные.

Витрина данных, секция данных (Data Mart) – база данных, функционально-ориентированная и, как правило, содержащая данные по одному из направлений деятельности организации. Она отвечает тем же требованиям, что и хранилище данных, но, в отличие от хранилища, нейтрального к приложениям, в витрине данных информация хранится оптимизированно с точки зрения решения конкретных задач.

^ Рекомендованная литература


Искусственный интеллект и интеллектуальные информационные системы – активно развивающиеся и обширные области исследований, и в рамках одного пособия просто невозможно рассмотреть все вопросы и проблемы, связанные с этими исследованиями. Здесь рассматривались основные направления и подходы. Для более подробного изучения предлагается ознакомиться с рядом книг и пособий, перечисленных ниже.




  1. Андрейчиков, А. В. Интеллектуальные информационные системы : учебник для вузов / А. В. Андрейчиков. – М. : Финансы и статистика, 2004. – 424 с.

  2. Гаврилова, Т. А. Базы знаний интеллектуальных систем / Т. А. Гаврилова, В. Ф. Хорошевский. – СПб. : Питер, 2001. – 384 с.

  3. Гаскаров, Д. В. Интеллектуальные информационные системы : учебник для вузов / Д. В. Гаскаров. – М. : Высшая школа, 2003. – 431 с.

  4. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г. К. Вороновский и др. – Харьков : ОСНОВА, 1997. – 112 с.

  5. Джарратано, Д. Экспертные системы: принципы разработки и программирование : пер. с англ. / Д. Джарратано, Г. Райлт. – 4-е изд. –
    М. : ООО «И.Д. Вильямс», 2007. – 1152 с.

  6. Круглов, В. В. Нечеткая логика и искусственные нейронные сети /
    В. В. Круглов, М. И. Дли, Р. Ю. Голунов. – М. : ФИЗМАТЛИТ, 2001. – 224 с.

  7. Любарский, Ю. Я. Интеллектуальные информационные системы /
    Ю. Я. Любарский. – М. : Наука, 1990. – 227 с.

  8. Макаров, И. М. Робототехника: история и перспективы / И. М. Макаров, Ю. И. Топчеев. – М. : Наука : Изд-во МАИ, 2003. – 349 с.

  9. Методы и модели анализа данных: OLAP и Data Mining / А. А. Барсегян и др. – СПб. : БХВ-Петербург, 2004. – 336 с.

  10. Миркес, Е. М. Нейроинформатика : учеб. пособие для студентов /
    Е. М. Миркес. – Красноярск : ИПЦ КГТУ, 2002. – 347 с.

  11. Нейроинформатика / А. Н. Горбань и др. – Новосибирск : Наука : Сибирское предприятие РАН, 1998. – 296 с.

  12. Нечеткие гибридные системы / И. З. Батыршин и др. ; под. ред.
    Н. Г. Ярушкиной. – М. : ФИЗМАТЛИТ, 2007. – 208 с.

  13. Прикладные нечеткие системы : пер. с яп. / К. Асаи и др. ; под ред.
    Т. Тэрано, К. Асаи, М. Сугэно. – М. : Мир, 1993. – 368 с.

  14. Рассел, С. Искусственный интеллект: современный подход / С. Рассел, П. Норвиг. – 2-е изд. – М. : Вильямс, 2006. – 1408 с.

  15. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский ; пер. с польск. И. Д. Рудинского. – М. : Горячая линия – Телеком, 2008. –
    452 с.

  16. Ручкин, В. Н. Универсальный искусственный интеллект и экспертные системы / В. Н. Ручкин, В. А. Фулин. – СПб. : БХВ-Петербург, 2009. – 240 с.

  17. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика : пер. с англ. / Ф. Уоссермен. – 1992. – 118 с.

  18. Уэно, Х. Представление и использование знаний / Х. Уэно. – М. : Мир, 1989. – 220 с.

  19. Фогель, Л. Искусственный интеллект и эволюционное моделирование / Л. Фогель, А. Оуэнс, М. Уолш. – М. : Мир, 1969. – 230 с.

  20. Частиков, А. П. Разработка экспертных систем. Среда CLIPS /
    А. П. Частиков, Т. А. Гаврилова, Д. Л. Белов. – СПб. : БХВ-Петербург, 2003. – 608 с.

  21. Шеховцов, О. И. Представление знаний : учеб. пособие / О. И. Шеховцов. – СПб. : ГЭТУ, 1997. – 56 с.

  22. Ярушкина, Н. Г. Основы теории нечетких и гибридных систем : учеб. пособие / Н. Г. Ярушкина. – М. : Финансы и статистика, 2004. – 320 с.

Учебное издание


А.А. Смагин, С.В. Липатова, А.С. Мельниченко


^ ИНТЕЛЛЕКТУАЛЬНЫЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ


Учебное пособие





Директор Издательского центра Т.В. Филиппова

Редактирование и подготовка оригинал-макета Е.Г. Туженковой


Подписано в печать 26.07.10.

Формат 60х84/16. Усл. печ. л. 7,9. Уч.-изд. л. 6,7.

Тираж 100 экз. Заказ 65 /


Оригинал-макет подготовлен

в Издательском центре

Ульяновского государственного университета


Отпечатано в Издательском центре

Ульяновского государственного университета

432000, г. Ульяновск, ул. Л. Толстого, 42





14-chto-ya-brosayu-allen-karr.html
14-daniya-otchet-o-nauchno-issledovatelskoj-rabote.html
14-dekabrya-2011-g-v-15-00.html
14-detskij-ozdorovitelnij-lager-druzhba-oao-bashkirnefteprodukt-katalog-detskih-organizacij-otdiha-i-ozdorovleniya.html
14-dogovornaya-politika-kak-instrument-realizacii-nalogovogo-planirovaniya-politehnik.html
14-dosrochnoe-prekrashenie-polnomochij-prezidenta-respubliki-v-evropejskih-gosudarstvah.html
  • kanikulyi.bystrickaya.ru/z-frejd-stranica-15.html
  • testyi.bystrickaya.ru/bakterialnaya-kolonizaciya-i-gistologicheskaya-kartina-slizistih-obolochek-zheludka-i-dvenadcatiperstnoj-kishki-pri-zhelchnokamennoj-bolezni-integraciya-dannih.html
  • uchitel.bystrickaya.ru/referat-duhovno-nravstvennoe-vospitanie.html
  • shkola.bystrickaya.ru/samij-bolshoj-konkurent-mi-sami-voronova-t-dlya-biznesa-banka-oligarhi-opasni-dmitrij-orlov-predsedatel.html
  • textbook.bystrickaya.ru/gou-spo-svetlogradskij-pedagogicheskij-kolledzh-kraevoj-centr-sodejstviya-zanyatosti-uchashejsya-molodyozhi-i-trudoustrojstvu.html
  • tetrad.bystrickaya.ru/uchebno-metodicheskij-kompleks-po-discipline-politologiya-vklyuchaet-v-sebya-rabochuyu-uchebnuyu-programmu-disciplini.html
  • lektsiya.bystrickaya.ru/prikaz-22-fevralya-2008g-nizhnij-novgorod-43-oprieme-v-aspiranturu-v-2008-g-1.html
  • college.bystrickaya.ru/1-pediatriya-bojinsha-internatura-zhne-rezidentura-kafedrasi-pediatriya-mamandii-bojinsha-internaturaa-tsuge-arnalan.html
  • exchangerate.bystrickaya.ru/bogi-i-geroi-v-antichnoj-kulture.html
  • prepodavatel.bystrickaya.ru/tezisi-uchastnikov-prinimayutsya-do-10-aprelya.html
  • znaniya.bystrickaya.ru/razdel-ii-proizvodstvo-v-arbitrazhnom-sude-pervoj-instancii-anohin-v-s-arbitrazhnoe-processualnoe-pravo-rossii.html
  • portfolio.bystrickaya.ru/orshaan-ortani-orau-ministrlg-orshaan-ortani-oraudi-aparatti-taldau-ortalii-respublikali-memlekettk-ksporini.html
  • kanikulyi.bystrickaya.ru/vvedenie-ukazivaetsya-upolnomochennij-organ-upravleniya-emitenta-utverdivshij-ezhekvartalnij-otchet.html
  • obrazovanie.bystrickaya.ru/programma-dlya-shkolnikov-i-roditelej-s-detmi-s-1-nochnimi-pereezdami-poleznie-soveti.html
  • control.bystrickaya.ru/dogovor-perevozki-gruza-po-tovarorasporyaditelnomu-dokumentu-konosamentu.html
  • uchebnik.bystrickaya.ru/v-astrahani-postroyat-novij-hram-rossijskaya-blagotvoritelnost-v-zerkale-smi.html
  • composition.bystrickaya.ru/opyanstve-russkih-pisatelej-stranica-4.html
  • znaniya.bystrickaya.ru/programmi-po-informacionnoj-gramotnosti-dlya-oblegcheniya-virtualnoj-mobilnosti.html
  • znanie.bystrickaya.ru/azastanni-su-resurstarin-basaru-memlekettk-badarlamasin-ske-asiru-bojinsha-esep.html
  • grade.bystrickaya.ru/monstri-antologiya-stiven-dzhons-stranica-23.html
  • ucheba.bystrickaya.ru/predstavlenie-rezultatov-ord-organu-doznaniya-sledovatelyu-prokuroru-ili-v-sud.html
  • assessments.bystrickaya.ru/e-t-andrianova-organizaciya-zdorovogo-obraza-zhizni-starshih-doshkolnikov-e-a-lobanova-zav-kafedroj-doshkolnoj-pedagogiki-i-psihologii.html
  • shkola.bystrickaya.ru/obedinennie-vtoroj-tretij-i-chetvertij-periodicheskie-dokladi-kirgizskoj-respubliki-o-vipolnenii-mezhdunarodnogo-pakta-o-grazhdanskih-i-politicheskih-pravah-za-period-s-2007-po-2011-godi-stranica-4.html
  • turn.bystrickaya.ru/plan-uroka.html
  • paragraph.bystrickaya.ru/kropotova-marina-georgievna-ezhekvartalnij-otchet-otkritoe-akcionernoe-obshestvo-torgovij-dom-gum.html
  • upbringing.bystrickaya.ru/metodicheskie-rekomendacii-po-osvoeniyu-uchebnogo-materiala-disciplini-i-organizacii-samostoyatelnoj-raboti-studentov-25-1-metodicheskie-ukazaniya-po-organizacii-auditornoj-raboti-30.html
  • holiday.bystrickaya.ru/mezhpravitelstvennij-komitet-po-intellektualnoj-sobstvennosti-geneticheskim-resursam-tradicionnim-znaniyam-i-folkloru-devyatnadcataya-sessiya-stranica-12.html
  • uchebnik.bystrickaya.ru/umk-predmetov-komponenta-obrazovatelnogo-uchrezhdeniya-v-5-10-klassah-umk-predmetov-federalnogo-komponenta-i-komponenta.html
  • predmet.bystrickaya.ru/sektorni-analizi-sdrzhanie.html
  • upbringing.bystrickaya.ru/komitet-rossijskoj-federacii-po-standartizacii-stranica-38.html
  • literature.bystrickaya.ru/doklad-direktora-mou-tatarsko-tavlinskaya-srednyaya-obsheobrazovatelnaya-shkola.html
  • books.bystrickaya.ru/bilet-211-vozniknovenie-nauki-v-drevnej-grecii-kultura-antichnogo-polisa-i-stanovlenie-pervih-form-teoreticheskoj-nauki.html
  • school.bystrickaya.ru/apparatnie-sredstva-chast-8.html
  • otsenki.bystrickaya.ru/sobranie-1-242-22-maya-vtornik-13-20-lekciya-4ch-tsp-novoselcev-yu-p-8-603-16-20-lab-4ch-mehanika-gruntov-krutikova-m-v-6-301.html
  • urok.bystrickaya.ru/programma-dlya-postupayushih-na-2-j-i-posleduyushie-kursi-po-napravleniyu-podgotovki-filologicheskoj-obrazovanie.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.