Когнитивное моделирование как средство построения больших баз экспертных знаний
Денисов Г.В., Ларичев О.И., Фуремс Е.М.

Описан метод экспертной классификации для построения баз знаний диагностических систем. Обсуждены проблемы, связанные с применением этого метода для задач извлечения знаний большой размерности. Рассмотрены психологические аспекты поведения эксперта и вопросы вычислительной трудоемкости процедур, реализующих метод экспертной классификации. Предложена методология когнитивного моделирования, иллюстрируется на примере ее применения для построения основанной на знаниях системы диагностики заболеваний "острого живота".

Задача выявления решающих правил эксперта при построении диагностических систем, основанных на знаниях, может быть поставлена как задача экспертной классификации множества возможных состояний объекта исследования в предварительно структуризованной проблемной области. Множество состояний объекта исследования А формируется в виде декартова произведения шкал значений признаков Q₁, Q₂, …, Q_m, а классы - это подмножества множества А, образованные состояниями, в которых объект исследования обладает одним и тем же свойством.

Предложен эффективный метод решения задачи экспертной классификации, применение которого гарантирует построение полной и непротиворечивой совокупности решающих правил эксперта, составляющих базу знаний создаваемой диагностической системы. Особенность метода - возможность предъявления эксперту для идентификации (классификации) не всех, а лишь небольшой части (10-20 %) наиболее информативных состояний из множества А [1 ].

Суть метода экспертной классификации заключается в следующем. Значения каждого признака Q_i = { q_il, q_i2, … q_in1 } упорядочиваются экспертом по характерности для каждого из диагностируемых свойств, что позволяет построить L частичных упорядочений состояний из множества А по их характерности для каждого из диагностируемых свойств P_i, Р₂, …, Р_l. Состояние a_i А считается не менее характерным для свойства P₁, чем состояние a_j А, если значения каждого признака в состоянии a_i не менее характерны для свойства Р₁, чем значения соответствующих признаков в состоянии a_j. Тогда, если эксперт устанавливает, что в состоянии a_j объект обладает свойством P₁, то во всех состояниях a_i, , более характерных для свойства P₁, объект тем более должен обладать этим свойством. И наоборот, если в состоянии a_i объект не обладает свойством P₁, то этим свойством объект не должен обладать и во всех нее характерных для него состояниях.

Таким образом, одна часть состояний классифицируется экспертом непосредственно, а другая - косвенно, с учетом выявленных упорядочений значений признаков по их характерности для каждого свойства. Информация об упорядочениях по характерности оказывается весьма полезной для выявления ошибок (противоречий) в ответах экспертов и позволяет эксперту проводить анализ возникающих противоречий, облегчающий их преодоление.

Следует заметить, что при решении реальных задач экспертной классификации метод, предложенный в работе [II], не всегда может использоваться непосредственно. В ряде случаев для его применения необходимо производить дополнительную структуризацию исходной задачи. В первую очередь это относится к задачам классификации большой размерности. Рассматриваются подходы к решению задач большой размерности и приводятся примеры применения этих подходов на практике при формировании баз знаний для построения медицинских диагностических систем.

При решении задач экспертной классификации необходимо принимать во внимание вычислительную трудоемкость реализуемой процедуры экспертного опроса и требуемый для этого объем памяти, с одной стороны, и трудоемкость выполнения возникающих при этом операций для эксперта - с другой.

Вычислительная трудоемкость зависит от размерности решаемой задачи, которая определяется мощностью множества возможных состояний и числом устанавливаемых свойств объекта исследования. Аналогично и для требуемого объема памяти. В работе [1 ] показано, что трудоемкость обработки одного ответа эксперта (распространение по доминированию для классов принадлежности и невозможных классов) в задаче разбиения (когда объект исследования в каждом состоянии может обладать только одним из диагностируемых свойств) составляет О ( |A|L), а в задаче покрытия (объект исследования может обладать сразу несколькими свойствами) - О (|A|²L), где | А | - мощность множества состояний объекта исследования, а L - число свойств. Несмотря на то, что эти показатели свидетельствуют об эффективности алгоритмов экспертной классификации, с ростом числа классифицируемых состояний и классов решений (свойств) характеристики времени обработки ответов эксперта существенно ухудшаются: интервал времени между двумя последовательно предъявляемыми эксперту состояниями увеличивается до нескольких минут, что отрицательно сказывается на удобстве работы эксперта с системой выявления его знаний. Опыт работы с системой показал, что она удовлетворительно справляется с задачами экспертной классификации, число состояний объекта исследования в которых не превышает 5-8 тыс.

Если говорить о трудоемкости решения задачи экспертной классификации для эксперта, то она определяется такими факторами, как число непосредственно оцениваемых им ситуаций и сложностью оценивания отдельных ситуаций с отнесением их к соответствующим классам.

Первый показатель зависит от размерности задачи и используемого способа вычисления наиболее информативных состояний, предъявляемых эксперту [1 ]. Там же показано, что алгоритмы, обеспечивающие более точное определение информативных состояний и меньшее число вопросов к эксперту, обладают довольно высокой трудоемкостью, зависящей от квадрата мощности множества возможных состояний объекта исследования.

Второй показатель - сложность оценивания ситуаций экспертом, зависит от характеристик человеческой системы переработки информации. Специальные психологические исследования [2 ] показали, что эта сложность для задач порядковой классификации (когда классы решений упорядочены) [3 ] зависит от таких параметров задачи, как число признаков, количество градаций на их шкалах и число классов решений. В задачах классификации, где классы решений не упорядочены, эксперт последовательно сопоставляет рассматриваемое им состояние объекта с каждым из нескольких классов решений. Можно предположить, что так как выбор решения здесь определяется не предпочтениями эксперта, а его знаниями, возможности эксперта при решении такой задачи несколько увеличиваются. Этот же вывод подтверждается опытом применения метода экспертной классификации на практике. С ростом числа одновременно учитываемых признаков (>8 - 10) сложность работы для эксперта увеличивается, что проявляется в упрощении применяемых им стратегий принятия решений и возникновении большого числа противоречий в его ответах.

Указанные соображения свидетельствуют о том, что задача экспертной классификации допускает эффективное решение ( с точки зрения как вычислительной, так и "экспертной" трудоемкости) при относительно небольшой размерности: число состояний - 5 - 8 тыс., число одновременно учитываемых признаков - не больше 10.

Следовательно, проблема размерности является доминирующей при разработке подхода к решению задачи экспертной классификации. В реальных задачах число признаков и их возможных значений может быть чрезвычайно большим. Так, в задачах медицинской диагностики врач должен учитывать до 30 - 40 (и более) признаков, имеющих по 3 - 5 градаций на их шкалах. Это определябт общее число состояний, подлежащих классификации: оно может превышать сотни миллионов (среди них могут быть и невозможные, т. е. внутренне противоречивые). В связи с этим задача построения полной и непротиворечивой базы знаний (задача экспертной классификации) становится трудноразрешимой из-за размерности.

Метод экспертной классификации помимо математического (использование отношений доминирования, поиск информативных точек) и вычислительного (оценки трудоемкости и памяти) обоснований имеет также и психологическое обоснование. Оно связано не только с границами "прямого" применения системы экспертного опроса, но и с логикой ее построения. Последнее подразумевает имитацию привычных действий эксперта: эксперт рассматривает привычное для себя описание задачи, сделанное с его участием на естественном (профессиональном) языке, решает привычную для себя задачу диагностики» т. е. задачу анализа состояний. Разумеется, он не видит реальный объект исследования (в задачах медицинской диагностики - больного), а имеет лишь его описание на языке признаков, но такой режим работы также типичен, например, для медицинской практики - заочная консультация по телефону. Вид и форма формулировки диагноза также привычны для эксперта. Поэтому эксперты быстро адаптируются к работе с системой, реализующей описанный выше метод.

Логика имитации привычного поведения эксперта приводит к идее использования человеческих приемов работы с задачами большой размерности. На практике эксперты успешно справляются с "большими" задачами. Как же они это делают?

Согласно данным психологических исследований [2 ], люди в своей профессиональной деятельности используют целый ряд эвристик для "борьбы" с размерностью. В работе [2 ] описаны три основные эвристики, ведущие к упрощению задачи (уменьшению когнитивной нагрузки): отбрасывание градаций на шкалах признаков и рассмотрение их как двоичных; отбрасывание части критериев (признаков); замена одновременного анализа описания объекта на последовательное рассмотрение признаков.

Данные эвристические приемы искажают исходную задачу и ведут к возникновению противоречий. Однако существует полезный эвристический прием - введение дополнительной (декомпозиционной) структуры на множестве признаков. При использовании этого приема эксперты разделяют множество признаков на несколько групп, имеющих для них определенное смысловое значение. Замечено, что человек подсознательно ищет такое разбиение для того, чтобы справиться с задачей. Группы, на которые разбиваются признаки, могут быть в некотором смысле зависимыми или независимыми. Они могут делиться на подгруппы и т. д., образуя свою иерархию.

Наиболее простым случаем является разбиение на независимые группы, на каждой из которых может быть поставлена и "автономно" решена своя задача экспертной классификации. При этом для каждого состояния, описываемого признаками группы, определяются не только свойства, которыми это состояние обладает, но и степени уверенности эксперта в наличии каждого из устанавливаемых свойств [З]. Предусматривается, что степень уверенности эксперта в наличии соответствующего свойства может принимать одно из следующих, упорядоченных между собой значений: "сильная", "средняя" и "слабая". Результаты решения каждой из подзадач рассматриваются как промежуточные классификации, агрегация которых производится затем в ходе следующей процедуры. Для каждого свойства решается задача порядковой классификации [3 ], признаками в которой являются степени уверенности в наличии данного свойства (к приведенным формулировкам степеней уверенности добавляется значение "свойство не подозревается") по каждой из выделенных групп признаков. Поскольку группы признаков не зависят друг от друга и так как предполагается, что решение, принимаемое экспертом в отношении каждого свойства, не зависит от решений, принимаемых в отношении других свойств, такая процедура представляется вполне правомерной.

Более сложной является ситуация, когда группы признаков нельзя считать независимыми с точки зрения принимаемых по ним решений.

Возможен случай, когда все признаки допускают разбиение на группы, но эксперт может принимать промежуточные решения о наличии свойств независимо от других (как в предыдущем варианте) только по некоторым группам признаков. По другим же группам он может проводить классификацию только в зависимости от того, какие решения приняты по конкретным независимым группам, которые мы будем называть "фоновыми". В этом случае предлагается следующий способ декомпозиции задачи. Она разбивается на ряд подзадач по общему числу выделенных экспертом групп признаков (независимых - фоновых, зависимых). Подзадачи, определенные на фоновых группах, решаются отдельно, как это описано выше, к ним применяется метод экспертной классификации с выявлением степеней уверенности в наличии устанавливаемых свойств. Затем к признакам каждой зависимой группы добавляются вспомогательные признаки, которые отражают степени уверенности в наличии конкретного свойства по группам признаков, являющихся для них фоновыми, и последовательно решаются задачи порядковой классификации, направленные на установление окончательных степеней уверенности в каждом из свойств.

Следует отметить, что любая декомпозиция должна осуществляться в диалоге с экспертом. При построении иерархических структур следует соблюдать ограничения на размерности подзадач, решаемых человеком.

Используя изложенные методы построения экспертной классификации, мы идем путем имитации привычного поведения и логики организации умственных действий человека. Мы называем такой подход когнитивным моделированием.

Метод экспертной классификации, реализованный в виде человеко-машинной системы экспертного опроса, использовался для разработки медицинских диагностических систем (ДО, которые могли бы быть использованы на кораблях морского флота.

Работа медицинского персонала на кораблях имеет свою специфику. Она обусловлена, с одной стороны, необходимостью своевременной и точной диагностики заболеваний персонала (для его эвакуации в случае необходимости), а с другой - ограниченностью имеющихся в распоряжении врача диагностических средств. Важной особенностью является и то, что большинство медицинского персонала кораблей молодые врачи с небольшим стажем работы. В связи с этим цель проводимой работы заключалась в разработке ДС-советчика для молодого, недостаточно опытного врача, работающего в условиях отсутствия контактов с высококвалифицированными специалистами (корабль, экспедиция и т. п.).

Весь персонал кораблей перед плаванием проходит тщательный предварительный медицинский контроль, и общее число заболеваний в период плавания невелико. Это затрудняет использование статистических методов диагностики, Поэтому было принято решение разработать медицинскую ДС, основанную на знаниях, используя в качестве экспертов ведущих специалистов, хорошо знающих специфику морской службы.

Для повышения эффективности ДС при ее разработке максимально учитывались особенности практического применения системы. Во-первых, был определен перечень заболеваний, которые должна уметь диагностировать система. Среди опасных заболеваний, угрожающих здоровью морских экипажей, наиболее часто встречаются ишемическая болезнь сердца, острые хирургические заболевания органов брюшной и грудной полостей, а также различные коматозные состояния.

Во-вторых, при разработке ДС учитывалось, что система предназначена для диагностики заболеваний у ограниченного контингента больных - мужчин в возрасте 25 - 45 лет.

В-третьих, в связи с большой опасностью поздней постановки диагноза в морских условиях при создании ДС использовался принцип "гипердиагностики": в качестве первого наиболее вероятного заболевания указывается самое тяжелое из них.

Наконец, учитывались ограниченные возможности диагностики медицинских служб кораблей. В связи с этим разрабатываемая ДС должна была уметь поставить предварительный диагноз на основе ограниченных данных о состоянии больного.

Большую сложность в современной хирургии представляет диагностика острых хирургических заболеваний органов брюшной и грудной полостей, объединяемых в группу "Острый живот". Многие заболевания этой группы представляют значительную опасность для здоровья и жизни больного и требуют немедленного хирургического вмешательства. Необходимость своевременной диагностики заболеваний группы "Острый живот" обусловлена и тем, что ряд из них имеет похожую или близкую симптоматику и в то же время требует разных, а иногда и противоположных курсов лечения. В связи с этим была поставлена задача разработки БЗ ДС "Острый живот" и заболеваний симулирующих [4].

Для диагностики были отобраны заболевания, которые наиболее часто встречаются в практической деятельности хирурга корабля. В множество диагностируемых заболеваний вошли десять заболеваний "Острого живота" и заболеваний, его симулирующих: острый аппендицит; острый холецистит; острый панкреатит; прободная язва желудка и двенадцатиперстной кишки; острая кишечная непроходимость; тромбоэмболия мезентериальных сосудов; желудочно-кишечное кровотечение; закрытая травма живота с повреждением внутренних органов; кишечная и почечная колики; перитонит; острый гастрит; пищевое отравление; инфаркт миокарда (абдоминальная форма); пневмония (плевропневмония).

Для дифференциальной диагностики перечисленных заболеваний было выделено 42 признака, доступных определению традиционными методами обследования. Они включают в себя жалобы больного и его анамнез, а также данные осмотра при пальпации, перкуссии и аускультации. Кроме того, предусмотрены признаки, отражающие данные дополнительных методов исследования, которые могут быть проведены в условиях медслужбы корабля. Сюда относятся лабораторные показатели: лейкоциты, эритроциты и гемоглобин крови, лейкоциты и эритроциты в моче, а также обзорная рентгенография органов брюшной и грудной полостей и ЭКГ. Для каждого признака были очерчены его возможные значения для диагностируемой группы заболеваний.

Заметим, что в рассматриваемой задаче-маловероятно одновременное наличие у больного нескольких заболеваний. Однако сложность диагностики острых хирургических заболеваний органов брюшной и грудной полостей приводит к тому, что даже учет 42 признаков не гарантирует постановку точного, однозначного диагноза. В результате заключение ДС может включать в себя несколько подозреваемых заболеваний, при этом данные обследования больного позволяют, как правило, выделить среди них группы заболеваний с более сильной и менее сильной степенью подозрения.

Построение БЗ для заболеваний "острого живота" осуществлялось на основе описанного подхода к решению задач экспертной классификации большой размерности. Анализ множества признаков, проведенный совместно с врачом, принимавшим участие в формировании БЗ ДС, показал, что в процессе постановки диагноза он оперирует определенным набором обобщенных признаков: анамнез, жалобы больного, общий и конкретные осмотры больного, данные лабораторных исследований.

Каждый обобщенный признак включает в себя определенную группу исходных признаков. Например, обобщенный признак "жалобы больного" в группе заболеваний "острый живот" включает в ебя различные характеристики болевых ощущений больного.

В процессе анализа структуры рассматриваемой задачи диагностики удалось определить множество первичных признаков, определяющие значения каждого из обобщенных признаков. При этом оказалось, что данные рентгенографического исследования и ЭКГ не включаются врачом ни в одну из сформированных групп признаков, так как они играют особую роль в процессе диагностики.

После сформирования групп признаков врач по группам "Жалобы больного" и "Конкретный осмотр" решил основную задачу экспертной классификации, в которой диагностируемыми классами являлись все 14 болезней с тремя степенями подозрения. Так как оказалось, что промежуточный диагноз по группе "Данные анамнеза" зависит от промежуточного диагноза по группе признаков "Жалобы больного", то эксперт решил 14 задач "фоновой классификации", в которой диагноз отражал заключение, сделанное по данным этих двух групп. В этом случае эксперту предъявлялись ситуации, в которые входили значения признаков группы "Данные анамнеза" и степень подозрения на конкретное заболевание по группе "Жалобы больного". Аналогично промежуточный диагноз по группе "Данные общего осмотра" зависел от промежуточного диагноза по группе "Данные конкретного осмотра". Диагноз проводился по группе "Данные лабораторных исследований" на фоне промежуточных диагнозов по обобщенным группам "Данные анамнеза" и "Данные общего осмотра". Таким образом, экспертом были сформированы диагностические правила для заболеваний группы "Острый живот" без учета данных рентгенографии и ЭКГ.

Отдельное рассмотрение данных рентгенографии и ЭКГ обусловлено их особой ролью в процессе диагностики. Для одних заболеваний результаты рентгенографии играют решающую роль при постановке диагноза, для других - данные рентгенологического исследования играют важную роль, но не являются однозначно определяющими. Наконец, существуют заболевания, результаты рентгенографии которых не оказывают заметного влияния на анализ состояния больного.

В признаке "Обзорная рентгенография" врачом были выделены 15 возможных значений. Для каждого из них врач указал степень его характерности (высокую, среднюю, низкую) для каждой из 14 болезней. С учетом данных рентгенографии и ЭКГ (по данным ЭКГ можно судить о наличии у больного абдоминальной формы инфаркта) и обобщенным диагностическим оценкам по 40 первичным признакам врач сформулировал совокупность диагностических правил, позволяющих определить степень подозрения на каждое из 14 заболеваний.

Применение диалоговой системы экспертного опроса для построения ДС заболеваний "острого живота" показало, что на современном уровне развития медицинской диагностики врач не всегда может поставить однозначный диагноз, точно определить заболевание своего пациента, тем более в условиях, когда существенно ограничено использование инструментальных средств диагностики. В таких случаях врач в момент постановки диагноза вынужден указывать несколько возможных на данной симптоматике заболеваний, определяя их степени подозрения. Таким образом, степень выраженности свойства в задачах медицинской диагностики означает степень уверенности врача в наличии того или иного заболевания.

В решенных задачах диагностики можно выделить два вида оцениваемых экспертом состояний. Первый составляют типичные состояния или состояния, которые встречались в практике врача: они не представляют трудностей при диагностике. Вторую группу составляют состояния, которые или редко встречаются, или отражают собой сложные, "пограничные" случаи. Диагностика их затруднительна для врача, поэтому при оценке таких состояний врач прибегает к помощи своих коллег, к анализу па чной литературы или историй болезни.

В связи с этим оказывается чрезвычайно полезной способность диалоговой системы выявлять появляющиеся противоречия в экспертной информации. Их анализ дает возможность эксперту устранить собственные ошибки в диагностике и способствует лучшей логической организации своих знаний.

В табл. 1 собраны данные, характеризующие применение диалоговой системы при решении задачи выявления решающих правил эксперта для диагностики "острого живота". Из этих данных видно, что система позволяет в 2 --2 раз уменьшить число вопросов к эксперту для построения полной БЗ, при этом дает возможность проверить непосредственно в ходе экспертного опроса порядка 15 данных им оценок.

База знаний, сформированная экспертом по заболеваниям "острого живота", включена в медицинскую диагностическую систему МЕДИКС [5 ] в качестве одной из ее подсистем.

Сложность диагностики заболеваний "острого живота", особенно в тех условиях, для эксплуатации в которых предназначена система МЕДИКС (недостаточная техническая оснащенность медпунктов на кораблях), потребовала введения в систему "гибких" формулировок диагнозов типа : "Сильное подозрение на заболевание А, но в тактике ведения больного следует иметь в виду заболевание В". Возможность построения таких формулировок определяется тем, что при выявлении знаний врача-эксперта выяснялись его степени уверенности на конкретные заболевания с учетом имеющихся данных о больном.

Группа признаков	Число состояний	Число классов	Число состояний, рассмотренных экспертом	Продолжительность опроса, ч
"Жалобы"	3785	14	700	14
"Анамнез" (на "фоне" жалоб)	5184	3*	500	12
"Конкретный осмотр"	4485	14	700	15
"Общий осмотр" (на "фоне конкретного осмотра)	1296	3*	250	6
"Данные лабораторных исследований" (на "фоне" жалоб, анамнеза и осмотра)	5184	3*	600	13

* Классы - степени подозрения на каждое из 14 заболеваний. Для каждого заболевания классификация проводится отдельно (решается 14 задач порядковой классификации).

Использование порядков характерности значений признаков для различных заболеваний позволило организовать в системе имитацию "динамики" наблюдения за больным: в случаях, когда система ставит неоднозначный "гибкий" диагноз упомянутого типа, она выдает совет врачу повторить осмотр больного через определенное время и указывает признаки, на изменение которых при этом надо обратить особое внимание (выявленные при первичном осмотре признаки, одинаково сильно характерные для подозреваемых заболеваний). Следует отметить, что работа системы с лечащим врачом заключается не только в постановке и уточнении диагноза, но и в выдаче рекомендуемого курса лечения и ведения больного, сформированного с учетом наблюдаемой у последнего симптоматики.

Проверка правильности решающих правил проводилась как самим врачом-экспертом (правильность постановки диагноза в типичных и атипичных состояниях) , так и в ходе опытной эксплуатации системы в клинике (проверка на реальных больных). Результаты проверки работы подсистемы "Острый живот" системы МЕДИКС в реальных условиях приводятся в табл. 2.

Из приведенных данных видно, что процент правильных диагнозов, устанавливаемых подсистемой "Острый живот" системы МЕДИКС, достаточно высок. Более того, при ее опытной эксплуатации в 11,1 % случаев система ставила более точный диагноз, чем врач, ведущий больного.

В заключение следует отметить, что изложенный подход к построению полных и непротиворечивых баз знаний основан на имитации привычного поведения эксперта. Как оказалось, при проверке созданной системы данный подход позволяет точно следовать логике рассуждений эксперта и с большой точностью воспроизводить решения, принимаемые экспертом. Так, уже после построения базы знаний по подсистеме "Острый живот", содержащей огромное число диагностируемых состояний, эксперту-автору базы знаний было предъявлено 36 описаний сложных состояний, в которых по правилам, содержащимся в базе знаний, система МЕДИКС выдвигала подозрения одновременно на несколько (более двух) заболеваний. Эксперту было предложено заново рассмотреть эти состояния, причем "машинный" диагноз ему не сообщался. Эксперт проделывал эту работу дважды с месячным интервалом и его ответы показали высокую

Таблица 2

степень совпадения с правилами, содержащимися в базе знаний созданной им системы. В 16 случаях ответы эксперта и системы совпали полностью, в 17 случаях совпадали заболевания, указанные с высокой степенью подозрения, хотя и были различия относительно слабо подозреваемых заболеваний. И только в трех случаях заболевания, по которым отмечалось сильное подозрение, не совпадали, хотя в формулировках диагнозов указывались одни и те же заболевания. Этот результат представляется весьма удовлетворительным, если учесть большую сложность построенной системы. Еще большую надежность и безошибочность придает системе заложенная в нее возможность динамического изменения диагнозов в сложных случаях при проведении повторных обследований больных:

система подсказывает врачу тактику ведения больного, признаки, за которыми надо внимательно наблюдать, время повторного обращения к системе.

Подход когнитивного моделирования открывает пути к точной имитации суждений эксперта. На наш взгляд, этот подход является средством преодоления существенных проблем искусственного интеллекта, связанных с приобретением экспертных знаний.

Литература

1. Ларичев О.И., Мечитов А. И., Мошкович Е.М.,Фуремс Е.М. Выявление экспертных знаний. -М., Наука, 1989.

2. Л а р и ч е в О. И. О возможностях человека в задачах принятия индивидуальных решений при многих критериях // Проблемы и методы принятия решений в организационных системах управления: Труды конференции. - М., ВНИИСИ, 1982.

3. Л а р и ч е в О. И., М о ш к о в и ч Е. М. Задачи непосредственной классификации при принятии решений // Докл. АН СССР. - 1986. 287. N 6.

4. Д е н и с о в Г. ф. и др. Автоматизированная диагностическая система "Острого живота" и заболеваний, его симулирующих, на догоспитальном и госпитальном этапах оказания неотложной квалифицированной помощи // Военно-медицинский журнал, 1988. N 1.

5. Ф у р е м с Е.М. Система МЕДИКС - Медицинская Диагностическая Иерархическая Классификационная Система // Системы и методы поддержки принятия решений. - М., ВНИИСИ, 12,1986.

________________________________________________

Денисов Г.В.

Ларичев О.И. - докто технических наук, профессор

Фуремс Е.М. - кандидат технических наук

---

&copy Информационное общество, 1991, вып. 1, с. 26-32.