Особенности оценки качества медицинской электронной услуги
Ланцберг А.В., Тройч Клаус, Булдакова Т.И.

Работа выполнена при поддержке Министерства образования и науки РФ и Германской службы академических обменов (DAAD).

Аннотация. Рассмотрена проблема оценки качества медицинских электронных услуг. Исследована совокупность направлений, показателей качества, методов и моделей, используемых в различных сферах деятельности для оценки качества услуг. Проанализированы основные аспекты, особенности и требования, предъявляемые к реализации электронных услуг в медицине. Результаты анализа и созданные информационные модели позволили разработать методику оценки качества услуги «Запись на прием к врачу».

Ключевые слова: электронный сервис, портал медицинских услуг, качество электронной услуги, модель оценки качества, регрессионный анализ, методика.

Введение

В концепции «Электронное правительство» определен широкий круг задач, одной из которых является информатизация органов здравоохранения. Особое внимание при этом уделяется разработке и отладке инструментов взаимодействия государственных и муниципальных структур с гражданами при реализации медицинских электронных услуг. Примером такой услуги является запись пациентов на прием к врачу. В настоящее время проектами по разработке и внедрению электронных регистратур охвачено около четверти регионов, среди них республики Башкортостан (https://doctor.ufacity.info) и Чувашия (http://www.med.cap.ru/MedRegistry), Пермский (https://k-vrachu.ru) и Краснодарский края (http://www.kubandoctor.ru/portal/medportal), города Санкт-Петербург (http://www.mylpu.ru/) и Самара (http://www.regtalon.ru/). Данные проекты находятся на этапе внедрения и первичной апробации. Цель следующего этапа – оценка эффективности использования систем электронных регистратур с их последующей доработкой и повсеместным внедрением. Ключевой составляющей эффективности является учет мнения конечных пользователей, на которых ориентирована услуга (в данном случае пациентов, воспользовавшихся подобной системой). Существующие отечественные работы, посвященные различным аспектам проектирования архитектур электронных регистратур, не уделяют должного внимания вопросам создания и применения систем оценки качества электронных услуг, что свидетельствует о слабой разработанности данных вопросов.

Настоящая статья посвящена методике оценки качества электронной услуги «Запись на прием к врачу», ориентированной на учет мнения пациентов (пользователей электронной услуги), которая в дальнейшем может быть реализована в программно-аналитическом модуле архитектуры «Электронная регистратура». В основу исследования положен опыт зарубежных ученых по разработке моделей оценки качества электронных услуг, реализованных в различных сферах деятельности (в том числе в электронном правительстве).

Постановка задачи

Оценить качество услуги гораздо сложнее, чем качество товара, поскольку пользователь воспринимает не только результат услуги, но и участвует в процессе ее оказания. Оценка качества медицинских услуг обладает рядом дополнительных особенностей, среди которых:

• повышенные требования к соблюдению политики конфиденциальности и безопасности данных пациента;
• риск необратимых последствий, вплоть до летального исхода, при нечеткости, некомпетентности, а также несвоевременности оказания услуги;
• специфика информирования пациентов о наличии услуг и опроса об их качестве, обусловленная разбросом социальных статусов и разнообразием возрастных групп граждан, посещающих государственные учреждения здравоохранения.

Существующая литература дает необходимую информацию о методах и моделях, используемых в настоящее время для оценки качества услуг, а также их сравнительную характеристику [1–10]. Базовое различие методов состоит в выделении направлений оценки качества и соответствующих данным направлениям показателей, в том числе в зависимости от сферы реализации услуги. Так, оценка электронных услуг предполагает учет дополнительных показателей, которые вызваны требованиями, предъявляемыми стандартом ISO/IEC 9126 [11] к качеству используемого для реализации электронной услуги программного обеспечения.

Различие подходов к оценке качества услуг обусловлено также целью и задачами, определяемыми исследователями. Основой методов, фокусирующихся на мониторинге показателей качества услуги, является GAP-анализ, сравнивающий ожидания потребителей относительно предоставленной услуги и фактического результата его реализации [5]. При прогнозировании поведения пользователя в ответ на изменение того или иного показателя качества эффективны методы, основанные на технологиях статистического и интеллектуального анализа данных [12–15]. Возможность формализации процесса принятия решения и реализации моделей оценки качества в программно-аналитических модулях является важным преимуществом данных методов.

Отечественные проекты по созданию и внедрению электронной услуги «Запись на прием к врачу» реализованы на региональном уровне. Каждый из охваченных проектами регионов вводит в эксплуатацию собственный портал медицинских электронных услуг, дающий возможность самостоятельной записи пациента в любое участвующее в программе лечебное учреждение региона. Несмотря на то, что в каждом регионе для создания таких порталов привлекаются различные IT-разработчики, схема предоставления услуг аналогична, что будет показано ниже.

Как известно, в России прикрепление пациентов к районным муниципальным поликлиникам осуществляется в основном по месту регистрации. Демографическая ситуация каждого района специфична, что определяется социальным статусом и материальным благополучием жителей района, их возрастом, половой принадлежностью. Данные особенности могут оказаться ключевыми показателями, определяющими разную оценку качества одной и той же услуги, реализуемой в районных поликлиниках одного региона. Необходимым является мониторинг качества электронной услуги в каждом лечебном учреждении и планирование региональной концепции ее развития с учетом районных особенностей. Существующие распределенные системы, являющиеся основой порталов медицинских услуг, не содержат оценочных модулей, позволяющих реализовать данную функциональность. Кроме того, работ, посвященных исследованию и созданию моделей оценки в приложении к медицинским электронным услугам, явно недостаточно.

Целью данной статьи является предоставление методики оценки качества медицинской электронной услуги, учитывающей указанные выше аспекты. К основным задачам ее относятся разработка моделей информационных процессов, отбор направлений и показателей качества электронной услуги, а также моделирование оценки качества электронной услуги в терминах статистики.

Основные этапы методики оценки качества электронной услуги

Назначение инструмента оценки качества электронной услуги может быть сформулировано как прогнозирование реакции пользователей услуги в ответ на изменение ее характеристик. Основой инструмента является модель, объединяющая совокупность методов и реализующая прогноз. Разработанная методика оценки качества электронной услуги включает четыре этапа.

1. Постановка цели и задач, решаемых при оценке качества электронной услуги. Данный этап предполагает анализ литературы, целей и задач портала медицинских электронных услуг, а также его создателей.

2. Исследование способов и возможных направлений сбора информации о качестве услуги. Построение информационных моделей процессов работы пользователей с системой позволяет проанализировать ключевые аспекты и способы взаимодействия.

3. Анализ направлений оценки и показателей качества электронной услуги. Реализация данного этапа требует изучения стандартов и требований, предъявляемых в исследуемой области к оценке качества. Формулировка показателей качества производится в рамках выделенных направлений и может быть осуществлена только с учетом доступных способов сбора информации и с участием экспертов, осуществляющих ранжирование и шкалирование данных.

4. Разработка модели оценки качества электронной услуги в терминах математической статистики. Данный этап является ключевым, аккумулирующим знания о предметной области и формализующим задачу. Выбор методов моделирования определяет необходимость предварительной обработки исходных данных и формирования соответствующих задаче выходов модели (с привлечением экспертов).

Реализация первого этапа методики описана в разделе «Постановка задачи». Ниже рассмотрены возможные способы реализации остальных этапов.

Способы и возможные направления сбора информации о качестве услуги

Второй этап может быть наглядно представлен в виде информационной модели, выполненной в нотации IDEF0 (см. рисунок). Диаграмма описывает основные шаги взаимодействия пациента с системой предоставления электронной услуги посредством интерфейса веб-сайта.

Основой описанного процесса являются результаты анализа отечественных проектов, реализующих электронную услугу «Запись на прием к врачу». Несмотря на разнообразие интерфейсов и видов подачи информации, способов авторизации пациентов (по паспортным данным, по номеру медицинского страхового полиса, по определенным в регистратуре логину и паролю), шаги реализации процесса идентичны. На некоторых порталах имеются средства обратной связи, позволяющие отслеживать мнение пользователей, в виде разделов с наиболее часто задаваемыми вопросами, отзывов пользователей, а также форумов. Однако практика внедрения подобных систем за рубежом (например, британский национальный сайт медицинских услуг http://www.nhs.uk) демонстрирует, что дополнительным эффективным средством мониторинга мнений пациентов является размещение на страницах веб-ресурса с электронной услугой интересующих разработчика тематических вопросов с вариантами ответов, а также рейтингов с просьбой оценить тот или иной сервис по заранее определенной балльной шкале.

Таким образом, в качестве способов сбора информации о качестве услуги можно выделить следующие: раздел «Часто задаваемые вопросы»; форум; отзывы пациентов; анкетирование с постраничным распределением вопросов; рейтинги.

Для реализации всех способов необходимо привлекать экспертов, которые посредством технологий извлечения информации способны проанализировать и выделить значимую информацию (для первых трех способов), а также разработать необходимые вопросы с вариантами ответов, рейтинги и способы шкалирования полученной информации.

Анализ направлений и показателей оценки качества электронной услуги

Целью третьего этапа является анализ и подготовка исходных данных к моделированию оценки. Исследование публикаций, посвященных оценке качества услуг, показало, что любой метод предполагает определение базовых направлений оценки качества в соответствии со сферой реализации услуги, далее осуществляется выбор совокупности показателей, наиболее полно описывающих каждое направление.

Основой большинства существующих методов является шкала SERVQUAL, предложенная А. Парасураманом (Parasuraman) в 1985 г. [8]. Она группирует показатели качества услуги по пяти направлениям: осязаемые элементы, надежность, расторопность, уверенность, сопереживание. Различные модификации и дополнения данной шкалы новыми направлениями с учетом особенностей сферы применения оцениваемых услуг привели к появлению совокупности новых методов [1–7]. В частности, многочисленные методы оценки качества электронных банковских услуг, услуг по покупке товаров в интернет-магазинах, а также электронных правительственных услуг содержат направления, определяемые стандартом оценки программного обеспечения ISO/IEC 9126: функциональность, надежность, практичность, эффективность, сопровождаемость и мобильность.

Совокупность направлений, представленная в данной работе для оценки качества электронной услуги «Запись на прием к врачу», разработана с учетом перечисленных выше требований к электронным услугам, а также принимает во внимание следующие условия реализации государственных электронных услуг в сфере здравоохранения:

• возможность для пользователя любой возрастной категории и с любым уровнем образования быстрого и корректного доступа к услуге;
• быстрый и своевременный отклик сотрудников лечебного учреждения;
• возможность переадресации электронной услуги в другое лечебное учреждение;
• повышенное внимание к соблюдению безопасности и конфиденциальности информации, которое является залогом формирования доверия пациентов к данному виду взаимодействия с лечебным учреждением;
• повышенная надежность и эффективность по сравнению с обычным способом предоставления данной услуги;
• возможность для пациента при однократной регистрации использовать как можно больше сервисов (например, взаимодействие с несколькими лечебными учреждениями разных уровней).

Созданная шкала представлена двумя разделами. Первый объединяет направления и показатели, оценивающие услугу с точки зрения ее эффективности, что предполагает в большей степени учет технических показателей. Второй ориентирован на восприятие услуги пользователем.

Разработка показателей качества осуществлялась с учетом перечисленных выше способов сбора информации об удовлетворенности пользователей электронной услугой. Однако для реализации некоторых направлений необходимо не только субъективное мнение пользователей, но также и технические характеристики системы, которые учтены при разработке показателей (см. таблицу).

Таблица

Направление Технический показатель Анкетирование, рейтинги FAQ, отчеты (мониторинг) Показатели эффективности
1	Взаимодействие с ресурсом	-----	Удовлетворенность пользователя внешним видом страниц	Предложения пользователей по улучшению интерфейса, справочной информации
2	Безопасность	Мониторинг количества попыток несанкционированного входа в систему	----	Возможные жалобы пользователей
3	Отказоустойчивость	Мониторинг появления ошибок в системе (определение уровней ошибок)	Причина, по которой вы не заверщили операцию записи на прием к врачу	---
		Мониторинг прерывания транзакции	---
		Мониторинг: обращался ли пользователь к справке на веб-странице
4	Другое	,,,	...	...

Показатели восприятия пользователями услуги
5	Понятность	Мониторинг количества возврата на предыдущую страницу Мониторинг количества обращений пользователя к справке на веб-странице	Оцените по шкале: насколько легко было найти необходимую Вам электронную услугу? Оцените по шкале: насколько понятен интерфейс страниц	Предложения пользователей
6	Обучаемость	-----------	Оцените по шкале: насколько полезна и удобна справка?	Предложения пользователей
7	Доступность для пользователя в любое время суток	Мониторинг количества обращений к системе в ночное время и выходные дни	Опрос пользователей об удобстве получения подтверждения записи в рабочее время регистратуры поликлиники	Предложения пользователей
8	Другое

Показатели и объединяющие их направления являются исходными данными для постановки задачи и моделирования оценки качества электронной услуги. Очевидно, что технические характеристики системы, а также результаты рейтингов и опросов являются количественными показателями оценки, которые изначально шкалируются экспертами. Информация, полученная с форумов, из раздела «Наиболее часто задаваемые вопросы» (FAQ) и отзывов пользователей, является качественной, поэтому требует дополнительной обработки экспертами, прежде чем стать входной для модели оценки.

Моделирование оценки удовлетворенности пользователей качеством электронной услуги

Оценка является основой принятия управленческого решения по развитию данной услуги на региональном уровне, что предполагает учет особенностей реализации услуги в районных поликлиниках. Разрабатываемая модель должна учитывать особенности демографической и социальной ситуации в каждом районе и позволять оценивать степень удовлетворенности пользователей по совокупности показателей, определенных в предыдущем разделе. В научной литературе для решения подобных задач широко используются регрессионные модели, связывающие качество услуги (или удовлетворенность пользователя) с показателями [12–15].

Предположим, что в регионе портал электронной медицинской услуги обслуживает определенное количество поликлиник, обозначим его J. Пусть количество опрошенных пациентов, записавшихся на прием в j-тую поликлинику, будет , где . Обозначим также:

удовлетворенность пациентов качеством услуги поликлиники , качеством портала , где , .

пусть H – количество факторов, обозначенных в таблице, тогда качество каждого фактора, представленное его значениями, – это , , , .

Иначе говоря, – это удовлетворенность пациента качеством услуги (выход предполагаемой модели), – качество фактора (вход предполагаемой модели). Все значения переменных (входных и выходных), представленных словесным (например, не нравится, нравится, очень нравится) и числовым описаниями приводятся экспертами к ординальному виду посредством кодирования. Для каждой переменной определим K уровней кодирования.

Необходимость введения переменной качества фактора для каждой поликлиники обусловлено влиянием демографической и социальной ситуации в районе на его формирование. Для описания данных характеристик (представленных, например, такими показателями, как пол или возраст), доступных из базы данных поликлиники, используем совокупность независимых переменных, где , , (S – количество независимых переменных).

Таким образом, задача сводится к построению модели, связывающей удовлетворенность пациентов услугой (выход модели) с объясняющими показателями (входные данные), зависящими (или не зависящими) от независимых переменных (входные данные). Такая модель позволит выявить степень влияния каждого из объясняющих показателей на удовлетворенность пациентов, независимых переменных на объясняющие показатели, а также сравнить оценки качества электронных услуг в поликлиниках, выявив причину различий.

Удачное решение похожей задачи, поставленной для моделирования оценки качества банковских услуг, предложили А. Морено (A. Moreno) и Д. Риос-Инсуа (D. Rios-Insũa) [14]. В своей работе они представили иерархическую ординальную регрессионную модель, описывающую определенные выше зависимости:

.

Очевидно, что параметры и их взаимосвязи первой модели определяют качество услуги (как на уровне поликлиники, так и на региональном уровне), параметры второй – структуру показателей качества, определяемых независимыми переменными. Для связи описанных выше переменных в модель введены латентные переменные . Например, для связывания объясняющих показателей с каждой независимой переменной введена латентная переменная , :

, ,

,

где – параметры регрессии, – дисперсия, а – границы категорий. Аналогично для связывания с используется латентная переменная и параметры , ( и ; для связи и – латентная переменная и параметры и .

Для построения совокупности регрессионных моделей авторы предлагают двухэтапную схему логического вывода на первом этапе и – на втором, реализованную на основе байесовского вывода и метода Монте-Карло, использующего цепи Маркова для получения выборки из заданного распределения.

Предложенное решение позволит прогнозировать реакцию пациентов-пользователей в ответ на изменение одного или нескольких показателей. Полученные регрессионные модели могут стать частью другой модели, решающей более общую задачу, например, распределение средств финансирования развития инфраструктуры электронной услуги «Запись на прием к врачу».

Заключение

Представленная методика может стать для разработчиков порталов государственных медицинских электронных услуг рекомендацией при создании средств мониторинга мнения пользователей и автоматизированной оценки качества услуг, которые, в свою очередь, являются основой принятия управленческого решения в сфере развития инфраструктуры предоставления услуг. Дальнейшим развитием данной работы может стать апробация методики на конкретном портале государственных медицинских услуг с разработкой анкет, рейтингов, оценочных показателей и классов, а также модели оценки в соответствии с условиями реализации анализируемой электронной услуги.

Литература

1. Bauer Hans H., Falk Tomas, Hammerschmidt Maik. eTransQual: A transaction process-based approach for capturing service quality in online shopping // Journal of Business Research. 2006. No. 59. Pp. 866–875.

2. Cronin J.J. and Taylor S.A. Measuring service quality: A re-examination and Extension // Journal of Marketing. 1992. Vol. 56(3). Pp. 55–68.

3. Franceschini F. and Cignetti M. Comparing tools for service quality evaluation // International Journal of Quality Science. 1998. Vol. 3. No. 4. Pp. 356–367.

4. Franceschini F. and Rossetto S. On-line service quality control: the ‘Qualitometro’ Method //De Qualitate (forthcoming in Quality Engineering). 1997. Vol. 6. No. 1. Pp. 43–57.

5. D’Souza G. Service excellence in e-governance issues: An Indian case study //Journal of Administration and Governance. 2006. Vol. 1. No. 1. Pp. 1–14.

6. Greenland St., Coshall J., Combe I. Evaluating service quality and consumer satisfaction in emerging markets //International Journal of Consumer Studies. 2006. Vol. 30, Issue 6. Pp. 582–590.

7. Papadomichelaki X., Magoutas B., Halaris Ch., Apostolou D. and Mentzas G. A Review of Quality Dimensions in e-Government Services //Proceedings of the 5^th International Conference «Electronic Government». Krakow, Poland, September 4–8, 2006. Pp. 128–138.

8. Parasuraman A., Zeithaml V.A. and Berry L.L. A conceptual model of service quality and its implications for future research //Journal of Marketing. 1985. Vol. 49. Pp. 41–50.

9. Parasuraman A., Zeithaml V.A. and Berry L.L. SERVQUAL: a multiple-item scale for measuring consumer perception of service quality // Journal of Retailing. 1988. Vol. 64. No. 1. Pp. 12–40.

10. Quirchmayr G., Funilkul S., Chutimaskul W. A Quality Model of e-Government Services Based on the ISO/IEC 9126 Standard //Proceedings of International Legal Informatics Symposium (IRIS). Salzburg, Austria, February 2007. Pp. 45–53.

11. Software Engineering. Product Quality. Part 1: Quality Model – International Standard ISO/IEC 0126-1:2001 //American National Standards Institute. Published 15.06.2001. 31 p.

12. Wood M. Statistical Methods for Monitoring Service Processes //International Journal of Service Industry Management. 1994. Vol. 5. No. 4. P. 53–68.

13. Statistical Methods for the Evaluation of Educational Services and Quality of Products /Ed. by Bini M., Monari P., Piccolo D., Salmaso L. Springer-Verlag Berlin Heidelberg, 2009. 243 p.

14. Moreno Armi and Rios-Insũa Devid. Issues in Service Quality Modelling // Bayesian statistics 6 / Bernardo J.M., Berger J.O., Dawid A.P. and Smith A.F.M. (Eds.). N.Y.: Oxford University Press Inc., 1999. Pp. 441–457.

15. Rust Roland T., Metters Richard. Mathematical models of service // European Journal of Operational Research. 1996. Vol. 91. Pp. 427–439.

_________________________________________________

Ланцберг Анна Вильямовна

Кандидат технических наук,

доцент кафедры «Техническая кибернетика и информатика» Саратовского государственного технического университета.

Тройч Клаус

Доктор наук, профессор Института исследования информационных систем Университета Кобленц-Ландау (г. Кобленц, Германия)

Булдакова Татьяна Ивановна

Доктор технических наук, профессор кафедры «Информационная безопасность» Московского государственного технического университета имени Н.Э. Баумана.

---

&copy Информационное общество, 2011 вып. 4, с. 28-37.