Проблемы сертификации информационных технологий и программных средств
Липаев В.В.

Рассмотрены цели, задачи и методологические проблемы обеспечения качества информационных технологий (ИТ), программных средств (ПС) и баз данных (БД) при сертификационных испытаниях. Представлен состав необходимых исходных данных, используемых при сертификации, и выделены классы сложных ИТ, требующих особенно высокого качества. Проанализированы методы достижения требуемого качества программ, необходимые для этого ресурсы и достоверность определения качества ИТ и ПС в результате сертификационных испытаний. Рассмотрены проблемы и показатели качества БД, влияющие на их сертификацию.

Основные понятия и цели сертификации информационных технологий, программных средств и баз данных

Эффективность использования информационных технологий (ИТ) во многом определяется их качеством и доверием к ним пользователей. Возрастание роли важнейших компонент ИТ программных средств (ПС) и баз данных (БД) в народном хозяйстве, широты их применения и ответственности решаемых задач вызвало резкое повышение требований к их качеству.

По мере расширения применения ИТ выделились области, в которых ошибки или недостаточное качество программ может нанести ущерб, значительно превышающий положительный эффект от их использования. В таких критических случаях недопустимы аномалии функционирования программ при любых искажениях исходных данных, сбоях, частичных отказах аппаратуры и других нештатных ситуациях. Для этого испытания ИТ должны специально организовываться и документироваться, что объединяется понятием и процессом сертификации.

Архитектурная, техническая и программноинформационная совместимость современных сложных информационных систем (ИС) может быть обеспечена только путем стандартизации программнотехнических средств в соответствии с требованиями международных стандартов. Для этого также необходима сертификация используемых средств, процессов и услуг, а также проведение единой технической политики при создании совместимых аппаратных средств и ПС, организации взаимодействия и комплексирования ИС различных уровней.

Сертификация соответствия ИТ, ПС и БД заключается в их формализованных испытаниях особо выделенным третейским коллективом специалистов, имеющим право на официальный государственный или ведомственный контроль функций и качества ИТ и гарантирующим их соответствие стандартам и другим нормативным документам, а также безопасность применения [1, 2]. Эти специалисты имеют право на расширение условий испытаний и создание различных критических и стрессовых ситуаций в пределах нормативной документации, при которых должны обеспечиваться заданное качество и безопасность результатов решения предписанных задач.

Если все испытания проходят успешно, то на соответствующую версию ИТ, ПС и БД оформляется и выдается специальный документ сертификат соответствия. Этот документ официально подтверждает соответствие стандартам, нормативным и эксплуатационным документам функций и характеристик испытанных средств, а также допустимость их применения в определенной области. Сертификат соответствия документально утверждает право на использование знаков соответствия требованиям сертификации, гарантирует безопасность применения, а также юридически допускает ИТ к эксплуатации и использованию по прямому назначению.

В зависимости от области применения ИТ, назначения и класса ПС и БД их сертификация может быть обязательной или факультативной. Эти виды сертификации близки концептуально и технологически, однако значительно различаются характеристиками объектов, правовым и экономическим взаимодействием между поставщиками, испытателями и пользователями. Обязательная (жесткая) сертификация ИТ необходима для ИС, выполняющих особо ответственные функции, в которых недостаточное качество, ошибки или отказы могут нанести большой ущерб или опасны для жизни и здоровья людей. Этот ущерб может определяться степенью безопасности применения ИТ в авиации, для управления в космосе и атомной энергетике или большими экономическими потерями вследствие недопустимого искажения служебной информации в системах управления органов власти, банковских системах, системах управления войсками и др. В подобных системах сертификация ИТ способствует значительному снижению риска от их применения и повышению безопасности функционирования до необходимого уровня. В этих случаях разработчики и поставщики ИТ обязаны подвергать свои изделия независимой экспертизе на соответствие стандартам и конкретным требованиям качества для получения разрашения сертификационных центров на их реальную эксплуатацию по прямому назначению.

Факультативная (мягкая) сертификация применяется для удостоверения качества ИТ в целях повышения их конкурентоспособности, расширения сферы использования и получения дополнительных экономических преимуществ на рынке. Таким сертификационным испытаниям подвергаются компоненты операционных систем и пакеты прикладных программ широкого применения, повышение гарантий качества которых выгодно как для поставщиков, так и для пользователей ИТ. Затраты на сертификацию ИТ оправдываются повышением их цены, сокращением претензий пользователей, ростом тиража продаж и др. В этих случаях разработчики и поставщики добровольно предоставляют ИТ для сертификации с учетом экономических оценок выгодности ее проведения для их изделий.

При анализе процессов сертификационных испытаний ИТ, ПС и БД следует выделить ряд базовых компонент методологии сертификации, подлежащих последующему рассмотрению:

цели сертификации формальные, технологические, правовые, экономические;

проблемы, которые необходимо решать для обеспечения высокой эффективности и достоверности результатов сертификационных испытаний ИТ, ПС и БД;

исходные данные и документы, необходимые для проведения сертификации стандарты и нормативные документы, их структура и содержание;

характеристики и классификация программ и БД как объектов испытаний и сертификации, их показатели качества, позволяющие выделять однородные группы ПС и БД при проведении сертификации;

ресурсы обеспечения испытаний финансовые, кадры специалистов, аппаратурная оснащенность, нормативнотехнические и программноинструментальные средства.

Проблемы сертификации ИТ, ПС и БД в принципе близки к тем, которые приходится решать для других видов изделий. Однако вследствие их новизны, высокой сложности объектов сертификации и многообразия их показателей качества выявился ряд особенностей этих проблем. При анализе сертификации ИТ, ПС и БД целесообразно выделить следующие проблемы:

научнометодические, состоящие в создании эффективных по затратам ресурсов методов сертификационных испытаний ИТ, ПС и БД, которые гарантируют достоверное определение заданных показателей их качества и соответствие документации;

технологические, заключающиеся в обеспечении реализации методов испытаний ИТ средствами автоматизации, тестирования и организации регламентированных проверок качества объектов и документации на разных этапах их создания и при непосредственных сертификационных испытаниях;

проблемы стандартизации и нормативной документации, которые сводятся к созданию, последующему выбору и адаптации исходных документов, применяемых при сертификационных испытаниях определенных видов ИТ, ПС и БД;

организационные, состоящие в создании международных, государственных и ведомственных органов, ответственных за сертификацию ИТ и их компонент, определении их прав и обязанностей, оснащении их необходимыми нормативнометодическими и инструментальнотехнологическими средствами;

экономические, которые сводятся к выявлению, оценке и применению экономически эффективных методов использования ресурсов испытаний ИТ, ПС и БД, обеспечивающих заданную достоверность определения их качества, разработке экономических механизмов взаимодействия организаций и специалистов по сертификации с разработчиками, заказчиками и пользователями этих средств;

правовые, сосредоточивающие в себе прежде всего создание юридических механизмов процессов сертификации и использования их результатов, создание нормативов, правил взаимодействия и распределения экономической и юридической ответственности между разработчиками, производителями, сертифицирующими организациями и поставщиками ИТ, ПС и БД за несоответствие реальных показателей качества гарантированным характеристикам сертифицированных изделий.

Ниже рассматриваются проблемы, которые наиболее близки к процессам непосредственных испытаний и определению качества ИТ, ПС и БД. Это методические, технологические, организационные проблемы, а также проблемы стандартизации и нормативной документации. Им сопутствуют задачи распределения экономической и юридической ответственности между испытателями, разработчиками, поставщиками и заказчиками за качество сертифицированной продукции и возможный ущерб при ее несоответствии документированному и объявленному качеству. Экономическими целями сертификации могут быть большие тиражи изделий при производстве, большая длительность жизненного цикла с множеством версий, снижение налогов за высокое качество и высокая прибыль разработчиков и поставщиков ИТ, ПС и БД. Результаты сертификации должны оправдывать затраты на ее проведение вследствие получения пользователями продукции более высокого и гарантированного качества при возможном повышении ее стоимости. Юридические проблемы сертификации и распределения ответственности за соответствие продукции, купленной пользователем, гарантиям, закрепленным сертификатом соответствия, должны решаться правоведами. При их решении необходимо отработать юридические механизмы распределения прибыли и затрат за обеспечение качества ИТ и нарушение их гарантированных значений.

Методически процесс сертификации представляет особую совокупность испытаний ИТ и их компонент, для которых необходимы специальные стандарты, методики, средства автоматизации и подготовленные специалисты. Далее раздельно рассматриваются особенности сертификации основных компонент ИТ ПС и БД. При этом в большинстве случаев, если это не может вызвать сомнений, подразумеваются и ИТ, которые они обеспечивают.

Работы по сертификации ПС объединяются в технологический процесс, на каждом этапе которого регистрируются документы, отражающие состояние и качество результатов контроля программ. В результате процесс сертификации отличается от обычных испытаний ПС более высоким уровнем формализации и документального оформления всех условий и результатов испытаний, проводимых специальным испытательным органом. Необходимость сертификации программ широкого класса привела к появлению ряда следующих научных и методических задач, тесно связанных с процессами разработки ПС высокого качества [3, 4 ]:

для каждого вида ПС необходимо определять представительный набор характеристик качества и их значений, его категорию критичности, требуемую достоверность измерения показателей качества и организационный уровень удостоверения сертификата;

в соответствии с требованиями к достоверности показателей качества должны определяться и минимизироваться содержание и объемы сертификационных испытаний версий ПС;

для обеспечения качества и ответственности за результаты испытаний должны быть разработаны эффективные методы и методические нормативные документы, регламентирующие процессы сертификации различных видов ПС;

технологические процессы сертификационных испытаний и измерений качества ПС и их компонент должны быть поддержаны достаточно эффективными средствами автоматизации и определения достоверности измеренных характеристик;

исследование и обобщение опыта сертификации ПС должны способствовать минимизации затрат на такие испытания, а также улучшению технологических процессов разработки программ, гарантирующих достижение требуемых показателей качества для различных видов программ.

Кроме сертификации объектов разработки в некоторых случаях целесообразна сертификация технологии и средств автоматизации создания комплексов программ. Процесс сертификации технологии разработки ПС в принципе подобен испытаниям программ. Его важная особенность состоит в необходимости регулярного контроля за соблюдением всех характеристик качества технологического процесса всеми его участниками.

Исходные данные для сертификации ПС опираются на совокупность документов, выбираемых и адаптируемых с учетом конкретных объектов сертификации. Наиболее общие исходные данные сосредоточены в стандартах, посвященных непосредственно сертификации, аттестации, тестированию, испытаниям и обеспечению качества различных изделий и, в частности, компонент ИТ. Конкретные нормативные документы должны создаваться в соответствии с базовыми стандартами и содержать методики организации и проведения испытаний, а также контролируемые характеристики сертифицируемых объектов. Эти документы должны отражать все сведения, необходимые для корректного применения ПС по прямому назначению с показателями качества, гарантированными сертификатом соответствия.

Методология принятия решений о допустимости выдачи сертификата на ПС основывается на оценке степени его соответствия действующим и специально разработанным документам:

международным и национальным стандартам на тестирование, испытания, аттестацию программ, требования которых не ниже требований, регламентируемых отечественными документами;

международным и государственным стандартам на технологию создания ПС, взаимосвязь открытых систем, языки программирования и др.;

стандартам на сопровождающую программную документацию с учетом необходимости и достаточности номенклатуры документов, семантической полноты и однозначности понимания содержания документов;

нормативным документам на испытанное ПС техническим условиям, техническим описаниям, спецификациям требований и другим регламентирующим документам по выбору заказчика, разработчика и испытателя.

В исходных нормативных документах должны быть сосредоточены все функциональные и эксплуатационные характеристики проверяемого ПС, обеспечивающие заказчику и пользователям возможность корректного применения сертифицированного объекта во всем многообразии его функций и показателей качества. Номенклатура характеристик сертифицируемых ПС строится на применении многоуровневых систем показателей качества, организованных по принципам квалиметрии и таксономических методов анализа [5, 6]. Выбор и ранжирование показателей должны производиться с учетом классов ПС, их функционального назначения, режимов эксплуатации, степени ответственности и жесткости требований к результатам функционирования и проявлениям возможных ошибок в программах. Для сертификации необходимо подготовить следующие исходные данные:

критерии и четко определенные значения показателей качества, которые должны быть достигнуты для выдачи в последующем сертификата соответствия;

значения исходных и результирующих данных, в пределах которых должны удовлетворяться заданные показатели качества;

стандарты, нормативные документы и методики точных и воспроизводимых измерений показателей качества программ, а также состав и значения исходных и результирующих данных, обязательных для использования сертификации.

Имеется необходимость вносить в модифицированные версии отдельные небольшие изменения без полных повторных сертификационных испытаний ПС. При любых изменениях необходимы подтверждение сертификата и проведение некоторого минимума испытаний, удостоверяющих их корректность. Для этого используется система официальных уведомлений о проведенных изменениях и подтвержении сертификата. Для инициализации изменений также необходимы официальные уведомления пользователей о выявленных недостатках ПС или о предложениях по его совершенствованию. Таким образом, обычный процесс сопровождения ПС для сертифицируемых программ дополняется соответствующей системой последовательных официальных уведомлений и контрольных испытаний. При характеристиках и классификации программ как объектов сертификации основная цель классификации состоит в выделении однородных групп программ, имеющих такие показатели или признаки объекта, которые позволяют эффективно применять одинаковые или весьма близкие наборы показателей качества, технологии, методы и средства автоматизации испытаний и сертификации программ. Разнообразие объектов разработки не позволяет обеспечить достаточный уровень качества и техникоэкономических показателей при единственной универсальной технологии и комплексе автоматизации испытаний программ. С другой стороны, нерентабельно для каждого нового типа программ создавать собственную технологию и средства автоматизации испытаний. Вследствие этого необходима классификация программ как база для рационального выбора методов и технологий сертификации, обеспечивающих необходимое качество программ и достаточно высокие техникоэкономические показатели испытаний программ.

Классификация программ и соответствующих технологий их испытаний прежде всего базируется на анализе риска от их недостаточного качества и возможного ущерба от проявления невыявленных ошибок при их функционировании у пользователей. С этой позиции по степени ответственности выполняемых функций можно выделить три группы программ [7, 8 ]:

критические программы, от которых требуется особенно высокое качество функционирования, так как ошибки могут привести к катастрофическим последствиям порче ценного оборудования или даже угрозе здоровью и жизни людей;

важные программы, которые должны обладать особенно высоким качеством, так как экономический ущерб от ошибок в них может быть велик, но невозможны особо катастрофические последствия;

ординарные программы, недостатки которых не угрожают пользователям большим ущербом, являющиеся наиболеее массовыми и широко распространенными, их качество и области применения изменяются в широких пределах и к ним принадлежат многие программы, отнесенные ниже к первой и второй категориям.

При оценке целесообразности сертификации необходимо учитывать возможный ущерб не только от кратковременного однократного неудачного применения ПС, но и возможный суммарный потенциальный ущерб от искажений и сбоев при длительной эксплуатации большого тиража версий ПС. Таким образом, в категорию важных ПС, подлежащих сертификации, могут попадать широко тиражируемые, длительно и активно применяемые программы, каковыми являются стандартизированные операционные системы, компиляторы, некоторые компоненты CASEсистем и др. [9 ]. В этих случаях испытания должны проводить также специализированные третейские организации, которые своим авторитетом и; соответствующим документом утверждают высокое качество программ для многочисленных пользователей. Примером может служить аттестация компиляторов с языка Ада, проводимая специализированной организацией AJPO [10].

У некоторых специалистов сложилось отрицательное отношение к планированию обеспечения качества и детальным формализованным испытаниям программ. Это характерно для создания программ инженерных и научных расчетов, при некоторых вычислительных экспериментах, разработке программ обучения или бытового применения, которые не подвергают сертификационным испытаниям. В категорию ординарных программ входят программы, разрабатываемые и применяемые в отраслях народного хозяйства, как продукция производственнотехнического назначения. Основная особенность этой категории программ состоит в промышленном характере их разработки, испытаний, производства и применении в виде ПС. Программы данной категории в большийстае своем принадлежат к группам важных или критических. Это обусловливает определенные регламентированные организационные формы их жизненного цикла, особенно высокие требования к качеству и документации, необходимость применения типовых проблемноориентированных технологий и средств автоматизации при разработке, испытаниях и производстве.

При ограниченных ресурсах на разработку ПС для достижения заданных требований необходимо управление обеспечением качества в течение всего цикла создания программ. Адекватный набор показателей качества программ зависит от функционального назначения и свойств каждого ПС. В соответствии с принципиальными особенностями ПС выбираются номенклатура и значения показателей качества, которые отражаются в техническом задании и спецификации требований на конечный продукт. Каждый критерий может использоваться, если определена его метрика, может быть указан способ ее измерения и сопоставления с требующимся значением. Основным методом измерения качества программ на любых этапах разработки является тестирование. Результаты тестирования и измерения показателей сравниваются с требованиями технического задания или спецификаций для определения степени соответствия предъявлявшимся требованиям, полученным разработчиком от заказчика. Такие достаточно полные эталоны, как совокупность требований технического задания и поэтапная их декомпозиция в спецификациях, являются необходимой базой тестирования при промежуточных и завершающих испытаниях.

За ограниченный, относительно короткий, период сертификационных испытаний трудно провести достаточно обширное тестирование, достоверно демонстрирующее достигнутые показатели качества, и гарантировать выполнение всех технических требований к сложному ПС. Поэтому для обеспечения высокого качества программ целесообразно проводить испытания не только завершенного разработкой ПС, но на ряде промежуточных этапов разработки проверять состояние и характеристики компонент проекта. Критические ПС невозможно создавать без проведения 68 этапов промежуточных испытаний и применения целой системы поэтапного контроля качества [7 ]. Для этого до начала разработки в процессе формирования технического задания формулируются план и основные положения методики обеспечения качества, поэтапных испытаний компонент и определения характеристик, допустимых для продолжения разработки на следующем этапе. Одновременно происходит поэтапное уточнение технического задания и методик сертификационных испытаний программ. В этом случае испытатели и представители заказчика получают возможность более полно ознакомиться с создаваемым ПС, а также контролировать качество его компонент и достаточно полно их учитывать при заключительных сертификационных испытаниях.

Сравнение результатов функционирования проверяемого комплекса программ и его компонент на соответствие эталонам предполагает использование критериев оценки величин отклонения от эталонов и принятие решений о степени корректности. Величины допусков зависят от типа проверяемой программы, метода и этапа проверки ее корректности.

Степень соответствия проверяемых программ эталонам зависит от достоверности функционирования всех компонент, участвующих в установлении корректности. Отклонение проверяемых результатов от эталонов за допустимые пределы может произойти ие только вследствие некорректности программ, но и изза недостаточной точности средств сравнения или эталонов.

Процессы испытаний происходят во времени и их динамические характеристики могут служить частными критериями для оценки достигнутого качества тестирования. Таким критерием может быть интенсивность обнаружения ошибок или количество ошибок, выявляемых в программах в процессе тестирования за единицу времени при постоянных усилиях на его проведение.

БД это набор записей информации, который определен посредством схемы, не зависящей от программ, которые к ней обращаются. Цель сертификации БД защитить требования потребителей к качеству используемой информационной продукции, содержащейся в БД, по полноте, достоверности, актуальности, защищенности и другим показателям. Обобщенным показателем качества информации в БД является степень ее соответствия существующим стандартам и другим нормативнотехническим документам как в содержательной, так и в форматноструктурной части [13, 14]. Сертификационные испытания БД в некоторых случаях, например при применении их в критических информационных системах, должны проводиться обязательно. Однако чаще сертификация БД имеет факультативный характер, позволяющий пользователям иметь дополнительную гарантию ее качества.

При испытаниях и сертификации возникает проблема определения состава и использования реально существующих международных и отечественных стандартов и других нормативнотехнических документов, которым должны соответствовать сертифицированные БД. Стандарты и документы должны охватывать:

терминологию в области ИТ и систем;

порядок организации и создания БД;

концепции структурного построения, взаимодействия компонент и языки описания БД;

комплектность документов, сопровождающих БД, и требования к ним; показатели качества БД, ИТ и ПС;

методы и руководства по испытаниям, аттестации и сертификации компонент и БД в целом.

Непосредственно БД посвящены международные стандарты только на языки БД и на некоторые принципы построения БД. Однако имеются развитые системы стандартов по обработке информации и ИТ, в которых не упоминаются конкретно БД, но их положения по терминам и определениям, кодированию и документированию, жизненному циклу и показателям качества могут быть успешно применены при испытаниях и сертификации БД. Кроме того, при испытаниях й сертификации БД по мере необходимости следует учитывать стандарты в областях защиты информации, текстовых и учрежденческих систем, издателвского дела, управления торговлей и транспортом и др. В некоторых стандартах имеются разделы, регламентирующие аттестацию ИТ и БД на соответствие данному стандарту. Эти разделы должны использоваться при подготовке методик сертификации БД на соответствие международным стандартам. Наиболее трудными проблемами при организации и проведении сертификации БД являются:

классификация БД по характеристикам и сферам их применения;

определение номенклатуры и требуемых показателей качества БД;

создание методик тестирования и испытаний БД и их компонент, а также методов и средств достоверного измерения показателей качества БД;

организация, регламентирование и документирование сертификации БД.

В ИТ и процессах обработки информации на ЭВМ всегда присутствуют две базовые компоненты:, программы, которые реализуют функции обработки, и данные, используемые в процессе обработки. В предшествующих разделах акцент был сосредоточен на анализе и испытаниях ИТ, основные особенности которых заключаются в ПС. При анализе БД на передний план выходит информация, подлежащая накоплению, хранению, обработке и использованию. Соответственно смещается акцент при испытаниях качества БД и при их эксплуатации. Однако при этом сохраняется достаточно важная роль ПС, реализующих все процедуры обработки данных.

Таким образом, при анализе БД как объектов испытаний й сертификации целесообразно рассматривать две компоненты: ПС управления данными и совокупность данных, упорядоченных по некоторым правилам. При этом одна и та же система управления БД может обрабатывать различные по структуре, составу и содержанию данные, а одни и те же данные могут управляться ПС различных СУБД. Хотя эти компоненты тесно взаимодействуют при реализации конкретной прикладной БД, первоначально они создаются независимо и могут рассматриваться как два объекта испытаний. Однако в конечном счете пользователей интересуют совокупные характеристики качества конкретной используемой БД. Поэтому завершающие испытания и окончательная сертификация БД должны проводиться для проверки функционирования и удостоверения показателей качества во взаимодействии с предполагаемой для использования СУБД, с вполне определенным наполнением БД [15, 16].

БД графической, речевой, мультимедиа и другой нетрадиционной информации только входят в практику и носят преимущественно экспериментальный характер. Результаты функционирования таких БД отражаются графическими, звуковыми или визуальными образами, качество которых оценивается человеком в значительной степени субъективно. Вследствие этого испытания подобных систем пока слабо формализованы и их сертификация производится редко. Наиболее широко вошли в практику БД для фактографической, документальной, словарной и текстовой информации, для которых накоплен большой опыт использования и испытаний. Поэтому ниже рассматривается сертификация таких БД.

Особенности современных БД и обеспечивающих их СУБД являются следствием возрастающего спектра функций по обработке информации и разнообразия обрабатываемых данных. Отсюда появилось множество наборов показателей качества, определяющих функциональную пригодность каждой БД. Формирование таких наборов представляет собой сложную задачу системного анализа, характеризующуюся оригинальным решением для каждой прикладной проблемноориентированной области. Вследствие Этого испытания и определения в процессе проектирования достигнутых показателей качества БД отличаются большим разнообразием методов и средств автоматизации.

В рассматривавшихся выше ИТ основное внимание сосредоточено на испытаниях ПС. В системах БД доминирующее значение приобретают сами данные, их хранение и обработка. Поэтому БД при анализе их качества целесообразно разделить на две компоненты:

ПС СУБД, не зависимые от сферы их применения и смыслового содержания накапливаемых и обрабатываемых данных;

БД, доступные для обработки и использования в конкретной проблемноориентированной сфере применения.

Первой компонентой для испытаний является комплекс программ СУБД. Сертификации должно подвергаться ПС обработки данных на соответствие стандартам и нормативнотехническим документам, адекватным функциям и характеристикам области использования. Методы и технология сертификации, в основном, подобны применяемым при испытаниях других сложных ПС. При этом специфика испытаний так же, как и для других типов ПС, сосредоточивается на выборе адекватных показателей качества из стандартной номенклатуры, особенностях генерации тестов и обработке результатов тестирования. Поставщиками информации для СУБД чаще всего являются специалистыпользователи и они же должны выступать в роли генераторов тестов. Часть тестов может носить достаточно абстрактный характер и автоматизированно формироваться для заполнения БД и испытания основных операций обработки данных.

Часть функций, связанных с телекоммуникацией, должна испытываться на соответствие стандартам и протоколам телекоммуникации и взаимосвязи открытых систем. Другая значительная часть функций непосредственно обусловлена спецификой применения распределенной СУБД. Некоторые из этих функций регламентируются специальными стандартами, в которых, в частности, представлены рекомендации по их аттестации. Кроме того, для распределенных СУБД значительно возрастает номенклатура сочетаний типов ЭВМ, выполняющих роль клиентов и серверов. Комбинаторика подобных типов ЭВМ и их операционных систем может быть весьма велика, и при испытаниях СУБД трудно охватить и проверить все особенности взаимодействия в таких распределенных СУБД. Поэтому сертификаты распределенных СУБД должны отражать номенклатуру типов ЭВМ и операционных систем, для которых они предназначены.

Второй компонентой для испытаний БД является собственно накапливаемая и обрабатываемая информация в БД. Показатели качества для БД значительно отличаются от применяемых при испытаниях ПС. Однако может сохраняться общий подход к определению и выделению адекватной номенклатуры показателей качества и их упорядочению. Он состоит в том, что выделяемые показатели качества должны иметь практический интерес для пользователей БД и быть упорядочены в соответствии с приоритетами практического применения. Кроме того, каждый выделяемый для проверки показатель должен быть пригоден для достаточно достоверного измерения и сравнения с требуемым значением при испытаниях и сертификации.

При этом подлежат тестированию, испытаниям и измерению показатели качества информации в БД и определение их соответствия стандартам и технической документации, а также проверяются состав и содержание сопровождающих БД документов. Для сертификации разрабатываются программа и методики испытаний, обеспечивающие достоверную проверку реальных показателей качества БД. Результаты испытаний оформляются протоколами и актом. При положительных результатах заявителю выдается сертификат соответствия.

Так же, как и для ПС, показатели качества БД можно разделить на функциональные и конструктивные. Функциональные показатели качества БД включают:

полноту накопленных описаний объектов относительное число объектов или документов, имеющихся в БД, к общему числу объектов по данной тематике или по отношению к числу объектов в аналогичных БД по той же тематике;

достоверность степень соответствия данных об объектах в БД реальным объектам вне ЭВМ в данный момент времени, определяющаяся изменениями самих объектов, некорректностями записей о их состоянии или некорректностями расчетов их характеристик;

идентичность данных относительное число описаний объектов, не содержащих ошибки, к общему числу документов об объектах в БД;

актуальность данных относительное число морально устаревших данных об объектах в БД к общему числу накопленных и обрабатываемых данных.

К конструктивным показателям качества информации в БД относятся, в основном, объемновременные характеристики сохраняемых и обрабатываемых данных:

объем базы данных число записей описаний объектов или документов, доступных для хранения и обработки в БД;

оперативность степень соответствия динамики изменения данных в процессе сбора и обработки состояниям реальных объектов или величина запаздывания между появлением реального объекта и его отражением в банке данных;

периодичность промежуток времени между поставками двух последовательных достаточно различающихся версий БД;

глубина ретроспективы интервал времени от даты выпуска и/или записи в БД самого раннего документа до настоящего времени;

динамичность относительное число изменяемых описаний объектов к общему числу записей в БД за некоторый интервал времени, определяемый периодичностью издания версий БД.

Кроме того, к конструктивным относятся все показатели защищенности информации. Защищенность реализуется, в основном, ПС СУБД, однако в сочетании с поддерживающими их средствами организации данных. В распределенных БД показатели защищенности тесно связаны с характеристиками целостности данных. Эти показатели отражают степень тождественности данных в памяти удаленных компонент распределенной БД.

К конструктивным относятся также показатели, определяющие форматную, лингвистическую и физическую совместимость БД. Форматная совместимость характеризуется степенью соответствия данных в БД требованиям стандартов на форматы представления данных для документальных, фактографических и словарных БД. Лингвистическая совместимость определяется степенью использования в БД единых лингвистических средств (классификаторов, рубрикаторов, словарей), формализованных соответствующими стандартами. Физическая совместимость заключается в соответствии БД на машиночитаемых носителях информации. Кроме того, каждая БД должна содержать идентификационные признаки (наименование, тематику, область применения, тип), правовые характеристики авторов разработки СУБД и БД и авторское право пользователей на информацию, содержащуюся в БД, в соответствии с конвенцией и законами об охране авторских прав.

Перечисленные характеристики отражают качество совокупности данных без учета динамики их использования пользователями в процессе эксплуатации. При реальном функционировании БД важную роль играют временные характеристики взаимодействия конечных пользователей и администраторов БД в процессе эксплуатации БД по прямому назначению. Эти характеристики зависят от качества СУБД, а также от структуры и показателей качества используемой информации. Они отражаются критерием эффективности использования ресурсов ЭВМ ПС, в данном случае СУБД. Для БД важнейшим ресурсом является память ЭВМ, занимаемая информацией БД. Эти показатели качества влияют на время реакции БД на разные виды запросов пользователей и пропускную способность БД при эксплуатации. Значения ряда других показателей качества ПС, составляющих СУБД, существенно зависят от характеристик и организации информации в БД. Поэтому при испытаниях и сертификации БД номенклатура показатели качества не может ограничиваться характеристиками информации в БД, а должна включать ряд дополнительных показателей, отражающих комплексную эффективность и функциональную полезность применения СУБД и БД пользователями в реальных условиях.

В зависимости от характеристик объекта сертификации на ее выполнение выделяются ресурсы различных видов. В результате сложность ИТ и доступные ресурсы становятся косвенными критериями или факторами, влияющими на выбор методов испытаний и достигаемое качество компонент ИТ.

Наиболее общим видом ресурсов, используемых при испытаниях ИТ, являются допустимые финансовые затраты или договорная стоимость сертификации компонент ИТ. При анализе эти показатели могут применяться как вид ресурсных ограничений или как оптимизируемый критерий.

Кадры специалистов можно оценивать численностью, а также тематической и технологической квалификацией. В испытаниях сложных ИТ участвуют системные аналитики и руководители различных рангов, программисты и вспомогательный обслуживающий персонал в некотором рациональном сочетании. Определяющими являются совокупная численность и структура коллектива, а также его подготовленность к коллективной проверке конкретного типа ИТ [ 11,12 ].

Аппаратурная оснащенность испытателей конкретных ПС или БД определяется прежде всего ресурсами и другими характеристиками реализующей и технологической ЭВМ, доступных для использования коллективу специалистов при сертификации. Тип реализующей ЭВМ, ее ресурсы, архитектура и система команд определяют возможность размещения на ней комплекса автоматизации контроля и регистрации результатов испытаний. Ресурсы технологической ЭВМ важны для сертификации не только по своим абсолютным значениям, но также и относительно численности коллектива специалистов, участвующих в испытаниях. Абсолютные ресурсы технологической ЭВМ определяют принципиальную возможность размещения и функции комплекса автоматизации сертификации, а относительные достигаемую эффективность его использования коллективом специалистов.

ЛИТЕРАТУРА

1. Методические документы ИСО/МЭК по сертификации продукции, оценке систем обеспечения
качества продукции и аккредитации испытательных лабораторий. М.: Издво стандартов, 1988.

2. Сертификация продукции: Международные стандарты и руководства ИСО/МЭК в области
сертификации и управления качеством. M.: Изд-во стандартов, 1990.

3. Л и п а е в В. В. Управление разработкой программных средств: Методы, стандарты, технология. М.: Финансы и статистика, 1993.

4. Software certification/Edit by Bernhard D. I. Newmen department of mathematics Decite university. UK. London, 1988.

5. CharettR. Software engineering risk analysis and management. N. Y. McGraw Hill, 1989.

6. V i n с e n t J., W a t e r s A., S i n с 1 a i r J. Software quality assurance. V. 2. A programme guide.
Englewood Cliffs, New Yersey: PrenticeHall, 1988.

7. Сертификация программного обеспечения. Документ радиотехнической комиссии по
аэронавтике. RTCA/DO178: Пер. с англ. ВЦП, 1981.

8. D u k е Е. L. V & V of flight and missioncritical software//IEEE Software. 1989. №5. P. 3945.

9. N g P. A., Y e h R. T. ed. Modern software engineering. Foundations and current perspectives. N. Y.: Van
Nostrand Reinhold, 1990.

10. Б a p P. Язык Ада в проектировании систем: Пер. с англ. /Под ред. Е. К. Масловского. M.: Мир,
1988.

11. Боэм Б. У. Инженерное проектирование программного обеспечения: Пер. с англ./Под ред. А. А. Красилова. М.: Радио и связь, 1985.

12. Л и п а е в В. В., П о т а п о в А. И. Оценка затрат на разработку программных средств. М.: Финансы и статистика, 1988.

13. Система баз и банков данных: Нормативнометодические материалы/ВИМИ. М., 1992.

14. П е р с т н е в И. П., СидорченкоВ. Д. О сертификации и оценке качества баз данных//Научнотехническая информация/ВИНИТИ. М., 1992. Сер. 2. № 8. С. 15.

15. А н т о п о л ь с к и й А. Б., Ауссем В. И., Вигурский К. В., Кристальный Б. В. Учет, регистрация и сертификация баз данных//Научнотехническая информация/ВИНИТИ. М., 1993. Сер. 1. № 7. С. 3032.

16. Д р у ж и н и н Г. В., С е р г е е в а И. В. О сертификации информационных технологий//Вестник РОИВТ/ВИМИ. М., 1993. № 12. С. 7275.

Статья поступила в редакцию в ноябре 1993 г.

Российский НИИ информационных технологий и автоматизации проектирования

___________________________________

В. В. Липаев - доктор техн. наук

---

&copy Информационное общество, 1994, вып. 1-2, с. 41-53.