Что такое качество и как его измерить

Что такое качество и как его измерить

Для измерения качества продукта или процесса нужно собирать и анализировать информацию, обычно поступающую в форме метрик и результатов измерений. Измерения проводятся для того, чтобы держать проект под контролем, поскольку без этого невозможно эффективное управление проектом. Показатели позволяют оценить, насколько проект близок к завершению с точки зрения объема выполненной работы, качества, соответствия требованиям и т.п.

Метрики применяются в двух целях: получение знаний и осуществление изменений (или достижение):

Цели в отношении знаний: эти цели обычно характеризуются глаголами «оценить», «спрогнозировать», «отследить». Их объединяет стремление лучше понять процесс разработки. Примерами целей могут служить оценка качества продукта, прогноз усилий, которых потребует тестирование, мониторинг тестирования и отслеживание изменения требований.

Цели в отношении изменений и достижений: эти цели обычно характеризуются глаголами «увеличить», «сократить», «улучшить» и «достигнуть». Как правило, они связаны с постепенным улучшением отдельных показателей и компонентов процесса по мере выполнения итераций и проектов.

Для измерения качества продукта и процесса в обоих типах целей используются метрики.

Критерии приемки можно выразить разнообразными способами, причем можно пользоваться сразу несколькими системами измерений. Чаще других применяются следующие критерии:

Дополнительные сведения приведены в разделе Концепция: Метрики.

Измерение качества продукта

Существуют различные методики измерения качества работающего продукта:

Показатели зависят от характера объекта изменений. Например, в ревизиях и инспекциях любого рода основное внимание уделяется набору функций и надежности продукта. В качестве основных показателей используются количество ошибок, охват тестирования и соответствие продукта определенным стандартам. При выполнении продукта основное внимание обычно уделяется его функциям, надежности и производительности. Поэтому в качестве основных показателей используются количество ошибок, охват тестирования и производительность. Остальные показатели зависят от характера требований, предъявляемых к программному обеспечению.

Дополнительные сведения приведены в разделе Технология: Качество продукта.

Измерение качества процесса

Измерение качества процесса обычно проводится путем сбора показателей вида «знание» и «достижение».

Существуют несколько технологий измерения качества процесса:

Дополнительные сведения приведены в разделеВведение в управление проектом.

Дополнительные сведения приведены в разделе Концепция: Качество процесса.

© Copyright IBM Corp. 1987, 2006. Все права защищены..

Источник

Тестирование или управление качеством? Часть 4. Управление качеством

Эта статья завершает серию моих публикаций на тему различий между тестированием (Часть 1 — Что такое тестирование? и Часть 2 — Типы тестирования) и управлением качеством (Часть 3 — Что такое качество? и Часть 4 — Управление качеством).

Кто ответственен за качество?

Ответственность за качество лежит на всей команде. Эти слова я говорю из раза в раз, когда хочу донести суть, что не только тестировщики несут ответственность за качество. Но в реальности за качество отвечает не только команда разработки. Люди на каждом уровне предприятия вносят свою лепту. Изображение ниже — это последний слайд с нашей с Лизой Криспин (Lisa Crispin) беседой, которая состоялась в рамках серии вебинаров Agile Testing Days. На нем выделены сферы, в рамках которых люди способствуют качеству:

Организация — обеспечивая безопасную среду для вопросов и обучения

Продукт-менеджер — четкое выделяя приоритетность задач, что способствует повышению эффективности работы команды

Бизнес — понимая что и зачем мы создаем, и отвечая на вопрос “Мы создаем то что нужно?”

Команда разработчиков — создавая “это” правильно

Индивидуум — зная то, какое влияние он оказывает на качество продукта

Все начинается с организации рабочего процесса путем обеспечения психологической безопасности, где не играют в игру “найди виноватого”, и команды чувствуют, что могут экспериментировать, не боясь быть наказанным в случае неудачи.

Во многих организациях есть своего рода “Центр передового опыта” (Center of Excellence), который устанавливает процессы, которым должны следовать команды. По моему опыту, такой способ не работает, поскольку команды, которые не видят ценности в процессе, будут искать обходные пути или будут слепо следовать тому, чего они не понимают. Я добился большего успеха, работая с командами, которые начинали с малого, оценивали обстановку и адаптировались, становясь лучше с каждым изменением. В случае если эксперименты не так успешны, как вы изначально ожидали, или они окажутся провальными, эти уроки не потребуют огромных затрат, поскольку масштаб ошибки невелик.

Организация определяет желаемый или необходимый уровень качества, но каким образом достичь этого уровня качества позвольте определять разработчикам. В основном, начиная с базового определения Release Done. Конечно, есть исключения. Не каждая команда может выполнять свою работу так, как им хотелось бы, если их работа связана с другими командами. Им нужно быть хорошо скоординированными и налаживать общие процессы. Возможно, у них есть общее определение Feature Done, но у каждой команды свое определение Story Done.

Людям, занимающимся управлением продуктами, необходимо координировать свои усилия, чтобы наиболее важные части работы выполнялись своевременно. Если команды борются за ресурсы, а люди могут работать сразу в нескольких командах, эффективность снижается, и усилия, скорее всего, не сосредоточены на качестве продукта. Реализация фич может казаться самым приоритетной задачей, но иногда командам нужно потратить время на недоработки по технической части. Со временем технический долг подорвет качество продукта, поскольку с ним становится все сложнее справляться и, соответственно, добавлять новые фичи.

Заинтересованным сторонам бизнеса, будь то владельцы продукта, бизнес-аналитики или маркетологи, необходимо понимать, что именно должны создавать команды и как наиболее эффективно им донести это «что». Затем группы разработчиков могут сконцентрироваться на том, «как», и наладить свои процессы так, чтобы обеспечить качество с самого начала. Демоверсии — это один из способов получить быструю обратную связь от заинтересованных сторон, чтобы узнать, тот ли продукт мы создаем.

Еще одна группа людей, которые могут захотеть внести свой вклад в качество, — это руководство — они заботятся о соответствии нормативным требованиям и, возможно, о безопасности. Присмотритесь к своей организации, чтобы понять, как люди на разных должностях с разными целями могут воспринимать качество. Пора начинать вести об этом диалог, если вы еще этого не сделали.

Я считаю, что каждый человек в организации должен уметь сформулировать свой вклад в качество своей продукции, и все начинается с вас.

Критерии оценки качества

У нас есть много способов измерить качество наших процессов, но гораздо труднее измерить качество нашей продукции. Я обратился к коллегам в твиттере, чтобы узнать, как их команды оценивают качество, и получил множество ответов. Большинство ответов касалось метрик, уделяющих внимание процессам. Только один ответ концентрировался на пользователях, но ни один не учитывал ценность или лояльность клиентов. Респонденты, похоже, очень сосредоточились на вопросе «как».

Цитата от Лизы Криспин из моей второй книги «More Agile Testing» отлично передает мой взгляд на качество процессов.

Примеры метрик, которые я получил от респондентов в Твиттере, которые относятся к производственному качеству (процесса): количество ошибок на проде (продакшн — prod), серьезность ошибок на проде, количество дней с момента последнего пуша в прод, количество новых заявок в службу поддержки в течение пяти, десяти и тридцати дней с момента последнего пуша на прод, сколько радиатор сборки остается зеленым, капризничают ли автоматизированные тесты, статический анализ кода, количество доработок, количество ошибок, которые открываются повторно. Ни одна из них не говорит нам, ценен ли продукт для пользователей, но они хорошо удовлетворяют человеческую потребность в числах. Их легко измерить количественно, но они могут привести к неправильным выводам о качестве продукции. Даниэль Канеман (Daniel Kahneman) говорит о предвзятости и о том, как мы неверно интерпретируем показатели в своей книге «Thinking, Fast and Slow».

Важно понимать разницу между качеством процесса и качеством продукции. Например, в рамках обсуждения качества продукта люди часто хотят измерить количество ошибок, потому что это достаточно просто сделать. Однако я не думаю, что это показывает нам именно то, что мы думаем. Я считаю, что количество ошибок измеряет, насколько плох наш продукт, но не насколько хорош, особенно те, о которых сообщает клиент. Допустим, клиент сообщает о 5 мелких ошибках. Значит ли это, что качество хорошее? А что, если они сообщат о 5 серьезных ошибках?

На самом деле нет простого способа измерить качество продукции, но мы можем попробовать это сделать. Например, Изабель Эванс (Isabel Evans) представила этот график на конференции, показывая два разных продукта, которые в целом имеют одинаковые функциональные характеристики. Однако они были нацелены на совершенно разных пользователей. Одну группу не заботила скорость, но пугала возможность ошибиться (они не разбирались в технологиях). Другая группа в первую очередь ценила возможность быстро выполнять задачи и хотела гибкости в своем продукте.

В этом случае разница в ценности была не разницей в стоимости, а разницей в атрибутах. Эти организации входили в одну линейку продуктов, но не являлись конкурентами, поскольку у них была совершенно разная клиентская база. Они основывают свои показатели качества на ценности и пользовательских метриках от всех пользователей. Оба продукта создают ценность для клиента, на которого они нацелены.

Однако в таких отраслях, как страхование здоровья и коммунальные услуги, где потребителям трудно переключиться из-за отсутствия какого-либо качества, измерение лояльности, вероятно, не является хорошим показателем качества продукта.

В моем примере с кофе из моей предыдущей публикации этой серии клиенты также разные. Например, человек, который любит любой черный кофе за 50 центов, скорее всего, не купит его в дорогом кафе. Клиенты, которые предпочитают платить 5 долларов за особый вкус или отличный капучино, становятся постоянными покупателями, если им нравится кофе. Можем ли мы измерить, сколько времени люди стоят каждое утро в очереди за кофе, чтобы оценить лояльность? Или нам помогут карты лояльности? Нет простого способа, но, возможно, мы могли бы экстраполировать, посмотрев на позиции, которые продают больше, чтобы увидеть, что нравится клиентам.

Как начать разговор о качестве?

Разговор о качестве вести трудно. Я считаю, что задавать вопросы о рисках — это хорошая отправная точка. Начните со своей команды, а затем перейдите к другим заинтересованным сторонам, которых вы определили. Спросите: «Что может случиться в худшем случае?» — это был бы самый большой риск. Спросите: «Что было бы для нас лучше всего?». Это может быть то, что вы хотите измерить.

Стратегия хорошего качества должна быть основана на снижении рисков, но также должна быть направлена ​​на достижение этого превосходного качества для ваших клиентов (упомянутого в моей последней статье), если это организационная цель или цель продукта.

Маргарет Дайнен (Margaret Dineen) выступила с докладом и написала пост об использовании ползунков для качественных атрибутов, с целью помочь начать этот разговор в команде. Определите качественные атрибуты, которые важны для вашего продукта, а затем обсудите их, используя примеры, которые помогут понять, что люди имеют в виду. Используйте ползунки, чтобы узнать, одинаково ли люди понимают, что важно. Это может быть очень показательным и может раскрыть новые темы для диалога. Я бы пошел еще дальше и поделился этой идеей с другими заинтересованными сторонами, возможно, даже с вашими клиентами, чтобы они поняли, что для них важно.

Будьте изобретательны — например, Марко Равичини (Marco Ravicini) создал карту сокровищ для своей команды. Мне нравится, что он говорит об этом как о путешествии открытий и начале долгой дискуссии. Сила заключается в том, чтобы совместно понять, что значит качество для вашей команды и вашей организации.

Пара мыслей в заключение

В соцсетях я видел фразу, которая мне очень понравилась, но, к сожалению, я не могу вспомнить, кому принадлежит ее авторство — «качество вплетено в ткань» (quality is woven into the fabric). Я думаю, что это отличный визуальный пример, который соответствует нашей более распространенной фразе «встраиваем качество» (building quality in).

Много лет назад я входил в группу обсуждения качества, состоящую из людей из всех отраслей — производства, нефти и газа, здравоохранения и безопасности и т. д. Я часто был единственным представителем разработчиков программного обеспечения среди них. Я многому научился, слушая разговоры. Одно из моих самых запоминающихся обсуждений касалось стоимости качества.

Мы часто думаем, что качество стоит чего-то… дополнительных процессов, дополнительной работы. Но недостаток качества может обойтись намного дороже, если не учитывать как материальные, так и нематериальные затраты. Это потеря возможностей или подрыв доверия и репутации. После потери их трудно вернуть. Начните с анализа и понимания ваших рисков. Именно здесь кроется ваше самое ценное тестирование.

Я постоянно развиваю свои мысли о тестировании и качестве, и я надеюсь, что вы тоже не стоите на месте. Я получаю невероятное удовольствие от разговоров на эту тему с такими людьми, как Пол Симэн (Paul Seaman) или Майк Токс (Mike Talks), которые бросают мне вызов и заставляют больше думать, когда я пишу статьи. Не стесняйтесь писать мне, если вы хотите обсудить любую из этих концепций из этой серии статей о тестировании и управлении качеством. Всего доброго!

Всех желающих приглашаем на бесплатный двухдневный интенсив «Организация тестирования при различных методологиях разработки». На занятии рассмотрим особенности организации тестирования при методологиях разработки и их правильное применение:
1. Behaviour Driven Development (BDD)
2. Acceptance Test Driven Development (ATDD)
3. Test Driven Development (TDD)
>> РЕГИСТРАЦИЯ

Источник

Измерение качества

Качество – это обобщенное понятие, которое может относиться к продукции, услугам, процессам, труду и любой другой деятельности, включая физическую культуру и спорт.

Качественными называются показатели, не имеющие определенных единиц измерения. Таких показателей в физическом воспитании, и особенно в спорте, много: артистичность, выразительность в гимнастике, фигурном катании на коньках, прыжках в воду; зрелищность в спортивных играх и единоборствах и т. д. Для количественной оценки таких показателей используются методы квалиметрии.

На практике, однако, качество оценивается не по одному, а по нескольким признакам. При этом наивысшая обобщенная оценка не обязательно соответствует максимальным значениям по каждому признаку.

В основе квалиметрии лежит несколько исходных положений:

— любое качество можно измерить; количественные методы издавна применяются в спорте для оценки красоты и выразительности движений, а в настоящее время используются для оценки всех без исключения сторон спортивного мастерства, эффективности тренировочной и соревновательной деятельности, качества спортивного инвентаря и т.д;

— качество зависит от ряда свойств, образующих «древо качества».

Пример: древо качества исполнения упражнений в фигурном катании на коньках, состоящее из трех уровней – высшего (качество исполнения композиции в целом), среднего (техника исполнения и артистизм) и низшего (измеряемые показатели, характеризующие качество исполнения отдельных элементов);

— каждое свойство определяется двумя числами: относительным показателем К и весомостью М;

— сумма весомостей свойств на каждом уровне равна единице (или 100%).

Методические приемы квалиметрии делятся на две группы: эвристические (интуитивные) – основанные на экспертных оценках и анкетировании – и инструментальные или аппаратурные.

Проведение экспертизы и анкетирования – это отчасти техническая работа, предполагающая строгое соблюдение определенных правил, а отчасти – искусство, требующее интуиции и опыта.

Метод экспертных оценок. Экспертной называется оценка, получаемая путем выяснения мнений специалистов. Эксперт (от лат. еxpertus – опытный) – сведущее лицо, приглашаемое для решения вопроса, требующего специальных знаний. Этот метод позволяет с помощью специально выбранной шкалы произвести требуемые измерения субъективными оценками спе­циалистов-экспертов. Такие оценки—случайные величины, они могут быть обработаны некоторыми методами многомерного ста­тистического анализа.

Как правило, экспертное оценивание или экспертиза проводит­ся в виде опроса или анкетирования группы экспертов. Анкетой называется опросный лист, содержащий вопросы, на которые нужно ответить письменно. Техника экспертизы и анкетирования – это сбор и обобщение мнений отдельных людей. Девиз экспертизы – «Ум хорошо, а два лучше!». Характерные примеры экспертизы: судейство в гимнастике и фигурном катании на коньках, конкурс на звание лучшего по профессии или лучшую научную работу и т.п.

К мнению специалистов обращаются всякий раз, когда осуществить измерения более точными методами невозможно или очень трудно. Порой лучше получить приблизительное решение немедленно, нежели долго искать пути точного решения. Но субъективная оценка значительно зависит от индивидуальных особенностей эксперта: квалификации, эрудиции, опыта, личных вкусов, состояния здоровья и т.п. Поэтому индивидуальные мнения рассматриваются как случайные величины и обрабатываются статистическими методами. Таким образом, современная экспертиза – это система организационных, логических и математико-статистических процедур, направленных на получение от специалистов информации и анализ ее с целью выработки оптимальных решений. И лучший тренер (педагог, руководитель и т.п.) тот, который опирается одновременно на собственный опыт, и на данные науки, и на знания других людей.

Методика групповой экспертизы включает в себя: 1) формулировку задач; 2) отбор и комплектование группы экспертов; 3) составление плана экспертизы; 4) проведение опроса экспертов; 5) анализ и обработку полученной информации.

Подбор экспертов – важный этап экспертизы, так как достоверные данные можно получить не от всякого специалиста. Экспертом может быть человек: 1) обладающий высоким уровнем профессиональной подготовки; 2) способный к критическому анализу прошлого и настоящего и к прогнозированию будущего; 3) психологически устойчивый, не склонный к соглашательству.

Есть и другие важные качества экспертов, но указанные выше должны быть обязательно. Так, например, профессиональная компетентность эксперта определяется: а) по степени близости его оценки к среднегрупповой; б) по показателям решения тестовых задач.

Для объективной оценки компетентности экспертов могут быть составлены специальные анкеты, отвечая на вопросы которых в течение строго определенного времени, кандидаты в эксперты должны продемонстрировать свои знания. Кроме того, полезно предложить им заполнить анкету самооценки своих знаний. Опыт показывает, что люди с высокой самооценкой ошибаются меньше других.

Другой подход к отбору экспертов основан на определении эффективности их деятельности. Абсолютная эффективность деятельности эксперта определяется отношением числа случаев, когда эксперт верно предсказал дальнейший ход событий, к общему числу экспертиз, проведенных данным специалистом. Например, если эксперт участвовал в 10 экспертизах и 6 раз его точка зрения подтвердилась, то эффективность деятельности такого эксперта равна 0,6. Относительная эффективность деятельности эксперта – это отношение абсолютной эффективности его деятельности к средней абсолютной эффективности деятельности группы экспертов. Объективная оценка пригодности эксперта определяется по формуле:

где Мист — истинная оценка; М — оценка эксперта.

Желательно иметь однородную группу экспертов, но если это не удается, то для каждого из них вводится ранг. Очевидно, что эксперт представляет тем большую ценность, чем выше показатели его деятельности. Для повышения качества экспертизы стараются повысить квалификацию экспертов путем специального обучения, тренировок и ознакомления с возможно более обширной объективной информацией по анализируемой проблеме. Судей во многих видах спорта можно рассматривать как своеобразных экспертов, оценивающих мастерство спортсмена (например, в гимнастике) или ход поединка (например, в боксе).

Подготовка и проведение экспертизы. Подготовка экспертизы сводится в основном к составлению плана ее проведения. Наиболее важными его разделами являются подбор экспертов, организация их работы, формулировка вопро­сов, обработка результатов.

Существует несколько способов проведения экспертизы. Наиболее простой из них—ранжирование, которое состоит в определении относительной значимости объектов экспертизы на основе их упорядочения. Обычно наиболее предпочтительному объекту приписывается наивысший (первый) ранг, наименее предпочтительному — последний ранг.

После оценивания объект, получивший у экспертов наибольшее предпочтение, получает наименьшую сумму рангов. Напомним, что в принятой оценочной шкале ранг определяет только место объекта относительно других объектов, подвергшихся экспертизе. Но оценить, насколько далеко эти объекты отстоят друг от друга, ранжирование не позволяет, В связи с этим метод ранжирования используется сравнительно редко.

Большее распространение получил метод непосредственной оценки объектов по шкале, когда эксперт помещает каждый объект в определенный оценочный интервал. Третий метод экспертизы: последовательное сравнение факторов.

Сравнение объектов экспертизы с помощью этого метода проводится так:

1) вначале они ранжируются в порядке значимости;

2) наиболее важному объекту приписывается оценка, равная единице, а остальным (тоже и порядке: значимости) — оценки меньше единицы — до нуля;

3) эксперты решают, будет ли оценка первого объекта превосходить по значимости все остальные. Если да, то оценка «веса» этого объекта увеличивается еще больше; если нет, то тогда принимается решение уменьшить его оценку;

4) эта процедура повторяется до тех пор, пока не будут оценены все объекты.

И наконец, четвертый метод—метод парного сравнения—основан на попарном сравнении всех факторов. При этом устанавливается в каждой сравниваемой паре объектов наиболее весомый (он оценивается баллом 1). Второй объект этой пары оценивается в 0 баллов.

Широкое распространение в физической культуре и спорте получил такой метод экспертных оценок, как анкетирование. Анкета здесь представлена как последовательный набор вопросов, по ответам на которые судят об относительной важности рассматриваемого свойства или о вероятности свершения каких-либо событий.

При составлении анкет наибольшее внимание уделяется четкой и осмысленной формулировке вопросов. По своему характеру они подразделяются на следующие типы:

1) вопрос, при ответе на который необходимо выбрать одно из заранее сформулированных мнений (в некоторых случаях каждому из этих мнений эксперт должен дать количественную оценку в шкале порядка);

2) вопрос о том, какое решение принял бы эксперт в определенной ситуации (и здесь возможен выбор нескольких решений с количественной оценкой предпочтительности каждого из них);

3) вопрос, требующий оценить численные значения какой-либо величины.

Опрос может проводиться как очно, так и заочно в один или несколько туров.

Развитие вычислительной техники позволяет проводить анкетирование в режиме диалога с ЭВМ. Особенностью диалогового метода является составление математической программы, предусматривающей логическое построение вопросов и очередность их воспроизведения на дисплее в зависимости от типов ответов на них. В память машины закладываются стандартные ситуации, позволяющие контролировать правильность ввода ответов, соответствие численных значений диапазону реальных данных. ЭВМ контролирует возможность ошибок и в случае их появления находит причину и указывает на нее.

В последнее время квалиметрические методы (экспертиза, анкетирование и др.) все чаще используются для решения оптимизационных задач (оптимизация соревновательной деятельности, тренировочного процесса). Современный подход к задачам оптимизации связан с имитационным моделированием соревновательной и тренировочной деятельности. В отличие от других видов моделирования при синтезе имитационной модели наряду с математически точными данными используется квалитативная информация, собираемая методами экспертизы, анкетирования и наблюдения. Например, при моделировании соревновательной деятельности лыжников нельзя точно предсказать коэффициент скольжения. Его вероятную величину можно оценить путем опроса специалистов по смазке лыж, знакомых с климатическими условиями и особенностями трассы, на которой будут проходить соревнования.

ВОПРОСЫ ДЛЯ САМОКОНТРОЛЯ

1. Какие параметры являются основными измеряемыми и контролируемыми в современной теории и практике спорта?

2. Почему изменчивость является одной из особенностей спортсмена, как объекта измерений?

3. Почему следует стремиться снизить число измеряемых переменных контролирующих состояние спортсмена?

4. Что характеризует квалитативность при исследованиях в спорте?

5. Какую возможность предоставляет спортсмену адаптивность?

6. Что называется тестом?

7. Каковы метрологические требования к тестам?

8. Какие тесты называются добротными?

9. В чем разница между нормативно-ориентированным и критериально-ориентированным тестом?

10. Какие существуют разновидности двигательных тестов?

11. В чем разница гомогенных тестов от гетерогенных?

12. Какие требования должны соблюдаться для стандартизации проведения тестирования?

13. Что называется надежностью теста?

14. Что вносит погрешность в результаты тестирования?

15. Что понимают под стабильностью теста?

16. От чего зависит стабильность теста?

17. Чем характеризуется согласованность теста?

18. Какие тесты называются эквивалентными?

19. Что понимают под информативностью теста?

20. Какие существуют методы определения информативности тестов?

21. В чем суть логического метода определения информативности тестов?

22. Что обычно используют в качестве критерия при определении информативности тестов?

23. Как поступают при определении информативности тестов, когда отсутствует единичный критерий?

24. Что называется педагогической оценкой?

25. По какой схеме происходит оценивание?

26. Какими способами можно перевести результаты тестирования в баллы?

27. Что такое шкала оценок?

28. Каковы особенности пропорциональной шкалы?

29. В чем отличия прогрессирующей шкалы от регрессирующей?

30. В каких случаях применяются сигмовидные шкалы оценок?

31. В чем достоинство перцентильной шкалы?

32. Для чего могут использоваться шкалы выбранных точек?

33. Для каких целей используется шкала ГЦОЛИФКа?

35. Что называется нормой в спортивной метрологии?

36. На чем основаны индивидульные нормы?

37. Как устанавливаются должные нормы в спортивной практике?

38. Как составляются большинство возрастных норм?

39. Какие существуют характеристики норм?

40. Что изучает квалиметрия?

41. В каком виде проводится экспертное оценивание?

42. Какими качествами должен обладать эксперт?

43. Как определяется объективная оценка пригодности эксперта?

Источник