Разработка системы критериев и показателей оценки эффективности инновационных проектов при создании интегрированных систем управления промышленным производством рождественская каринэ самвеловна. Разработка системы показателей Разработка системы критериев
При подготовке курса важно заранее спланировать некоторые аспекты оценочной системы:
1. Общий принцип оценивания: 1) по «кривой нормального распределения» или 2) в соответствии с определенными заранее заданными критериями.
2. Из каких проверочных процедур (тестов, контрольных заданий, письменных самостоятельных работ, зачета, экзамена) будет складываться общая оценка успешности изучения студентами курса.
3. Значение, которое будет придаваться различным заданиям и экзаменационным процедурам в оценивании успешности освоения студентом курса в целом.
4. Критерии в оценке успешности выполнения проверочных заданий и сдачи экзамена.
5. Какие «премиальные» и «штрафные» баллы будут начисляться в процессе учебных занятий, выполнения самостоятельных заданий, при сдаче экзамена, тестов.
6. Минимальные критерии для получения удовлетворительной отметки по курсу.
7. Требования в отношении сроков и способов пересдачи неудовлетворительно выполненных заданий.
Планирование отдельных учебных занятий и составление конспектов
Задачами подготовительной работы преподавателя к занятию являются:
1) определение целей занятия;
2) выбор знаний и умений, которые должны быть изучены в ходе занятия;
3) подбор методов и приемов обучения;
4) разработка методов контроля и оценки успешности занятия;
6) подготовка конспекта (плана) занятия.
Вопросы для самоконтроля:
1. Охарактеризуйте основные технологические этапы разработки учебного курса по психологии.
2. На какие критерии необходимо ориентироваться при выборе учебника и учебных пособий?
3. Какие критерии отбора содержания учебного курса могут быть взяты за основу?
4. Приведите примеры постановки учебных целей при изучении психологии.
5. На какие вопросы следует обратить внимание при разработке формата проведения учебного курса?
6. На какие вопросы важно обратить внимание при разработке оценочной системы, которая будет использоваться в процессе проведения курса?
7. Как следует планировать учебные занятия?
8. Что должна содержать рабочая программа учебного курса?
9. Что представляет собой тематический план занятий и как он оформляется?
10. На что важно обратить внимание при подготовке к отдельным занятиям?
1. Критерием выбора учебного пособия является:
А) Систематизированность изложения учебной дисциплины;
Б) Доступность изложения учебного материала;
В) Наличие методического аппарата для лучшего усвоения учебного материала;
Г) А, Б и В
2. Какое количество тем учебного курса считается оптимальным?
А) названием курса и его ролью в учебном плане;
Б) требованиями, содержащимися в образовательном стандарте по дисциплине;
В) спецификой групп обучающихся, на которые рассчитан курс;
Г) А, Б и В
4. Рабочая программа разрабатывается:
А) отдельно для дневной и вечерней форм обучения;
Б) отдельно для заочной формы обучения и экстерната;
В) является единой для всех форм обучения;
5. Функциями тематического плана занятий являются (выбрать несколько):
А) Планирование загрузки преподавателей на учебный семестр;
Б) Распределение учебных часов и учебных занятий по разделам, темам и формам;
В) Определение сроков и форм контроля и оценки усвоения учебного материала;
Г) Раскрытие последовательности изучения разделов и тем программы.
6 . Расположите этапы подготовки преподавателя к отдельному учебному занятию в логически верном порядке:
1) подбор методов и приемов обучения;
2) подготовка конспекта (плана) занятия;
3) разработка методов контроля и оценки успешности занятия;
4)выбор знаний и умений, которые должны быть изучены в ходе занятия;
5) планирование этапов занятия;
6) определение целей занятия.
Оценка деятельности персонала помогает определить эффективность выполнения той или иной работы сотрудника, позволяет установить соответствие рабочих показателей установленным требованиям. Кроме этого, процесс оценки помогает выявить как индивидуальные проблемы работника, так и общие, характерные для всего коллектива (отдела или компании).
Проблема 1. Как разработать критерии для оценки персонала?
Проблема 2. Кто должен принимать участие в разработке критериев оценки?
Проблема 3. Каким требованиям должны соответствовать критерии оценки?
Оценка персонала помогает определить эффективность выполнения той или иной работы сотрудника, позволяет установить соответствие рабочих показателей установленным требованиям. Кроме этого, процесс оценки помогает выявить как индивидуальные проблемы работника, так и общие, характерные для всего коллектива (отдела или компании). Но большинство руководителей испытывает трудности при оценке своих подчиненных. Связано это с отсутствием четких, однозначных и нацеленных на результат деятельности сотрудника критериев оценки. Порой это приводит к принятию некоторых управленческих решений под влиянием личных симпатий, а также к проблемам, связанным с неработающей системой поощрений, с низкой дисциплиной сотрудников. Чтобы подобных проблем не возникало, важно при разработке системы оценки работника определить, на основании каких критериев будет проводиться оценка.
Какие критерии существуют?
Критерии оценки разделяются по разным основаниям, среди которых можно выделить следующие группы:
· общеорганизационные критерии (применительны ко всем сотрудникам компании, например: своевременность, полнота выполнения обязанностей и др.) и специализированные критерии (то есть соответствующие определенному рабочему месту, виду деятельности);
· количественные критерии (оценка на основе достигнутых результатов) и качественные критерии (индивидуальные характеристики сотрудника и качество работы);
· объективные критерии (стандарты, нормативы качества и производительности, которые могут быть установлены практически для любой работы) и субъективные критерии (показатели и характеристики, которые оцениваются на основании мнений и оценок экспертов);
· интегральные и простые критерии. Если при оценке в одном показателе учитывается или сочетается информация, полученная в результате оценки различных характеристик работы и рабочего поведения, то такой показатель является интегральным критерием. Если же оцениваются отдельные аспекты работы или рабочего поведения, например уровень производительности или отсутствие опозданий на работу, то данные показатели могут рассматриваться как простые критерии.
Выбор конкретных критериев оценки зависит от категорий оцениваемых работников и от того, как предполагается использовать получаемые результаты.
Словарь HR-а
Критерии оценки - это ключевые параметры (рабочие, поведенческие, личностные показатели и характеристики), по которым оценивается эффективность деятельности сотрудника. Критерии оценки определяют то, каким образом должна выполняться каждая функция и каждое действие, чтобы отвечать требованиям компании и клиентов.
Соблюдаем последовательность в разработке критериев
Алгоритм действий при разработке критериев выглядит следующим образом:
1. определяем группу должностей, для которых будут разрабатываться критерии (по профессиональным признакам);
2. выявляем существенные факторы деятельности для этих групп;
3. оцениваем критерии по следующим пунктам:
- являются ли выбранные критерии действительно важными;
- достаточно ли у вас информации, чтобы оценить по выбранным критериям;
4. описываем критерии. Можно давать описание только самого критерия или же применительно к шкале оценки;
5. группируем и делаем ранжирование критериев (то есть определяем вес факторов, влияющих на результат деятельности). Это необходимо для того, чтобы разделить основные и вспомогательные показатели деятельности сотрудника.
Борис Бельтинов, руководитель службы подбора персонала компании Work Service (Москва):
«При разработке критериев оценки учитывается специфика деятельности, сегмент рынка (продажи, производство), цели и задачи, то есть что хотим получить от оценки персонала. Кроме этого, необходимо определить, какие критерии будут приоритетными, Например, к основным критериям оценки линейного персонала можно отнести: качество работы (отсутствие ошибок, выполнение стандартов обслуживания клиентов), объем выполняемой работы, дисциплину, лояльность».
Предлагаем рассмотреть применение алгоритма действий на примере разработки критериев для торгового персонала.
Определяем группы должностей. В нашем примере это будут продавец-кассир и продавец-консультант.
Определяем факторы деятельности, существенные для этой группы должностей. Например, объем выполняемых работ, качество выполненных работ, профессиональные знания (знание товара и услуг, стандартов компании при работе с клиентами, работа с возражениями клиентов), дисциплина, лояльность, устные коммуникации, умение контролировать эмоции, умение слушать, , творческие способности, руководящие навыки, умение расставлять приоритеты.
Оцениваем критерии . Как правило, многие руководители стараются определить как можно больше существенных факторов для оценки персонала, полагая, что в этом случае оценка будет наиболее полной. Но на деле все оказывается далеко не так. Оценка по всем возможным факторам отнимает много времени и в итоге результаты получаются размытыми. Чтобы этого избежать, необходимо оценить выбранные критерии, то есть определить, какие критерии наиболее важны, а какие лишние - это позволит сэкономить силы и время при оценке персонала. Для этого мы рекомендуем сделать таблицу (см. ниже).
Определение важности критериев для торгового персонала
Критерии | Высокая важность | Средняя важность | Низкая важность |
Дисциплина | |||
Лояльность | |||
Качество выполняемых работ | |||
Объем выполняемых работ | |||
Профессиональные знания | |||
Руководящие навыки | |||
Творчество | |||
Умение контролировать эмоции | |||
Умение расставлять приоритеты | |||
Умение решать сложные ситуации | |||
Умение слушать | |||
Устные коммуникации |
Мы выявили, что такие критерии, как творческие способности, умение расставлять приоритеты и руководящие навыки, не являются важными при оценке указанных должностей и от оценки по ним следует отказаться. Таким образом, мы определили критерии, по которым будет осуществляться оценка: дисциплина, лояльность, объем и качество выполняемых работ, профессиональные знания, устные коммуникации и умение слушать, умение контролировать эмоции и решать сложные ситуации.
Описываем критерии. Рассмотрим описание критериев применительно к шкале оценки. Рекомендуем также составить таблицу (см. стр. 94-95).
Шкала оценки некоторых критериев
Критерий | Краткое
| 3 балла
| 2 балла (не всегда соответствует
| 1 балл
|
Дисциплина | Рабочее время не тратит на посторонние дела. Отсутствуют пропуски на работе | Приходит на работу вовремя. Редко отсутствует, а если такое случается, то по уважительной причине | Не всегда пунктуален, иногда забывает предупредить | Часто отсутствует или опаздывает, при этом не ставит в известность руководителя |
Лояльность | Имеет уважительное отношение к организации | Доволен тем, что работает в организации, не отзывается плохо о компании и коллегах | Не всегда ощущает себя частью организации, избегает публично выражать недовольство, но иногда не сдерживает негативные эмоции по отношению к компании | Негативно относится к организации, преследует свои личные цели, критикует компанию и коллег |
Качество выполняемых работ | Работа выполняется без ошибок, аккуратно и тщательно. Соблюдаются стандарты работы с клиентами | Качество соответствует предъявляемым требованиям, ошибки встречаются редко, а если и есть, то незначительные и исправляются самостоятельно | Работа выполняется качественно, но встречаются ошибки, иногда приходится проверять работу | Низкое качество работы, постоянные ошибки, требуются постоянные проверки |
Объем выполняемых работ | Работа выполняется в запланированном объеме | Работает быстро, выполняет плановые показатели или больше, чем запланировано | Работает медленно, необходимо «подгонять» | Работает медленно. Не справляется с запланированным объемом |
Профессиональные знания | Сотрудник обладает знаниями, необходимыми для данной должности | Хорошо понимает свои обязанности, знания соответствуют выполняемой работе, редко требуются разъяснения со стороны руководителя | Не всегда хватает знаний, многие рабочие вопросы необходимо дополнительно разъяснять | Не хватает знаний для выполнения обязанностей. Плохо понимает свою работу |
Умение контролировать эмоции | Умение держать себя в руках в стрессовых ситуациях | Хорошо работает как в обычной, так и стрессовой ситуации, всегда сохраняет выдержку и позитивное отношение к работе и клиентам | Ровное, спокойное отношение к работе и коллегам, а также клиентам. Старается сдерживать себя в сложной ситуации | Постоянное недовольство и недоброжелательное отношение к коллегам и клиентам создают напряженность. Неровное эмоциональное поведение |
Умение решать сложные ситуации | Умение принимать решения и самостоятельно найти выход из сложившейся ситуации | Самостоятельно умеет найти | Предпочитает не принимать решений самостоятельно, для решения той или иной сложной ситуации часто просит совета руководителя | Избегает принимать решения и отвечать за них, самостоятельные решения сложных ситуаций только усугубляют положение |
Умение слушать | Умение правильно услышать и понять информацию | Внимательно слушает, не перебивает, умеет задавать уточняющие вопросы | Внимательно слушает то, что ему говорят, и стремится понять | Не слушает, |
Устные коммуникации | Умение выразить свои мысли точно и ясно | Очень хорошо излагает свои мысли, умеет аргументированно убедить в своей правоте | Умеет разъяснить свою позицию, но иногда возникают сложности, чтобы логично доказать свою точку зрения | С трудом излагает свои мысли, обижается, если начинают задавать уточняющие вопросы, обижается, думая, что его не понимают |
Группируем и ранжируем критерии. В нашем примере это будет выглядеть так:
Объем и качество работы, профессиональные знания будут входить в группу критериев - выполнение основных должностных обязанностей. Лояльность и дисциплина - отношение к работе. Устные коммуникации, умение контролировать эмоции, умение слушать - коммуникативные навыки.
Ранжирование критериев будет выглядеть следующим образом.
Выполнение основных должностных обязанностей. Среди них:
· 1 - профессиональные знания;
· 2 - качество работы;
· 3 - объем работы.
· Отношение к работе, среди них:
· 1 - дисциплина;
· 2 - лояльность;
· 3 - умение решать сложные ситуации.
· Коммуникативные навыки, среди них:
· 1 - устные коммуникации;
· 2 - умение контролировать эмоции;
· 3 - умение слушать.
Наталья Малеева, директор по персоналу компании «М.Видео» (Москва):
«Поскольку наша компания динамично развивается, появляется необходимость дорабатывать как критерии, так и процедуру оценки. Происходит это, как правило, следующим образом:
Формируется рабочая группа, в которую входят ключевые сотрудники розничной дирекции (лучшие менеджеры секций, директора магазинов, управляющие регионом) и представители коммерческой дирекции, отвечающие за рост продаж определенных товаров в магазинах.
Определяется цель рабочей группы. Например, одним из критериев оценки продавца наших магазинов является знание техники. В этом случае цель рабочей группы - определить, какие категории товара занимают большую долю продаж в отделе, технически сложные товары, новинки сезона, а также выделить категории, ставшие неактуальными или выводящиеся из ассортимента магазинов. На основании этой информации будет формироваться процентное соотношение количества вопросов к каждой из категорий. Кроме этого, определяется, должен ли знать продавец досконально все технические характеристики или же только владеть информацией о функциональности товара и его использовании в быту».
Кто должен участвовать в разработке критериев?
Критерии оценки могут разрабатываться руководителем и специалистом службы персонала либо совместно с сотрудниками, которые выполняют соответствующую работу. В первом случае важно, чтобы в разработке критериев принимал участие и линейный руководитель, так как именно он ставит цели перед сотрудником и оценивает результаты работы. Совместная разработка критериев непосредственного руководителя вместе с сотрудниками имеет свои преимущества. Во-первых, критерии будут понятны и для руководителя, и для сотрудников, во-вторых, они будут более соответствовать особенностям конкретной работы, в-третьих, будут отражать, учитывать условия и содержание работы и, наконец, будут приняты сотрудниками. Но следует учесть, что окончательное решение руководитель принимает после обсуждения разработанных критериев с высшим руководством и специалистами службы персонала. Помните, что общее признание и осознание критериев оценки необходимо, поэтому перед встречей каждому участнику необходимо объяснить, что такое критерии оценки, почему они важны и как будут использоваться в процессе оценки деятельности сотрудника.
Ольга Светлышева, преподаватель Центра «Специалист» при МГТУ им. Н.Э. Баумана, кандидат юридических наук (Москва):
«В проектную группу обязательно должны входить руководители разных уровней и специалисты, задача которых наполнить содержанием предложенные формы (например, сформулировать цели для сотрудников на определенный период и критерии их достижения). Главное при разработке критериев - помнить о связи стратегии компании с целями и планируемыми результатами конкретных подразделений и каждого сотрудника».
Не пренебрегайте описанием критериев. Это послужит инструментом для достижения единого понимания и выступит в качестве «словаря» принятых в организации терминов.
Какими документами необходимо располагать при разработке критериев оценки персонала?
В разработке критериев деятельности персонала следует опираться на один или несколько следующих документов: стратегический план компании, четко прописанные бизнес-процессы, миссию и цели компании, должностные инструкции, стандарты и регламенты выполнения работы и т. п.
Необходимо сосредоточиться на том, что действительно важно для конкретной должности, и определить тот приемлемый минимум заданий и результатов, которого надо достичь.
Светлана Никитина, старший аккаунт-менеджер консалтинговой группы «КОНСОРТ», член Ассоциации консультантов по персоналу (Москва):
«В первую очередь для разработки критериев необходима копия должностной инструкции работников. Здесь крайне важно, чтобы показатели оценки соответствовали содержанию работы, для этого стоит проверить, насколько выполняемые функции соответствует должностной инструкции. Также для формирования критериев оценки используется общая стратегия развития компании и форма оценки сотрудника. Кроме того, используются документы, в которых фиксируются служебные функции, они могут называться: функциональные обязанности, должностные обязанности, функциональные задачи. Служебные обязанности могут быть включены в должностную инструкцию, в которой определяют полномочия сотрудника».
Важно обладать достаточной информацией для оценки по выбранным критериям, то есть должна быть возможность сопоставить деятельность сотрудников по отношению к установленным стандартам работы в компании.
Требования, которым должны отвечать критерии
После того как критерии оценки написаны, необходимо определить, соответствуют ли они определенным требованиям. Итак, критерии должны:
1. Быть достижимыми, что является необходимым для выполнения работы.
2. Быть объективными и обоснованными и не зависеть от того, кто их выполняет (то есть должны быть разработаны для конкретной должности, а не для человека).
3.Информировать сотрудника о том, какие конкретные действия и результаты ожидаются от него.
4.Соответствовать содержанию работы.
5.Мотивировать сотрудника на достижение лучших результатов.
6.Соответствовать целям организации.
7.Быть понятными и четко увязанными с важнейшими характеристиками рабочего поведения и (или) важнейшими результатами работы.
8.Быть динамичными, то есть должны развиваться и адаптироваться к существующим изменениям в компании.
Ольга Новикова, заместитель генерального директора по персоналу ГК «СИНТЕЗ Н» (Москва):
«Очень часто руководителю среднего звена не хватает знаний для проведения оценки подчиненного ему персонала. Это приводит к субъективизму и предвзятости, формальному подходу и нарушению периодичности оценочных мероприятий. Эту проблему можно решить, назначив отдел персонала ответственным за весь процесс оценки в организации. То есть отдел будет не только участвовать в разработке системы оценки, но и контролировать соблюдение регламентов и сроков оценочных мероприятий. Кроме этого, рекомендую разработать мотивационные схемы для управленцев, включающие в себя оценку менеджеров среднего звена в части работы с персоналом. Также немаловажную роль играет системное обучение руководителей кадровому менеджменту, которое должен инициировать и организовывать отдел персонала. Особое внимание необходимо уделять разъяснительной работе среди менеджеров среднего звена по вопросам управления персоналом, которую постоянно должен проводить руководитель HR-службы».
Четкие критерии оценки помогают и руководителю, и персоналу понять, что ожидается от их работы. Это понимание обеспечивает основу для установления обратной связи, дает возможность оценить личные перспективы, способствует эффективной деятельности каждого сотрудника. Кроме этого, критерии позволяют определить, насколько работники подходят организации и насколько организация соответствует ожиданиям сотрудника. Таким образом, критерии оценки помогут оценить вклад работника в достижение целей организации, что дает возможность руководству принимать верные административные решения.
480 руб. | 150 грн. | 7,5 долл. ", MOUSEOFF, FGCOLOR, "#FFFFCC",BGCOLOR, "#393939");" onMouseOut="return nd();"> Диссертация - 480 руб., доставка 10 минут , круглосуточно, без выходных и праздников
Рождественская Каринэ Самвеловна. Разработка системы критериев и показателей оценки эффективности инновационных проектов при создании интегрированных систем управления промышленным производством: диссертация... кандидата экономических наук: 08.00.05 / Рождественская Каринэ Самвеловна; [Место защиты: Рос. гос. ун-т инновац. тех. и предп.].- Москва, 2008.- 142 с.: ил. РГБ ОД, 61 08-8/2014
Введение
Глава 1. Анализ структурно - функционального построения ИАИСУ промышленным производством и методов оценки их эффективности 9
1.1. Анализ структурно-функционального построения ИАИСУ в промышленном производстве 9
1.2. Организация создания и реализации ИАИСУ 21
1.3. Анализ методов и подходов оценки эффективности информационных технологий и постановка задач исследования 31
Глава 2. Разработка критериев, системы показателей и механизма оценки эффективности инновационных проектов при создании ИАИСУ с учетом инфляционных процессов 51
2.1. Критерии оценки эффективности инновационных проектов при создании ИАИСУ 51
2.2. Дисконтирование потоков денежных средств на предприятии 54
2.3. Методы оценки эффективности инновационных проектов 57
2.4. Методика определения затрат, связанных с созданием и реализацией инновационных проектов 73
2.5. Факторы и источники образования социально-экономического эффекта 82
2.6. Синергетический эффект от интеграции локальных АИСУ 92
2.7. Учет инфляционных процессов при оценке эффективности инновационных проектов 94
Глава 3. Риски и их учет при финансировании и реализации инновационных проектов при создании ИАИСУ 100
3.1. Системный подход к определению неопределенности и рисков в автоматизированных системах управления 100
3.2. Влияние факторов риска и неопределенности на эффективность инновационных проектов 106
3.3. Метод экспертных оценок 113
3.4. Методы корреляционного анализа и имитационного моделирования.. 124
Заключение 133
Литература 134
Введение к работе
Актуальность исследования. В настоящее время на промышленных предприятиях России, как и во многих экономически развитых странах, в целях повышении эффективности промышленного производства бурно развиваются интегрированные автоматизированные информационные системы управления (ИАИСУ), охватывающие стадии научно-исследовательских работ, проектирования, производства и реализации продукции. Одной из важных задач среди других задач, решаемых на предприятиях, является оценка эффективности инновационных проектов при создании ИАИСУ. Под инновационными проектом понимается план реализации конечного результата интеллектуальной деятельности человека, его идей, открытий, изобретений и рационализации в виде новых или отличных от предшествующих объектов.
ИАИСУ - человеко-машинные системы управления, реализующие комплексы задач на основе единого организационного, информационного, технического, математического и программного обеспечения для достижения поставленных целей.
Разработка критериев, системы показателей и механизма оценки эффективности инновационных проектов при создании таких систем управления позволяет уже на стадии проектирования ИАИСУ осуществить оценку эффективности вкладываемых инвестиций и выбора варианта наиболее оптимального вложения этих инвестиций. Это, в свою очередь, позволяет за минимальные сроки возвратить затраченный капитал, минимизировать необходимые затраты при разработке и реализации ИАИСУ.
Как показывает проведенный анализ существующих методических подходов и методов оценки эффективности информационных технологий, имеющиеся теоретические и методологические разработки в этой области научных исследований, не отражают действительно происходящих процессов отдачи от применения проектов при создании ИАИСУ в промышленном про- изводстве. При проводимых расчетах эффективности практически не учитываются социальные результаты, недостаточно полно отражаются факторы и источники образования социально-экономического эффекта, не учитывается эффект синергизма (взаимодействия локальных АИСУ). В некоторых случаях при проводимых расчетах не учитываются инфляционные процессы и риски, связанные во времени и пространстве с вкладываемыми инвестициями. Таким образом, разработка научно обоснованных критериев и системы показателей оценки эффективности проектов при создании ИАИСУ является задачей весьма актуальной.
Цель и задачи исследования. Целью исследования является разработка научно обоснованных критериев, системы показателей и механизма оценки эффективности инновационных проектов при создании ИАИСУ с учетом инфляционных процессов и рисков.
Для достижения поставленной в диссертационной работе цели решаются следующие задачи: провести анализ структурно-функционального построения ИАИСУ в промышленном производстве и разработать критерии оценки их эффективности; разработать систему показателей и механизм оценки социально-экономической эффективности инновационных проектов при создании ИАИСУ; разработать методику определения затрат, связанных с созданием и реализацией систем управления; определить факторы и источники образования социально-экономического эффекта; разработать подход к определению синергетического эффекта с учетом инфляционных процессов и рисков.
Объект исследования. Объектом исследования являются инновационные проекты при создании ИАИСУ промышленным производством. Предмет исследования. Предметом исследования являются подходы и методы оценки эффективности инновационных проектов, базирующихся на применении информационных технологий.
Теоретические и практические вопросы в области оценки эффективности информационных технологий нашли свое отражение в работах отечественных и зарубежных ученых: Винера Н., Царева В.В., Непомнящего Е.Г., Ви-ленского П.Л., Ковалева В.В., Коссова В.В., Шарпа У.Ф., Бланка И.А., Бром-вича М., Князевой Е.Н., Мыльника В.В., Парамонова Ф.И., Клейнера Г.Б., Скрипкина К.Г., Титоренко Г.А., Дамодарана А., Когаловского P.M., Гитма-на Л.Д., Джонка М.Д., Золотогорова В.Г., Липсица И.В., Беренса В., Хавране-ка П.М., Аныпина В.М., Девераджа С, Кохли Р., Римера М.И., Балдина К.В., Лимитовского М.А., Лившица В.Н., Хакена Г.
Методы исследования. Проведенное исследование базируется на системном подходе к анализу структурно-функционального построения ИАИСУ и методов оценки их эффективности. Для решения поставленных в диссертационной работе задач использовались теоретические, методологические и методические основы построения ИАИСУ, методы экономического анализа, экспертных оценок, системного и ситуационного анализа, экономико-математического моделирования. Теоретической основой исследования являются труды зарубежных и отечественных ученых в области построения ИАИСУ и оценки их эффективности.
Научная новизна. Научная новизна диссертационного исследования состоит в разработке системы критериев и показателей оценки эффективности инновационных проектов при создании интегрированных АИСУ промышленным производством. Наиболее значимыми научными результатами исследования являются: разработаны критерии оценки эффективности инновационных проектов при создании ИАИСУ промышленным производством на основе анализа их структурно-функционального построения; разработана система показателей и механизм оценки эффективности инновационных проектов при создании ИАИСУ во времени и пространстве; разработана методика определения затрат, связанных с созданием и реализацией инновационных проектов при создании ИАИСУ; определены факторы и источники образования социально-экономического эффекта, отражающие реальные процессы применения систем управления; разработан подход к определению синергетического эффекта с учетом инфляционных процессов и рисков.
Практическая значимость. Разработанная система критериев и показателей оценки эффективности инновационных проектов при создании ИАИСУ позволяет уже на стадии проектирования этих систем определять будущую эффективность вкладываемых инвестиций. Это объясняется тем, что все проводимые расчеты затрат и результатов осуществляются с помощью коэффициента дисконтирования, то есть приведением затрат и результатов по фактору времени к первоначальному моменту вложения инвестиций. Результаты исследования представляют научный интерес, а также практическую значимость для промышленных предприятий при создании и реализации ИАИСУ. Материалы диссертации могут быть также использованы в учебных целях в качестве учебных пособий при чтении лекций и дипломном проектировании в ВУЗах.
Апробация работы. Основные положения диссертационной работы реализованы при разработке ИАИСУ наукоемким производством ФГУП «ММПП «Салют». Отдельные разделы диссертации использовались при подготовке курса лекций, методических пособий, курсовых работ по дисципли- нам «Оценка бизнеса», «Финансы и кредит», а также при выполнении дипломных и курсовых работ на экономических кафедрах ряда ВУЗов.
Результаты исследования докладывались на Шестой Международной конференции «Авиация и космонавтика» с 1 по 4 октября 2007 г., Международной молодежной научной конференции «XXXIV Гагаринские чтения» в МАТИ имени К.Э. Циолковского в 2008 г., Международной научно-практической конференции «Менеджмент качества и формирование стратегии развития экономических систем» - СПб, 20-21 апреля 2008 г.
Публикации. По материалам выполненных исследований опубликованы 8 научных работ, общим объемом 5,8 п.л., в том числе 3 научные работы в издательствах, рекомендованных ВАК.
Объем работы. Диссертация состоит из введения, трех глав, заключения, списка литературы. Основные результаты исследования изложены на 142 страницах, 24 рисунках и 11 таблицах. Список литературы содержит 122 наименования.
Организация создания и реализации ИАИСУ
Организация создания и реализации интегрированных автоматизированных информационных систем управления (ИАИСУ) представляет собой комплекс научно-исследовательских, проектных, инженерно-технических и организационных работ, направленных на совершенствование существующей или вновь создаваемой системы управления с применением СВТ, математических и современных методов управления. Совершенствование системы управления означает переход к качественно новой ступени ее развития, изменения организационной структуры управления и принципов ее функционирования. Процесс организации и создания систем управления можно представить в виде инвестиционного проекта. Под инвестиционным проектом (investment project) понимается план или программа вложения инвестиций в систему управления для достижения поставленных целей. Инвестиционный проект, начиная от инвестиционной идеи до реализации системы управления, состоит из трех фаз: прединвестиционной; инвестиционной; эксплуатационной (оперативной). Совокупность проводимых работ по организации и созданию систем управления удобно представлять в виде сетевых моделей (графиков). Детальные сетевые графики содержат сотни и тысячи операций, вид которых определяется в значительной степени сложностью создаваемой системы управления и спецификой организации, для которой она проектируется. Рассмотрим обобщенный сетевой график укрупненных этапов разработки и создания системы управления во взаимосвязи с фазами инвестиционного проекта, дающий общее представление об основных этапах разработки и позволяющий проследить развитие системы от идеи до эксплуатации. Он представляет собой графическое изображение комплекса работ по проекту и характера их взаимосвязей.
Основными элементами сетевого графика являются: работа, событие, путь. Работа на сетевом графике изображается чаще всего вектором (дугой) и характеризует трудовой процесс, который требует времени и необходимых ресурсов (действительная работа), или фиктивная работа, то есть процесс, не требующий затрат ресурсов, но имеет определенную продолжительность. На сетевом графике фиктивная работа изображаются пунктиром вектора (дуги), отражающие логическую взаимосвязь между работами, то есть указывающие на то, что возможность начала одной работы зависит от результатов первой. События на сетевом графике изображаются обычно «кружком» и означают определенное состояние при выполнении работ. Различают начальное событие, то есть событие, за которым следует работа и конечное событие, то есть событие, которому предшествует данная работа.
Начальное событие отражает исходное состояние выполнения комплекса предстоящих работ, а завершающее событие отражает результаты выполнения всех работ. Расчет путей на сетевом графике осуществляется при определении последовательности работ, когда конечное событие каждой работы совпадает с начальным событием другой работы. Максимальный путь по итогам проводимых расчетов называется «критическим». Это означает то, что если необходимо проводить какие-либо работы, выходящие за пределы критического пути, тогда следует найти дополнительные ресурсы. Сетевое планирование осуществляется путем последовательного проведения расчетов этапов построения сетевой модели и оценки ее параметров. Расчеты проводятся в следующей последовательности: на первом этапе формулируется перечень работ, который необходим для решения поставленной задачи; на втором этапе устанавливается взаимосвязь между работами и технологическая последовательность их проведения; на третьем этапе идет процесс построения сетевого графика; на четвертом этапе осуществляется оценка продолжительности выполнения работ. Обоснованность проводимых расчетов при построении сетевых графиков определяется точностью исходных данных. Достоверные оценки продолжительности работ могут быть получены на основе предварительно созданных нормативов трудоемкости по отдельным работам. При отсутствии нормативной базы расчет продолжительности выполнения работ осуществляется на основе вероятностных экспертных оценок, которые даются исполнителями работ. Эксперты, как правило, дают три оценки: минимальную оценку продолжительности (tmin); максимальную оценку продолжительности (tmax); наиболее вероятностную оценку продолжительности (гнв).
Анализ методов и подходов оценки эффективности информационных технологий и постановка задач исследования
Использование интегрированной единой системы управления ресурсами компании может дать огромные преимущества предприятию в организации эффективного управления компанией, увеличения быстроты реакции на изменения внешней среды, повышении качества обслуживания клиентов. Владение подобной системой является довольно существенной статьей затрат компании, и польза от этих затрат должна быть тщательно рассчитана и проанализирована. Проблема оценки эффективности внедрения ИТ возникла с появлением автоматизированных систем управления (АСУ). Первые методические разработки появились в 1965-1969 годах. В то время были опубликованы: «Методика определения экономической эффективности применения ЭВМ в управлении производством» (Минск, ЦНИИТУ, 1967 г.); «Методы и практика определения эффективности капитальных вложений и новой техники» (вып. 16. М., «Наука», 1969 г.). Позднее появляются материалы по оценке экономической эффективности АСУ: «Методика определения экономической эффективности АСУ производством» (М., ЦНИИКА, 1970 г.); «Методика определения экономической эффективности автоматизированных систем управления производством» (М., НИИТЭХИМ, 1971 г.); «Временная методика определения экономической эффективности автоматизированных систем управления предприятием» (М., 1972 г.); «Методика определения фактической экономической эффективности АСУП» (Пермь, 1973 г.). В 1975 г. утверждается постановлением Государственного комитета Совета Министров СССР и президиума Академии наук СССР "Методика определения экономической эффективности автоматизированных систем управления предприятиями и производственными объединениями", разработанная на основе "Временной методики определения экономической эффективности автоматизированных систем управления предприятиями" (1972 г.). В 1977 г. постановлением ГКНТ СССР, Госплана СССР, Президиума АН СССР, Госкомитета по делам изобретений и открытий СМ СССР утверждена "Методика определения экономической эффективности использования в народном хозяйстве новой техники, изобретений и рационализаторских предложений". В начальный период появления АСУП (автоматизированная система управления предприятием) обоснование экономической целесообразности ее создания происходило по схеме, которая предназначалась для расчета экономической эффективности от внедрения новой техники в производство. Схема строилась на традиционном определении экономической эффективности капитальных вложений. Рассчитывался годовой экономический эффект путем сравнения исходных показателей по себестоимости и затрат на увеличение производственных основных и оборотных фондов с показателями, полученными после внедрения мероприятия по новой технике, и умножения полученных результатов на годовой объем производства. Однако, практика внедрения АСУП показала, что для оценки экономической эффективности требуется своя методология и специфические подходы.
Оказалось недостаточным рассматривать создание АСУ только как внедрение новой техники в производство. Были установлены факторы, действие которых определяло эффективность автоматизации управления. Считалось, что экономическая эффективность АСУ на базе ЭВМ обеспечивается за счет следующих факторов: высокой скорости выполнения операций по сбору, передаче, обработке и выводу информации за счет высокой производительности средств; применения современных методов планирования, обеспечивающих рациональное использование производственных ресурсов; непрерывного оперативного контроля над ходом выполнения плана на основе своевременной и достоверной информации о состоянии производства; повышения качества учета, планирования, контроля и регулирования. Среди многообразия способов оценки эффективности информационных проектов можно выделить два основных подхода: традиционный подход. Данный подход основан на оценке непосредственной (прямой) финансовой отдачи от проекта и опирается на предположении, что практически все преимущества от внедрения информационной системы можно напрямую подсчитать; комбинированный подход.
Его суть состоит в том, что производится оценка как финансовых эффектов от внедрения информационной системы (снижение стоимости и продолжительности операционных процессов), так и нефинансовой составляющей (повышение: лояльности клиента, ускорение темпов вывода на рынок новых продуктов, повышение качества управленческих решений.
Дисконтирование потоков денежных средств на предприятии
Денежные потоки представляют собой совокупность денежных средств, поступающих на счета организация или в кассу по мере реализации проектов (входящий денежный поток) и выплачиваемые денежные ресурсы (выходной денежный поток).
Выходной денежный поток представляет собой величину финансовых результатов от реализации проектов. Источниками образования входного денежного потока являются выручка от реализации продукции (услуг), кредиты и заемные средства внешних банковских структур, акционерный капитал, привлекаемый за счет дополнительной эмиссии акций, прочие внереализационные доходы.
Выходной денежный поток состоит из инвестиционных затрат, текущих финансовых платежей по проекту, которые включают производственно-сбытовые издержки без учета амортизационных отчислений на основные активы, платежи за кредиты и заемные средства, налоги, прочие платежи из прибыли.
Чистый денежный поток (Cash Flow) рассчитывается как разность между реальным притоком и реальным оттоком денежных средств за определенный интервал времени при инвестиционном процессе: где: NCFt - чистый денежный поток в t-м интервале времени; CIFt - входной денежный поток в t-м интервале времени; COFt - выходной денежный поток в t-м интервале времени. В качестве интервала инвестиционного периода могут быть приняты месяц, квартал, год.
Инвестиционные проекты, как правило, имеют различную интенсивность денежных потоков в течение отдельных интервалов времени. На первоначальном этапе чистый денежный поток может быть отрицательным. Положительное значение он принимает на стадии эксплуатации проекта, когда текущие поступления превышают размеры текущих платежей.
При оценке эффективности инвестиционных проектов следует учитывать постоянно меняющуюся ценность денежных потоков, которые организация затрачивает или получает в различные моменты времени. Соизмерение во времени денежных потоков осуществляется с помощью их дисконтирования, то есть процедуры приведения денежных потоков к единому моменту времени. Точкой приведения в экономических расчетах, как правило, принимается момент, который соответствует началу инвестиционного процесса, то есть к началу инвестирования проекта. Схема приведения текущего аналога денежных потоков к первоначальному моменту времени инвестирования приведен на рис. 2.2.
Процедура дисконтирования состоит в умножении денежных потоков, имеющих место на t-м интервале времени инвестиционного проекта на коэффициент дисконтирования. Коэффициент дисконтирования определяется (ott) следующим образом:
Экономический подход, основанный на процедуре дисконтирования базируется на предположении, что потенциальный инвестор, который имеет в определенный момент времени сумму денежных средств (PV) может их вложить в некоторый источник накопления средств. Например, депозитный счет в банке, который гарантирует вкладчику определенный доход в процентах за год. Тогда вкладчик через Т лет должен получить следующий доход:
Сумма PV для собственника капитала является эквивалентом суммы FV через t лет, а величина PV будет определяться следующим образом:
То есть сумма PV является текущим эквивалентом суммы FV, которая будет получена через t лет. Выбор ставки дисконта обусловлен конкретным инвестиционным проектом. Для установления величины ставки дисконта можно воспользоваться депозитным процентом по вкладам в надежный банк или процентом доходов по государственным облигациям, которые корректируются с учетом рисков. Ставка дисконтирования может быть изменена по желанию инвестора, но таким образом, чтобы обеспечить потери от возможных рисков.
Метод чистого дисконтированного дохода. В основе данного метода заложено следование основной целевой установке, определяемой собственниками компании - повышение ценности фирмы, количественной оценкой которой служит ее рыночная стоимость. Этот метод основан на сопоставлении величины исходных инвестиций (1С) с общей суммой дисконтированных чистых денежных поступлений, генерируемых ею в течение прогнозируемого срока. Поскольку приток денежных средств распределен во времени, он дисконтируется с помощью ставки г, устанавливаемой аналитиком (инвестором) самостоятельно исходя из ежегодного процента возврата, который он хочет или может иметь на инвестируемый им капитал.
Влияние факторов риска и неопределенности на эффективность инновационных проектов
Частные предприниматели, руководители акционерных обществ и фирм не могут позволить значительных ошибок при разработке инновационно -инвестиционных проектов. Поэтому, до начала реализации инвестиционного проекта с особой тщательностью проверяется обоснованность всех расчетов, положенных в основу определения инвестиционных издержек, текущих доходов и расходов. Наряду с этим учитываются возможные изменения в уровне цен, технике и технологии, продолжительности периода эксплуатации производственного объекта и другие факторы.
ИАИСУ разрабатывается, базируясь на вполне определенных предположениях относительно капитальных и текущих затрат, объемов реализации произведенной продукции, цен на товары, временных рамок проекта. Вне зависимости от качества и обоснованности этих предположений будущее развитие событий, связанных с реализацией проекта, всегда неоднозначно. Это основная аксиома любой предпринимательской деятельности. В этой связи практика инновационно-инвестиционного проектирования рассматривает в числе прочих, аспекты неопределенности и риска.
Инвестиционное решение называется рискованным или неопределенным, если оно имеет несколько возможных исходов. При оценке эффективности инновационно - инвестиционных проектов, связанных с ИАИСУ, рассматриваются такие ситуации, когда все возможные последствия любого рискованного решения известны, либо их можно предвидеть и, как следствие, рассчитать возможный результат от любого изменения ситуации. Для экономического анализа риска инвестиционных расходов в условиях неопределенности в экономической литературе рекомендуется использовать анализ безубыточности и динамичности, методы определения требуемой нормы прибыли, метод определения вероятностей исходов и ряд других методов.
Рассчитывая эффективность инновационно - инвестиционных проектов, необходимо учитывать, что их реализация происходит в условиях неопределенности, то есть неполной, неточной и изменяющейся информации по предприятию, реализующему инновационно - инвестиционный проект, финансовому состоянию инвесторов и кредиторов, экономической ситуации на внутреннем и внешнем рынках. В широком смысле наличие риска свидетельствует о возможности изменения показателей эффективности инвестиционного проекта в различных направлениях от некоторых средних значений.
Поскольку для всех участников инвестиционного проекта прежде всего важно выявить и снизить возможность негативных отклонений показателей его эффективности, то, как правило, риск рассматривается в более узком смысле, т. е. как возможность ухудшения проектных экономических показателей. В Методических рекомендациях по оценке эффективности инвестиционных проектов под риском понимается «возможность возникновения таких условий, которые приведут к негативным последствиям для всех или отдельных участников проекта». Если для какого-то инновационно - инвестиционного проекта разработан основной вариант его реализации, то с учетом наличия факторов риска и неопределенности показатели его эффективности называются ожидаемыми. При этом базисный вариант инновационно - инвестиционного проекта основывается на умеренно пессимистических оценках показателей эффективности проекта.
Организационно-экономическая система реализации проекта должна включать специальные механизмы, позволяющие снизить риск или уменьшить связанные с ним неблагоприятные последствия. В этих целях рекомендуется разрабатывать правила поведения работников при возникновении неблагоприятных ситуаций, а также специальные механизмы стабилизации (за счет дополнительных затрат на создание резервов и запасов, совершенствования технологии, материального стимулирования повышения качества продукции и др.).
Для учета факторов неопределенности и риска при оценке эффективности проекта используется вся имеющаяся информация об условиях его реализации, в том числе и не выражающаяся в форме каких-либо вероятностных законов распределения. При этом могут использоваться следующие три метода (в порядке повышения точности):
1. Проверка устойчивости: корректировка параметров проекта и экономиче ских нормативов, формализованное описание неопределенности. Метод провер ки устойчивости предполагает разработку сценария реализации инновационно инвестиционного проекта в наиболее вероятных или наиболее «опасных» для ка ких-либо участников условиях. Влияние факторов риска на норму дисконта при этом не учитывается. Проект считается устойчивым и эффективным, если во всех рассмотренных ситуациях интересы участников соблюдаются, а возможные неблагоприятные последствия устраняются за счет созданных запасов и резервов или возмещаются страховыми выплатами. Степень устойчивости по отношению к возможным изменениям условий реализации проекта может быть охарактери зована показателями предельного уровня объемов производства, цен производи мой продукции и других параметров проекта. Предельное значение параметра проекта для года его реализации t определяется как такое значение этого пара метра в t-ом году, при котором чистая прибыль данного года становится нуле вой. Одним из наиболее важных показателей этого типа является точка безубыточности, характеризующая объем продаж, при достижении которого выручка от реализации продукции равна сумме издержек производства.
Комов Илья Сергеевич
УДК 338.23
разработка системы критериев
и методических подходов
к экспертной оценке эффективности
деятельности научных организаций*
с. В. ПРОНИЧКИН, кандидат технических наук, старший научный сотрудник E-mail: pronichkin@mail. ru Институт системного анализа РАН И. П. ТИХОНОВ, кандидат технических наук, ведущий научный сотрудник E-mail: 8tat@mail. ru Институт химической физики РАН
В статье представлены результаты сравнительного анализа существующих подходов к оценке эффективности деятельности научных организаций в России и за рубежом. Для оценки эффективности деятельности научных организаций предложено использовать вербальные экспертные методы, которые не требуют проведения громоздких и трудоемких вычислений множества числовых показателей и весовых коэффициентов, основываются на предлагаемой оригинальной системе качественных критериев.
Ключевые слова: критерий, вербальный анализ решений, экспертиза, компетентность.
Экономика современных промышленно развитых стран все в большей степени основывается на знаниях, которые воплощаются в результатах научно-технической деятельности. Одним из главных источников развития научно-технического комплекса России, его реструктуризации, модернизации и устойчивого подъема при переходе к инновационному типу развития являются результаты фунда-
* Статья подготовлена при поддержке РФФИ (проект № 12-07-00509).
ментальных исследований. Большинство государственных инвестиций в исследования и разработки фундаментального характера имеют своей целью содействие расширению фундаментальной базы знаний. Оценка эффективности деятельности научных организаций позволит различным федеральным органам более эффективно разрабатывать политику развития научного комплекса России .
Анализ опыта деятельности научных организаций зарубежных стран показал, что можно выделить два подхода к оценке эффективности их деятельности, которые лучше рассмотреть на примере. Обратимся сначала к опыту Европы (выделим Великобританию), а затем рассмотрим опыт России.
Фундаментальными исследованиями в Великобритании занимаются так называемые классические университеты. Оценка их деятельности осуществляется регулярно, раз в три года университет направляет на экспертизу отчет, в котором указывает наиболее значимые результаты своей деятельности. Отчет поступает на экспертизу (peer review), которая является анонимной с двух сторон (double blind). В качестве экспертов выступают ведущие
специалисты от бизнес-сообщества и ученые из образовательных учреждений.
Научная деятельность в Великобритании оценивается по полученным результатам с использованием всего трех критериев :
1) новизна, значимость и глубина проработки;
2) масштабность результата исследования;
3) конкурентоспособность.
Каждый из критериев имеет пять градаций оценок. Каждая градация имеет словесное описание применительно к конкретной сфере научного знания (например, физика, химия, социология). Всего выделено 36 областей научного знания.
Критерию сопоставлен коэффициент его важности: 1 - 0,65; 2 - 0,2; 3 - 0,15.
Градации шкалы критерия сопоставлены баллы: 0, 1, 2, 3, 4, 5.
Подход к оценке результатов научной деятельности в Великобритании основывается исключительно на экспертных количественных оценках.
Рассмотрим российский опыт. Согласно официально принятой типовой методике, утвержденной приказом Министерства образования и науки РФ от 14.10.2009 №№ 406, оценка результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, проводится на основе анализа и сопоставления показателей результативности их деятельности . Оценка проводится ежегодно, причем установлены шесть основных направлений оценки, по каждому из них выбраны несколько критериев и соответствующих количественных показателей:
1) научный потенциал и эффективность научных исследований;
2) вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;
3) коммерциализация и прикладное значение результатов исследований;
4) кадровая обеспеченность научной организации;
5) ресурсная обеспеченность научной организации;
6) состояние финансовой деятельности научной организации.
Предусматривается также, что возможна одновременная оценка группы научных организаций, имеющих сходные цели, работающих в одной области науки или осуществляющих деятельность в
сходных условиях (референтные группы). Однако отсутствуют ясные правила формирования референтных групп, в типовой методике указывается, что референтые группы формируются по мере необходимости. В референтной группе организации сравниваются по общим для всех организаций показателям.
В указанные шесть групп критериев включаются исключительно количественные «измеримые» показатели, а именно: удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ; число публикаций работников научной организации, индексируемых в базе данных Web of Science; число охраняемых объектов интеллектуальной собственности.
Подход к оценке результатов научной деятельности в России основывается исключительно на количественных показателях.
Отметим ключевые методологические отличия официального подхода к оценке деятельности научных организаций, принятого в России, по сравнению с подходом, принятым в Великобритании.
В России не учитывается длительность цикла производства фундаментального научного результата. Если взять такие области знания, как физику, химию, биологию, то длительность цикла научного исследования и соответственно публикация его результатов, как правило, занимает гораздо больше времени, чем для гуманитарных наук (например экономики). Таким образом, классифицировать и ранжировать научные организации разных профилей по числу публикаций просто нецелесообразно, поскольку они практически несравнимы.
Отличительной особенностью подхода в России является большое количество показателей оценки - 48. Такое количество показателей создает известные трудности по их сбору, обработке и анализу, причем предопределяет невозможность выделить главное. Видимо, кто-то основывается на вере в то, что с помощью большого числа показателей в науке можно что-то точнее охарактеризовать. Однако получается, что «вместе с водой выплескиваем и ребенка»: хотели как лучше, а получается как всегда. Обстоятельная критика такого подхода, применяемого в настоящее время для оценки высших учебных заведений категории «национальный исследовательский университет», представлена в работе С. В. Проничкина, В. И. Круглова, В. П. Соловьева, А. И. Кочетова .
В работе А. Ф. Яковлева справедливо отмечено, что ряд показателей типовой методики не могут быть применены при оценке социогумани-тарных исследований: патентные исследования, коммерциализация результатов и взаимодействие с реальным сектором экономики. Эти показатели должны быть заменены на другие, релевантные гуманитарным исследованиям.
Важно отметить, что системы оценки в России и Великобритании не разделяют науку на фундаментальную и прикладную. Если это фундаментальная наука, то нужно оценивать качество фундаментальных результатов, практическое использование которых часто трудно представить. А если это прикладные исследования, то надо оценивать те практические результаты, которые получены.
Ключевым недостатком подходов как в России, так и в Великобритании является то, что и те и другие используют так называемый количественный подход, основанный на числовом измерении показателей, которыми характеризуются объекты. Однако, несмотря на кажущуюся простоту и очевидность, количественный подход мало пригоден для работы с качественными характеристиками, ведь он содержит целый ряд методологических дефектов. Укажем наиболее важные из этих дефектов.
Практически невозможно априори назначить количественные шкалы оценок, сопоставив качественным факторам какие-либо числа так, чтобы они «правильно» и «объективно» выражали плохо формализуемые свойства научно-технических результатов и одинаково понимались разными людьми.
При этом не существует никакой содержательной аргументации в пользу выбора той или иной градации шкалы числовых оценок (например, использование шкалы с градациями 1-2-3, 1-3-5-7-9 или др.). Более того, как было убедительно показано, использование порядковых шкал, имеющих разные числовые шкалы, даже по одним и тем же критериям может привести к совершенно разным итоговым упорядочениям и разбиениям на классы исходной совокупности объектов. Тем самым, задавая произвольные градации оценок на шкалах, можно получить любую наперед заданную ранжировку и любую классификацию многопризнаковых объектов.
Наконец, при использовании шкал числовых оценок появляется искушение сформулировать один «простой» и «понятный» итоговый показатель, агрегирующий частные оценки (который
обычно задается в виде суммы, взвешенной суммы или некоторой усредненной оценки), по величине которого и проводится сравнение объектов. В этом случае происходит смешение разнородных показателей, важных и неважных факторов, оценок разных экспертов, что делает невозможным выделение наиболее значимых для выбора показателей, увеличивает возможность присвоения содержательно незначительным результатам научных организаций достаточно высоких итоговых оценок.
Предлагаемые в существующих методиках многочисленные числовые коэффициенты, получаемые, как правило, экспертным путем, а также огромный спектр оцениваемых параметров не только значительно усложняют процесс мониторинга и вычисления интегральной оценки, но и затрудняют объяснение вычисленных значений оценки. Поэтому достоверность получаемых результатов не может считаться достаточной для принятия решений о финансировании исследований за счет средств федерального бюджета.
Практика мониторинга деятельности научных учреждений, выполняющих фундаментальные и прикладные исследования, требует достаточно простой, понятной и недорогой в использовании методологии оценки эффективности их деятельности.
Анализ числовых показателей, используемых в типовой методике, позволяет определить состояние отдельных направлений деятельности научной организации, выделить ее «сильные и слабые стороны». Гораздо сложнее при таком подходе провести сравнительный анализ нескольких организаций. На сегодняшний день задача разработки адекватного методического подхода к определению обобщенных итоговых показателей для сравнительного анализа эффективности научных организаций по существу остается актуальной.
Эффективность деятельности научной организации (эффективность ее результатов) наиболее адекватно можно характеризовать исключительно разнообразными качественными показателями. При этом требуемая информация о разных аспектах результата деятельности научной организации может быть получена, главным образом, по результатам экспертизы.
В исследованиях А. Б. Петровского, Г. В. Рой-зензона, И. П. Тихонова, А. В. Балышева, Э. Н. Яковлева для оценки деятельности научных организаций используется разработанная специалистами
экспертно-аналитического центра Минобрнауки России и Института системного анализа РАН система из 11 качественных критериев, объединенных в две группы: 1) оценки научной деятельности (НД); 2) оценки финансово-экономической деятельности. Группа оценки НД включает пять критериев:
1) уровень научных результатов;
2) признание научных результатов;
3) квалификация научных кадров;
4) возраст научных работников;
5) степень обновления научного оборудования.
Среди этих критериев важнейшим является
первый - «Уровень научных результатов», ведь именно результаты, собственно научная продукция, являются первоосновой при оценке эффективности научных организаций. Поэтому применительно именно к этому критерию рассмотрим далее возможности применения адекватных методов оценки.
В данной работе предлагается новый подход к многокритериальной экспертной оценке и анализу эффективности деятельности научных организаций. Предлагаемая методология основывается на групповом упорядочивании многопризнаковых объектов с использованием оригинальных методов вербального (качественного) анализа решений .
Вербальный анализ решений представляет собой относительно новый подход в теории и практике многокритериальной оценки и сравнения альтернатив. Он разрабатывается в течение многих лет в Институте системного анализа РАН сначала под руководством академика РАН О. И. Ларичева, а затем доктора технических наук А. Б. Петровского, причем успешно применяется при решении различных задач. Особенностью этих задач является описание рассматриваемых объектов (вариантов, альтернатив) при помощи многих признаков как количественных, так и качественных (последние играют не меньшую роль, чем первые). Степень достижения требуемого значения показателя качества измеряется многими критериями с вербальными шкалами.
В развитие упомянутых исследований для более детальной оценки результатов научных организаций в рамках критерия «Уровень научных результатов» была разработана система, состоящая из семи качественных критериев:
1) характер результата:
Теоретический результат;
Экспериментальный результат, имеющий материальное воплощение и направленный на
создание и совершенствование промышленных технологий и продукции;
Информационный результат, не имеющий материального воплощения и направленный на создание и совершенствование социальных технологий;
Результат опытно-конструкторской разработки;
Тестирование, испытание, апробация;
2) вид результата:
Автоматизированный комплекс;
Агрегат;
Алгоритм;
Аппарат;
База данных;
Другие виды;
3) вклад результата в решение основных задач научной организации:
Результат вносит существенный вклад в решение основных задач научной организации;
Результат вносит определенный вклад в решение основных задач научной организации;
Результат вносит некоторый вклад в решение основных задач научной организации;
Результат не влияет на решение основных задач научной организации;
4) вклад результата в решение социальных проблем:
Создание условий для повышения качества жизни;
Повышение уровня образованности и информированности населения;
5) востребованность результата:
Актуальность результата;
Уровень научно-технической значимости результата;
Уровень конкурентоспособности результата;
Возможный спрос на результат;
Возможная сфера использования результата;
Возможный масштаб применения результата;
6) практическая реализуемость результата:
Степень проработки результата;
Возможность тиражирования результата;
Уровень правовой охраны результата;
Возможные сроки практической реализации результата;
7) готовность потребителей к освоению результата:
Готовность производственной базы к освоению результата;
Готовность производственного персонала к освоению результата;
Готовность системы материально-технического обеспечения к освоению результата;
Наличие финансовых средств для освоения результата;
Наличие опыта освоения результата.
Первые два критерия классифицируют результаты по характеру и виду. Третий критерий учитывает непосредственный вклад результата в решение основных задач научной организации. Четвертый критерий дает оценку вклада результата научной организации в решение социальных проблем. Пятый критерий позволяет получить оценку востребованности результата научной организации.
Возможность практической реализации результата научной организации служит основой научно-технического прогресса . Для оценки практической значимости результата предназначены шестой и седьмой критерии.
Критерии с четвертого по седьмой включают в себя подкритерии, их характеризующие.
Для каждого критерия (подкритерия) была разработана вербальная шкала с небольшим числом градаций, обеспечивающих ясную различимость оценок. Например, шкала подкритерия «Актуальность результата» имеет такой вид:
Требуется безотлагательное применение результата;
Результат потребуется в ближайшее время;
Результат потребуется в отдаленной перспективе;
Оценить неотложность применения результата затруднительно.
Для организации и проведения экспертизы результатов научных организаций разработаны методические рекомендации, в которых нашли отражение следующие ключевые моменты:
1) общие положения;
2) цели, задачи и принципы экспертизы;
3) объекты и субъекты экспертизы;
4) порядок проведения экспертизы;
5) нормативно-методическое обеспечение экспертизы;
6) организационно-техническое и финансовое обеспечение экспертизы.
Объектами экспертизы служат результаты научных организаций. Для инвентаризации и анали-тико-информационного представления результатов создается специализированный реестр, который
обеспечивает автоматизированный поиск требуемых данных по критериям оценки результатов, другим ключевым показателям и индикаторам. Организационно-методическое обеспечение, предназначенное для построения и ведения реестра результатов научных организаций, предусматривает реализацию следующих положений:
1) цели и основные принципы создания и функционирования реестра;
2) структура реестра;
3) права и обязанности держателя реестра;
4) пользователи реестра и их взаимоотношение с держателем реестра;
5) ликвидация реестра.
Субъектами экспертизы выступают эксперты - известные ученые и специалисты, работающие в институтах РАН, высших учебных заведениях, отраслевых научных организациях. Отбор экспертов представляет собой достаточно сложную задачу, от решения которой в значительной мере зависит эффективность использования методов сбора и обработки суждений экспертов и, в конечном итоге, качество экспертизы в целом и корректность решений, принимаемых на базе экспертных заключений.
Определенную помощь при отборе экспертов может оказать сопоставление кандидатов в эксперты по индивидуальным качествам, которыми должен обладать, по мнению психологов и специалистов по проведению экспертиз, «идеальный» эксперт . При формировании реестра экспертов целесообразно учитывать их компетентность, которую можно оценить, например, по следующим показателям:
1) профиль и уровень образования;
2) связь профиля профессиональной деятельности с областью экспертизы;
3) опыт и стаж работы по профилю;
4) характер и уровень проблем, рассмотренных ранее экспертом, выполненных экспертиз, сбывшихся прогнозов.
Процедура экспертизы результатов научных организаций предусматривает индивидуальную работу экспертов по многокритериальной оценке результатов и анализ итогов экспертизы по различным критериям.
В целях повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает полученный научный результат по критериям, приведенным в экспертной анкете, а также
дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Результатами индивидуальной экспертизы являются многокритериальная экспертная оценка научного результата и письменное экспертное заключение.
Формализацию понятия «эффективность деятельности научной организации» предлагается рассматривать как задачу классификации многопризнаковых объектов, где объектами служат различные комбинации вербальных оценок результата организации по приведенным выше критериям, а классами решений являются различные градации интегрального критерия «Эффективность деятельности научной организации». Градации порядковой шкалы интегрального (комплексного) критерия эффективности деятельности организации определяют агрегированные упорядоченные оценки результата по критериям, которые характеризуют деятельность как высокоэффективную, эффективную или низкоэффективную.
Ранжирование результатов научных организаций предлагается осуществлять, используя метод группового упорядочения объектов АРАМИС (агрегирование и ранжирование альтернатив относительно многопризнаковых идеальных ситуаций) . Метод основан на расчете близости объекта к идеальному объекту, имеющему наилучшие/наихудшие оценки по всем критериям, данными всеми экспертами. Преимущество метода АРАМИС заключается в том, что он позволяет ранжировать объекты, которые оценены несколькими экспертами по многим качественным критериям, без построения индивидуальных ранжировок, причем исключает необоснованную трансформацию исходной вербальной информации в числовую форму.
В заключение следует отметить, что предлагаемые методические подходы и система критериев представляют собой прозрачный механизм оценки деятельности научных организаций по их результатам. Методические подходы не требуют проведения громоздких и трудоемких вычислений сотен числовых показателей и весовых коэффициентов. Данная работа будет продолжена в дальнейшем в направлении детализации остальных критериев оценки результатов деятельности научных организаций.
Список литературы
1. Ларичев О. И. Вербальный анализ решений / под ред. А. Б. Петровского. М.: Наука, 2006.
2. Многокритериальный анализ деятельности научных организаций / А. Б. Петровский, Г. В. Рой-зензон, И. П. Тихонов, А. В. Балышев, Э. Н. Яковлев // XIII Национальная конференция по искусственному интеллекту с международным участием (КИИ-2012). Труды конференции. Т. 3. Белгород: Изд-во БГТУ. 2012. С. 64-71.
3. Неволин И. В., Хрусталёв О. Е., Хрус-талёв Ю. Е. Методология оценки финансовой значимости и реализуемости инновационных проектов создания интеллектуальной продукции // Финансовая аналитика: проблемы и решения. 2013. № 11 (149). С. 39-45.
4. Проничкин С. В., Круглов В. И., Соловьев В. П., Кочетов А. И. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет» // Высшее образование сегодня. 2010. № 7. С. 6-16.
5. Петровский А. Б. Теория принятия решений. М.: Изд. центр «Академия», 2009.
6. Проничкин С. В. Разработка компетентнос-тной модели эксперта для независимой оценки образовательной деятельности вузов // Сб. мат-лов Международной межвузовской и институтской научно-технической конференции «64-е дни науки студентов МИСиС», 14-21.04.2009, ГТУ ВПО «Московский институт стали и сплавов «МИСиС». М.: МИСиС, 2009. С. 399-400.
7. Рощин А. В., Тихонов И. П., Проничкин С. В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10-18.
8. Типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения: утверждена приказом Министерства образования и науки РФ от 14.10.2009 № 406.
9. Яковлева А. Ф. Об основных подходах к оценке результативности научных исследований в России // Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований / Ин-т философии РАН; сост. и отв. ред. А. В. Рубцов. М. : ИФРАН, 2012. С. 144-156.
10. Higher Education Funding Council for England, Research Assessment Exercise 2014 «Assessment criteria and level definitions». Bristol: HEFCE, 2013.
Система показателей работы организации позволяет собственнику, руководителю и сотрудникам оценивать эффективность своих действий. Поэтому её разработка является одним из факторов эффективного управления.
На практике система показателей работает следующим образом. Вы можете планировать показатели, которые компания должна достигнуть. После выполнения проекта вы можете сравнить запланированные показатели с фактическими. Это позволяет сказать, насколько эффективной была работа. Любой опыт, как негативный, так и позитивный можно использовать для улучшения работы компании.
Ваши сотрудники, имея систему показателей, получают дополнительный стимул - они стремятся выполнить свои действия так, чтобы количественные показатели, зависящие от их работы, были достигнуты.
Таким образом, система показателей работы имеет значение .
Показатели работы компании и отдельного процесса
Для начала, прежде чем создавать систему показателей, их следует разделить. Для анализа работы компании будут одни показатели, для оценки процесса или задачи другие. Такое разделение необходимо для эффективного контроля. Текущий контроль, обычно, применяется для оценки показателей процесса. Заключительный контроль применяется для оценки работы компании по общим показателям за период.
В большинстве случаев показатели процесса и общие для компании могут быть взаимосвязаны. Например, срок выполнения задачи и затраты по компании за период. Если сотрудник или рабочая группа, по каким-то причинам, выполняли задачу дольше, то это отображается на затратах и прибыли. Это позволяет говорить о том, что, контролируя и влияя на текущие процессы, можно влиять на общие результаты работы компании.
Прибыль, затраты и не только
Экономический результат является едва ли не главным для оценки работы компании. Эти результаты не только греют душу собственника, но и упрощают получение кредитов, инвестиций для развития, открытия нового направления.
Прежде всего, к экономическим результатам относится прибыль. Обычно принято рассчитывать прибыль до налогообложения. Прибыль является ключевым показателем деятельности компании за период и характеризует её успех на рынке. Часто, вместе с прибылью, пользуется относительный показатель, который называется рентабельностью. Рентабельность в большинстве случаев - это отношение валовых затрат к чистой прибыли, измеряется в процентах. Грубо говоря, вы узнаёте, сколько прибыли вам приносит каждый рубль вложенных средств. Процентный показатель рентабельности (прибыльности) в анализе не отделим от абсолютного показателя прибыли, выраженного в рублях (валюте).
Рынок ограничивает стоимость товара. Вряд ли получится продать аналогичный товар по цене, выше рыночной. Поэтому имеет смысл устанавливать в качестве показателя величину затрат. Данный показатель будет наглядно демонстрировать, сколько тратит ваша компания и, при необходимости, эти затраты можно уменьшать, путём экономии или оптимизации. Но можно и увеличивать, в таком случае увеличение затрат должно нести определённый эффект. Затраты принято структурировать (калькулировать) по зонам возникновения затрат, что облегчает анализ.
Если вы используете кредиты, инвестиции, то имеет смысл рассчитывать рентабельность (прибыльность) этих средств. А также рассчитывать прибыль на инвестиционные или кредитные средства. Данный показатель позволит вам оценить эффективность использования этих средств, а значит, целесообразность их привлечения.
Для небольшой и средней компании этими показателями можно, в большинстве случаев, ограничиться при анализе эффективности работы, управлении и контроле.
Количественно-объёмные показатели
К таковым показателям относятся следующие: количество продаж, количество произведённого товара, количество товара находящегося на складе и т.п. Это имеет смысл там, где присутствует товарный оборот. Эти показатели часто используют при анализе ассортимента, эффективности работы отделов сбыта по группам товара, а также при анализе закупок, если товар направляется на склад.
Для тех компаний, которые производят услуги, объективно использовать денежный эквивалент. Показатель "сделано три сайта", или "продано две программы" не имеет смысла. Лучше использовать показатели оборот, валовый доход - сумма средств, полученная от реализации товаров и услуг. Также имеет смысл устанавливать эквивалент, когда речь идёт о сложных продажах. Например, кроме поставки товара, компания осуществляет монтаж, обслуживание, совершенствует товар в течение его эксплуатации у клиента (например, компьютерные программы).
Нечисловые показатели
Об этих показателях работы более подробно в другой статье (Не измеряемые показатели). Если кратко, то это лояльность клиентов, сотрудников, степень удовлетворения, качество, конверсия и т.п.
Ответственность
При разработке системы показателей важно установить ответственных лиц и сделать это правильно. Кто отвечает за продажи? Отдел продаж? Нет. За объём продаж несут ответственность все, начиная от отдела закупок и заканчивая бухгалтерией, руководителем компании. В противном случае могут наблюдаться нежелательные конфликты, например, между отделом закупок и отделом продаж. Отдел закупок находит товар, закупает его и после этого отдел продаж должен его распродать, например, в течение месяца. А если не продадут? Причины для этого могут быть как субъективные, так и объективные. Например, ограниченный спрос, низкое качество товара, высокая конкуренция. Поэтому оставлять ответственность на отделе сбыта не совсем правильно.
Также следует назначать ответственных лиц за показатели отдельного процесса. Например, курьер отвечает за целостность упаковки и товара, программист за свою часть программного кода, менеджер колл-центра за выполнение стандарта приветствия, разговора с клиентом.
За общие показатели работы компании несёт ответственность руководитель. Осуществляя управление компанией и контроль, он может влиять на эти показатели.
Разрабатывая систему показателей, не старайтесь сильно углублять её. Чем больше показателей, тем сложнее контролировать работу, а полученные данные не всегда поддаются анализу. Поэтому в этой статье перечислены только основные показатели, которые будут необходимы вам в работе.