• Поиск:

издатель: ЮпокомИнфоМед

Ю. Т. Шарабчиев

Технология планирования и экспертизы научно-исследовательских работ

Минск

В настоящее время одним из основных факторов, сни­жающих эффективность научных исследовании, является несовершенство механизма планирования научно-исследова­тельских работ (НИР): 1) отсутствие конкурсности и кон­куренции научных идей при планировании НИР; 2) отсут­ствие научно обоснованных критериев оценки планируемых исследований; 3) отсутствие научно обоснованной системы формирования портфеля "социального заказа" со стороны заинтересованных заказчиков; 4) отсутствие "контрактной», «договорной» системы при планировании НИР; 5) ориентация исполнителей НИР не на конечные результаты (по­требности практики) и не на мировой уровень медицинской науки, а на возможности конкретного научного учреждения и его интересы: 6) отсутствие системы заинтересован­ности в качественном планировании и выполнении НИР, а также должного контроля за использованием выделенных финансовых, материальных и трудовых ресурсов; 7) тради­ционное планирование без проведения прогнозных разработок, предплановых исследований и необходимой экспертизы про­ектов планов НИР.

Отсутствие научно обоснованного механизма планирования НИР порождает такие явления, как многотемность, мелкотемье, неоправданный параллелизм и дублирование при проведении научных исследований, нерациональное распределение ресурсов.

С другой стороны, важной проблемой для создания действенного механизма отбора приоритетных направлений является обеспечение должной конкуренции в науке, ликвидация монополии на истину. Долгая борьба с дублированием, параллелизмом привела к значительному сокращению количества конкурирующих научных школ, что не может создать условий для конкурса идей в науке.

В связи с этим требуется разработка научно обоснованной системы планирования НИР, которая, с одной стороны, исключила бы дублирование, с другой — обеспечивала бы здоровую конкуренцию в науке, учитывала все этапы научно-исследовательского процесса — от зарождения научной цели до ее реализации, а также вопросы финансирования, стимулирования и ответственности за выполнение НИР и т. д. Таким образом, планирование следует расценивать как самостоятельное научное исследование, которое требует финансирования, времени, трудовых и материальных ресурсов. Результатом этого должен стать проект плана НИР, аргументированно показывающий оптимальные пути решения проблемы. Г. А. Лахтин с соавт. [11] также считают, что планирование науки должно иметь статус научной работы и финансироваться как самостоятельная НИР. Важный элемент в системе планирования НИР — экспертиза на всех этапах ее выполнения (предплановая экспертиза, экспертиза плана, экспертная оценка результата).

К. Л. Горфан [5] предусматривает следующие этапы перспективного и текущего планирования на уровне отрасли: выбор направлений, оценка и выбор тематики отраслевого плана, распределение ресурсов между выбранными направлениями, выбор коллективов исполнителей, определение потребности в научных кадрах, распределение средств между организациями и исполнителями.

Процессу планирования НИР должно предшествовать формирование научной политики в рассматриваемой области знания, определение приоритетных направлений и социального заказа, выявляемых с помощью формализованных и экспертных методов исследования [13, 14].

Система планирования НИР фактически представляет собой совокупность последовательно осуществляемых многократных экспертиз, каждая из которых включает следующие операции: сортировку, отбор, оценку, выбор. В оптимальном варианте процесс планирования должен включать этап предплановых исследований (предплановой экспертизы), осуществляемых разработчиками, и этап независимой экспертизы, проводимой группой независимых ученых-экспертов из сторонних учреждений (рисунок).

 

На первом этапе ученые-разработчики осуществляют отбор и оценку научных достижений в доступных информационных источниках, оценивают передовой опыт, на основе чего формируется первоначальная идея, концепция плана НИР. Экспертная оценка идеи (концепции) плана НИР в сопоставлении с достигнутым уровнем науки, потребностями общества и научным потенциалом учреждения позволяет разработчику сформулировать проект плана НИР, в котором следует предусмотреть и этапы внедрения, возможную эффективность НИР. На втором этапе планирования группой ученых-экспертов осуществляется независимая экспертиза проекта плана НИР. При этом (с учетом степени компетенции и незаинтересованности экспертов) дается анализ предшествующих материалов и научных достижений, которые сопоставляют с предложенной идеей, потребностями в ней общества, возможностями ее реализации и предполагаемым эффектом. В процессе независимой экспертизы упор делается на выявление реальных возможностей предполагаемого разработчика и планируемой НИР, ожидаемый эффект и социально-экономические последствия внедрения разработки.

Один из основных источников повышения эффективности науки — оценка и отбор альтернативных тем, имеющих наиболее важное значение и соответствующих "социальному заказу". Реальный конкурс научных тем и идей, прошедших этап предплановой экспертизы на основе независимой экспертизы, а не "конкурс" научных авторитетов и лабораторий, ищущих себе применение, создает условия для планирования научных исследований на принципиально новой основе.

Как правило, планирование НИР осуществляют: а) от достигнутого уровня; б) по конечным целям; в) по ресурсным возможностям. Нередко практика планирования НИР базируется на одном критерии — доверии к их авторам. В связи с этим крайне важной является проблема адекватности выбранных критериев оценки планируемых НИР.

Расчеты показывают, что дублирование в медицинской науке колеблется от 5 до 29% [1]. В.Н. Архангельская и З.П. Кабанова [3] считают, что затраты на дублирование научных разработок составляют 30% общего объема фи­нансирования НИР. По мнению Е.И. Киссель [8], на рабо­ты по неверно поставленным целям расходуется более по­ловины ресурсов, направляемых в науку. Неудивительно, что зарубежные промышленные фирмы затрачивают на пред­плановые исследования, в том числе на прогнозирование, около 2% ассигнований, выделяемых на научные исследования и разработки. За счет своевременного использования на прак­тике обоснованных прогнозных оценок получается 5-10-кратная отдача [6]. В 1976 г. расходы Национального ин­ститута здоровья (НИЗ) США на экспертизу планируемых НИР достигли 15,8 млн долларов, что составило около 1% объема затрат на научные исследования. При выполнении программы "Аполлон"экспертиза альтернативных вариан­тов потребовала 1 млн человеко-часов экспертных исследо­ваний, что позволило реализовать программу на год-полтора раньше намеченных сроков и на 10 — 20% дешевле.

С 1955 г. в США была разработана и апробирована 41 модель экспертизы НИР. Модели различались по критериям, с помощью которых осуществлялся выбор, и по использованному математическому аппарату.

При выборе оценки и приоритетной тематики Б. Ф. Зайцев и Б. А. Лапин [7] предлагают следующие критерии: экономическая эффективность, время и технический уровень разработки, ее влияние на технический уровень производства, стоимость разработки, вероятность решения поставленной задачи. Каждый критерий авторы оценивали по трехбалльной шкале.

Для выбора перспективных тем К. Л. Горфан [5] пользовался более чем 30 показателями, характеризующими саму тему (перспективность, новизна, охраноспособность) и ресурсное обеспечение и промышленную реализацию (спрос, наличие аналогичной продукции и т. д.).

Для характеристики нововведений можно использовать следующие критерии: новизна (радикально новая, не имеющая аналогов продукция; новая продукция; продукция, частично модифицированная при сохранении основных характеристик); уровень использованной идеи (на основе открытия, изобретения, рацпредложения и т. д.); масштабность применения новшеств; себестоимость и т. п.

Проблема совершенствования оценки и экспертизы планируемых и выполненных НИР предполагает наличие показателя, характеризующего отношение уровня развития науки к производству (к практике), в качестве которого может выступать показатель наукоемкости. Он рассчитывается двумя способами: как отношение затрат на научные исследования к валовой продукции отрасли или расходов на ее содержание за год (Но) и как отношение численности трудовых ресурсов, занятых в отраслевой науке и на производстве (Нт). Показатель отраслевой наукоемкости может использоваться при проведении международных и межотраслевых сопоставлений уровня науки и производства.

Наукоемкость медицинских исследований в СССР в 1970-1984 гг. колебалась в пределах от 1,5 до 1,9 (общая наукоемкость) и от 7,8 до 9,0 (трудовая наукоемкость), т. е. была существенно выше, чем в пищевой, легкой и нефтехимической промышленности, но ниже, чем в приборостроении, электротехнической промышленности, химическом машиностроении. Однако в последние годы отмечается снижение наукоемкости медицинской науки, что связано с уменьшением численности научных сотрудников и финансирования.

Для построения многофакторной модели, оценивающей планируемую НИР, Г. А. Лахтин [9, 11] на первом этапе устанавливает перечень использованных показателей (оцениваемых факторов), на втором — весовые коэффициенты по каждому показателю, на третьем — шкалу по каждому фактору, на четвертом несколько экспертов непосредственно осуществляют экспертизу НИР. Поскольку эксперты не могут быть одинаково компетентными по всем разделам, они осуществляют самооценку своей компетентности по каждому фактору. Затем самооценки преобразуются в дробные коэффициенты, снижающие величины оценок по тем факторам, в отношении которых эксперт не чувствовал уверенности в своей компетентности.

За рубежом вопросам целенаправленного формирования научной политики, прогнозированию, выявлению приоритетов и экспертизе планируемых НИР придается исключительно важное значение. Эта деятельность специально финансируется, создаются специализированные фонды, комитеты и центры. Процесс планирования НИР регламентируется через финансирование, организация которого позволяет осуществлять работу с тремя бюджетами: текущий расходуется, бюджет на следующий год проводится через комитеты санкционирования и ассигнований, перспективный планируется для представления комитетам. Это обеспечивает возможность качественной многоступенчатой экспертизы НИР и оперативного выделения средств до начала финансового года.

Система экспертизы НИР в США является децентрализованным механизмом принятия решения по финансированию научных исследований и направлена на обеспечение отбора наиболее перспективных проектов. Система гарантирует независимость экспертизы и призвана стимулировать высокую активность исследователей, высокий уровень проводимых работ, поскольку ученый, не добившийся в течение ряда лет значительных результатов, имеет с каждым годом все меньше шансов на получение финансовой поддержки. Предполагается введение системы стимулов, которые в процессе подготовки заключений побуждали бы экспертов к выдвижению предложений для корректировки проектов. В США количество назначаемых экспертов зависит от стоимости программы, но в среднем собирается шесть мнений. Если мнения сильно расходятся, то по усмотрению директора программы проект может быть передан на дополнительную экспертизу в один из постоянных консультативных комитетов. Авторы проектов получают рецензии, но имена экспертов остаются для них неизвестными. Критерии выбора исследовательских проектов четко сформулированы и публикуются в официальных изданиях фонда, т. е. обеспечивается максимальная гласность.

Кроме того, экспертная служба занимается поиском более простых и экономных путей достижения поставленной цели (определяет оптимальную численность и состав творческого коллектива, сроки и этапы исследования, разрабатывает рекомендации по размещению отдельных циклов работ в системе научно-промышленных комплексов, осуществляет доработку проектной документации). Таким образом, экспертиза становится посредником между финансирующими организациями и соискателями субсидий.

Экспертные группы имеют в постоянном штате лишь одного работника (секретаря), остальные сотрудники привлекаются на время экспертизы и оплачиваются по гонорарам пропорционально количеству исследованных проектов [10]. Экспертиза планируемых НИР достаточно хорошо оплачивается. К примеру, даже стоимость рецензирования одной заявки при планировании НИР в Национальном институте здоровья (НИЗ) США в среднем превышает 900 долларов. Деятельность экспертных комиссий регламентируется специальным федеральным законом, а сама процедура принятия решений о субсидиях обсуждалась в конгрессе США в течение трех лет. Это свидетельствует о важном значении, придаваемом экспертизе НИР в США.

Одна из форм планирования и финансирования научных исследований в США — выделение средств по индивидуальным грантам, предоставляемым на основе открытого конкурса заявок. Гранты — это договоры на выполнение НИР, субсидии на обучение, стипендии для исследователей, коллективные соглашения.

Критериями для отбора предложений, под которые выдается грант, являются научный уровень предложения, квалификация исполнителей, оснащенность учреждения и возможность выполнения исследований. Для экспертизы предложений в НИЗ США создано около 100 комиссий, в каждую из которых входят 15—20 специалистов. Претенденты получают детальный отзыв и имеют возможность оспаривать решение комиссии. Заявка оформляется на 20 страницах, рассматривается учеными-администраторами и направляется в одну-две комиссии НИЗ. Комиссия заседает три раза в год по 2—3 дня; в год рассматривается около 75 заявок. У каждого претендента должна быть договоренность с институтом, который берется осуществить исследование при условии выделения средств. Это способствует отклонению слабых работ и рациональному использованию имеющихся ресурсов.

Система обсуждения предложений и присуждений грантов широко освещается в печати и носит конкурсный характер. Первоначальный срок выполнения проекта НИР и срок его продления — не более 3 лет. В деятельности НИЗ предусмотрен контроль за качеством выполнения контрактных исследований, разработана система штрафов и поощрения исполнителей.

Выдача грантов представляет собой систему временных контрактов с учеными-исполнителями темы НИР, после завершения которой ученые считаются уволенными. Получить постоянный контракт в США очень сложно. Так, например, в системе НИЗ только 10—15% исследователей работают по постоянному контракту [12].

При проведении предплановых исследований и экспертизы планируемых и завершенных НИР разработчиками и экспертами широко используются методы формализованного анализа документальных потоков (цитируемость, публикуемость, кластер-анализ, методы экспертной оценки ("Делфи", ПАТТЕРН анализ, морфологический анализ и т. д.)), а также методы системного анализа, которые призваны приводить в соответствие с характером проектов и друг с другом такие трудно соизмеримые параметры, как объем работ, численность творческих коллективов, состав специалистов, стоимость расходов и т. д.

Предлагаемая нами технология планирования НИР представляет собой многоступенчатый процесс, включающий в себя:

— прогнозирование;

— выявление приоритетных направлений и целей;

— предплановую проработку НИР;

— составление проекта плана НИР (проектирование НИР) и представление его в экспертный Совет.

Все эти этапы осуществляются соискателями финансирования НИР.

В свою очередь заказчик организует процессы последующей экспертизы и выбора НИР, подлежащих финансированию:

— формирование структуры экспертного Совета;

— оценка экспертов, их тестирование и определение рейтинга;

— утверждение экспертного Совета;

— предоставление членам экспертного Совета исчерпывающей информации о новейших достижениях мировой науки и практики (с этой целью создается проблемно-ориентированные банки данных).

По мнению В. А. Александрова [2], эксперт должен отвечать следующим требованиям:

— высокий уровень общей эрудиции;

— глубокие специальные знания в оцениваемой области;

— способность к адекватному отображению тенденций развития исследуемого объекта;

— наличие психологической установки на будущее;

— академический научный интерес к оцениваемым проблемам при отсутствии практической заинтересованности как специалиста в данной области;

— относительная стабильность оценки во времени при отсутствии дополнительной информации (дополнительная информация должна влиять на оценку).

В. А. Александров [2] описывает следующие методы оценки компетентности экспертов: 1) самооценка эксперта по «-балльной шкале, предусматривающей различные аспекты его компетентности; 2) оценка деятельности эксперта другими экспертами (взаимоэкспертиза по опубликованным работам и другим результатам научной деятельности); 3) оценка эксперта на основании результатов его прошлой деятельности в качестве эксперта.

Для выявления скрытой заинтересованности экспертов в получении желаемых результатов, а также уровня их компетентности осуществляют тестирование экспертов с последующим установлением их рейтинга, с помощью коэффициента ранговой корреляции сравнивают результаты экспертных оценок различных экспертов, рассчитывают коэффициент непротиворечивости (по результатам нескольких туров экспертизы) и т. д.

Экспертный Совет, имея информацию о достижениях мировой науки и практики, а также проекты планов НИР, осуществляет экспертную оценку этих проектов по следующим направлениям:

— оценка проекта планов НИР;

— оценка исполнителя;

— оценка соответствия требуемого финансирования возможностям заказчика и поставленным целям.

Оценка проекта плана НИР должна осуществляться группой независимых экспертов (не менее трех) по балльной системе на основании следующих критериев:

— научная новизна;

— актуальность;

— методический уровень разработки;

— соответствие стоимости и ожидаемого результата;

— оценка предполагаемого результата;

— оценка предполагаемых форм и уровней внедрения;

— оценка рентабельности (эффективности). Оценка исполнителя включает в себя определение:

— уровня квалификации исполнителя;

— уровня материально-технической базы исполнителя;

— уровня имеющегося задела.

Приводим пример оценки планируемой НИР с учетом мнения трех экспертов и удельного "веса" каждого критерия (рассчитанного нами методом экспертных оценок).

Оценка планируемой НИР может быть 5—10- или 100-балльной. Определение значимости той или иной планируемой НИР по каждому критерию предлагается трем экспертам, после чего их оценки усредняются, а затем умножаются на удельный "вес" каждого критерия. После этого оценки по каждому критерию суммируются и выставляется общая оценка планируемой НИР (таблица). В том случае, если тестирование экспертов выявляет заинтересованность или неполную компетентность того или иного эксперта в определенном вопросе, вводится поправочный коэффициент, учитывающий рейтинг экспертов и уровень их объективности.

 

Критерий

Оценки экспертов (баллы)

Среднее значение

Удельный "вес" критерия

Оценка плана НИР

Новизна

5

5

4

14/3=4,7

2,35

11,0

Актуальность

4

3

2

9/3=3,0

1,5

4,5

Методический уровень разработки

4

4

3

11/3=3,7

1,5

5,6

Соответствие стоимости и ожидаемого результата

5

3

4

12/3=4,0

1,15

4,6

Возможность и уровень внедрения

4

2

3

9/3=3,0

1,15

3,45

Вероятность положительного результата

4

5

5

14/3=4,7

2,05

9,6

Эффективность

3

2

4

9/3=3,0

1,0

3,0

 

Сумма баллов

41,7

 

В зависимости от объема проведенных экспертиз заказчик оплачивает работу экспертов. Группа управления программой осуществляет сбор результатов экспертизы и их систематизацию, выделяя усредненные результаты и мнения экспертов-фаворитов (имеющих наивысший рейтинг в своей группе).

Окончательное решение о финансировании принимает председатель программы, который одновременно может быть и председателем экспертного Совета.

Предлагаемый механизм планирования и экспертной оценки НИР имеет четкую формализованную структуру и алгоритм, что позволяет полностью автоматизировать процесс планирования и экспертизы НИР на персональной ЭВМ.

Научно обоснованное управление наукой предполагает широкое использование разработчиками и экспертами планируемых НИР таких методических подходов, как программно-целевое и сетевое планирование, прогнозные разработки, предплановые, патентно-конъюнктурные, информационные и маркетинговые исследования, а также экспертные оценки на всех этапах выполнения НИР.

 

Литература

1.      Абелева Г. М., Нечуева И. Б. // Пути повышения эффективности использования научно–информационного потенциала медицинской науки и практического здравоохранения. – Киев, 1988. – С. 12 – 13.

2.      Александров В. А. Прогнозирование и управление нововведениями. Обзорная информация БелНИИНТИ. – Мн., 1988. – 124 с.

3.      Архангельская В. Н., Кабанова З. П. Автоматизация планирования научных исследований. – М.: Наука, 1973. – 120 с.

4.      Гордон Т. Научно–техническое прогнозирование для промышленности и правительственных учреждений. – М.: Прогресс, 1972. – С. 84 –93.

5.      Горфан К. Л. Управление исследованиями, разработками и внедрением новой техники. – М., 1977. – С. 122 – 132.

6.      Доброе Г. М. Прогнозирование науки и техники. – М.: Наука, 1977. – 208 с.

7.      Зайцев Б. Ф., Лапин Б. А. Организация научно–технического планирования. – М.: Экономика, 1970. – 207 с.

8.      Киссель Е. И. // Приоритеты науки и проблемно–ориентированная организация НИОКР: Сб. науч. м–лов. – Киев: Наукова думка, 1988. – С. 13 –16.

9.      Лахтин Г. А. Экономика научного учреждения. – М.: Экономика, 1976. – 208 с.

10.    Лебедева Е. А., Недотко П. А. Программно–целевой подход к научным исследованиям в США. – М.: Наука, 1980. – 296 с.

11.    Основы управления наукой / Под ред. Г. А. Лахтина. – М.: Наука, 1983. – 216 с.

12.    Садовская Л. А. // Экспресс–информация "Союзмедин–форм". Вып. 4., сер. "Социальная гигиена и организация здравоохранения." – М., 1989. – 16 с.

13.    Шарабчиев Ю. Т. // Мед. новости. – 1996. – № 1. – С. 2–8.

14.    Шарабчиев Ю. Т. // Мед. новости. – 1996. – № 10. – С. 44 – 52.

 

Медицинские новости. – 1997. – № 3. – С. 44-49. 

Внимание! Статья адресована врачам-специалистам. Перепечатка данной статьи или её фрагментов в Интернете без гиперссылки на первоисточник рассматривается как нарушение авторских прав.

Содержание » Архив »

Разработка сайта: Softconveyer