Классификация аналитических обзоров

Полагаю, многие аналитики и заказчики этой аналитики неоднократно размышляли над удобной формой представления аналитического исследования. В то же время ежедневно руководители организаций получают тонны мутных по содержанию, плохо структурированных, трудно воспринимаемых аналитических отчётов. Документов, на основании которых, в лучшем случае, невозможно принять никакого решения.

Для того, чтобы хоть как-то заполнить методологическую лакуну публикую статью, в которой описаны назначение, цели, таксономия, классификация и общая структура аналитического обзора. Несмотря на то, что статья предназначена профессиональным аналитикам и содержит сугубо методические вопросы, надеюсь, что она также пригодится и заказчикам обзоров.

При формулировании проблемы, решение которой предстоит найти, необходимо учитывать опыт предшественников. Использовать то разумное, чем отличалась их практика, и избежать ошибки, сделанные ими. (Аристотель, De Anima. Книга 1, глава 2)

Введение

Несомненно, многие бизнес-аналитики неоднократно размышляли над формой представления аналитического исследования в контексте конкретного проекта. В одном проекте необходимо сфокусировать внимание на существующем состоянии делового окружения. В другом — на деловой практике. В третьем — на тенденциях в определённой области деятельности. В каждом проекте свой набор анализируемых данных и своё назначение аналитики — вид принимаемого решения.

К сожалению, в русскоязычном Вебе практически отсутствуют стандарты и методики, затрагивающие цели, классификацию обзоров. Широко представлены лишь публикации о маркетинговых обзорах продукции и услуг, и конечно, об ИИ — искусственном идиотизме.

Статья, которую вы читаете, это попытка автора систематизировать сведения:

• о результатах аналитики: назначении и отличительных чертах обзоров;
• о классификации обзоров;
• о структуре обзора.

Надеюсь, статья окажется полезной:

• Бизнес-аналитикам. Зная классификацию и структуру, профессиональный аналитик быстрее и точнее напишет требуемый аналитический отчёт.
• Пользователям аналитики. Используя классификацию, специалист сможет найти нужный обзор и будет читать лишь то, что связано с практикой: выводы, рекомендации, факты, данные. Имея представления о методологии пользователь сможет оценить практическую пользу, полноту, достоверность, обоснованность составленного аналитического обзора.
• Заказчикам обзоров. Зная классификацию, они смогут точно сформулировать требования к аналитическим сведениям, а затем оценить полученный отчёт на соответствие этим требованиям:
  • найти ошибки позиционирования и структуризации (верификация обзора);
  • найти смысловые ошибки (валидация обзора);
  • сформулировать требования к доработке аналитики.

Практическая польза данной статьи, конечно же, в уменьшении количества ошибок! От этого выиграют все заинтересованные стороны: аналитики, пользователи, заказчики. Опыт автора показал, что аналитики допускают следующие ошибки:

• не ставят цели, в результате обзоры мутные в изложении и запутанные по структуре содержания;
• не выбирают и не применяют методы анализа фактов и данных;
• не концентрируют основную мысль отчёта для целевой аудитории; тексты излишне длинные и содержат много второстепенных, а часто и ненужных пользователю сведений;
• предвзято интерпретируют первичные факты;
• не оценивают качество первичных фактов, используют непроверенные данные;
• используют очень ограниченное количество первичных документов и фактов, что искажает репрезентативность аналитики;
• используют устаревшие факты и данные, а также данные синтезированные нейросетями;
• умышленно и неумышленно искажают факты и данные, выбирая только «правильные» и подходящие под заранее сформулированный вывод.

Новизна статьи в том, что о методологии аналитических обзоров инженерии Всемирной паутины на русском языке написано крайне мало.

Обзор

Назначение обзора

Последние два десятилетия — время взрывного количества публикаций — научных, методологических, практических, — и огромной потребности в аналитических обзорах, обобщающих публикуемые сведения. Методы поиска и анализа технической литературы претерпели значительные изменения. Раньше написание аналитического обзоров представляло собой субъективный процесс, основанный лишь на интуиции аналитика. В настоящее время написание аналитического отчёта это точное соответствие требованиям и нуждам заказчика. Аналитик должен владеть методами сбора данных, интеграции фактов и представления в виде, необходимом заказчику для принятия обоснованного решения. Закончились времена высокохудожественного творчества аналитиков без лимита времени и денег. Пришли времена скорости и точности.

Назначение аналитического обзора — способ получения значимых сведений практиками, которым некогда самостоятельно читать и анализировать весь поток первичных данных и вторичных сведений о заданной области деятельности.

Определение обзора

Аналитический обзор — это отчёт, написанный для лица принимающего решение лично аналитиком, а не автоматическими средствами. Содержит оценку текущей ситуации в организации, основанную на собранных первичных данных и вторичных сведениях. Оценка текущей ситуации может содержать тематический рейтинг: теорий, методов, практик, продукции, техники.

Отличительные черты обзора

Как же отличить обзор от других видов публикаций? Обзор отличают от других видов отчётности следующие черты:

• Обзор — это не первоисточник. Обзор лишь пересказывает то, что написано в других публикациях.
• Обзор не сообщает о новых, ранее неизвестных фактах. Обзор лишь содержит выборку фактов, изложенных в других публикациях, а также обобщение и выводы по приведённым фактам.
• Обзор не сообщает о новом. Обзор лишь сопоставляет существующее, находит в них общее и различное.
• Обзор не рассказывает о единичном результате практики (эксперименте, проекте, продукте, сервисе). Обзор показывает контекст области деятельности (политический, социальный, инженерный) и на этом фоне обобщает серию успешных или неудачных результатов практики (серию экспериментов, проектов, продукции, сервисов).

Таксономия свойств обзора

Назначение и вышеперечисленные отличительные характеристики позволяют сформулировать свойства обзора:

• Фокус обзора — описываемая область деятельности в виде научного исследования, теории, методологии, примеров практики.
• Цель обзора — интеграция знаний, критика ошибок, выявление проблем деятельности.
• Перспектива аналитика обзора — позиция поддержки деятельности заказчика обзора.
• Различают следующие виды охвата обзора:
  • исчерпывающий охват;
  • исчерпывающий с цитированием и ссылками;
  • репрезентативный охват;
  • опорный охват.
• Различают следующие виды направленности обзора:
  • историческая направленность;
  • концептуальная направленность;
  • методологическая установка.
• Аудитория обзора: научные исследователи, теоретики, методологи, практики.

Классификация обзоров

Рекомендую следующим образом классифицировать обзоры:

• классификация по субъекту (по аналитику обзора);
• классификация по объекту (по теме обзора);
• классификация по количеству рассматриваемых объектов (тем обзора);
• классификация видов обзоров;
• классификация по объёму текста обзора;
• классификация динамичности обзора.

Классификация по субъекту

Классификация по субъекту обзора (обозревателю, аналитику):

• потребительская оценка, написанная потребителем (пользователем), имеющим достаточный опыт использования продукции (тематического предмета);
• экспертная оценка, написанная независимым профессиональным экспертом, который хорошо знает описываемую в обзоре область деятельности.

Классификация по объекту

Классификация по объекту обзора (предметной области, области деятельности): обзор теорий:

• обзор по базовой теории;
• обзор по методологии, методам, способам;
• обзор практик:
• реализаций теорий проектирования и производства продукта (сервиса);
• потребления продукции.

Классификация по количеству объектов

Классификация по количеству рассматриваемых в обзоре объектов:

• Монообзор. Содержит анализ однородных объектов (одного вида продукции, одного производителя). Обычно сравнение проводят лишь по тем свойствам объекта, которые мало известны аудитории. Например, рассказ о новых возможностях последней выпущенный модели устройства по сравнению с устройствами, ранее выпущенными этим же производителем. Или сравнение устройства с подобными устройствами других производителей.
• Полиобзор, сборный обзор. Содержит разбор разнородных объектов (разные виды продукции, разные производители). Обычно сравнение проводят лишь по тем свойствам объекта, которые мало известны аудитории. Например, можно сравнить нежные смартфоны iPhone с защищёнными смартфонами Cubot и пояснить читателям, что устройством Cubot можно безопасно забивать гвозди в бетон.
• Обзорный блок. Содержит несколько обзоров, представляя тематическую повестку за достаточно продолжительный период времени. Например, обзорный блок развития компьютеров за последние семьдесят лет может содержать несколько обзоров, в каждом из которых анализ развития за более короткий период.

Классификация видов обзоров

Классификация по видам обзоров:

• Описательный обзор — это обзор, который: содержит выборочный и обобщённый пересказ ранее опубликованных сведений по теме (проблеме);
  • не содержит чётких критериев отбора объектов (предметов) темы;
  • не затрагивает теорию и методологию темы (проблемы);
  • не предлагает выводы и предложения по дальнейшему развитию описываемой области деятельности.
• Методологический обзор — это обзор о том, как проводить аналитику и публиковать результаты аналитики.
• Сопоставительный обзор — это обзор, который:
  • перечисляет существующие публикации и классифицирует данные о публикациях;
  • описывает количество и качество публикаций: по структуре и другим свойствам;
  • применяют для определения потребности в первичных и вторичных публикациях.
• Экспресс-обзор — это обобщённая оценка того, что уже известно о практике. Для повышения оперативности этот вид обзора опускает статистику и другие методы, требующие глубокого анализа и вычислений. Например, во всём мире этот вид обзора широко применяли во время пандемии COVID-19.
• Текущий обзор — динамический обзор с регулярными изменениями данных по мере их поступления.
• Концептуальный обзор — это обзор, который:
  • сфокусирован на поиске в публикациях понятий и их взаимосвязи (семантической, логической);
  • приводит описание данных, сопровождающих понятия;
  • оценивает масштаб рассматриваемой области деятельности;
  • часто применяют как предварительный этап перед написанием систематического обзора:
  • определяют область рассмотрения;
  • если публикации на разных языках, приводят понятия к одному языку;
  • если публикации содержат описание практики различных инженерно-технических культур, преобразуют понятия к культуре аудитории, для которой будет составлен обзор;
  • сопоставляют ключевые понятия и их формулировки;
  • оценивают объём данных, которые содержат публикации; принимают решения о том, возможно ли и уместно ли составление систематического обзора.
• Обзор внешнего воздействия — разновидность аналитического обзора. Используют для анализа деятельности.
• Обзор комплексного внешнего воздействия — разновидность аналитического обзора. Используют для обобщения данных сложных систем и выработке руководящих принципов.
• Обзор точности — это обзор, который оценивает практичность (действенность, прагматичность) конкретных информационных технологий.
• Обзор прогнозов — это обзор, который затрагивает вероятные события, тенденции, направления решения проблем.
• Мета-обзор — это обзор, который:
  • использует для сбора фактов большое количество публикаций разных авторов;
  • содержит цели, методологию анализа собранных данных;
  • включает статистический анализ данных, присутствующих в рассматриваемых публикациях;
  • включает рассмотрение участников (авторов публикаций, производителей, разработчиков);
  • объединяет количественные данных нескольких публикаций (агрегирование данных);
  • формулирует выводы, обоснованные анализом данных;
  • может содержать раздел о вероятности дальнейших событий (рисках, угрозах, возможностях).
• Количественный обзор — это обзор, который: основан на количественных данных, полученных из фактов публикаций; применяет один и тот же метод обработки количественных данных, что позволяет видеть динамику развития событий во времени и пространстве.
• Качественный обзор, синтетический обзор — это обзор, который:
  • обобщает и сравнивает качественные факты публикаций;
  • включает кодирование данных, поиск тем (проблем) и структур (конструкций) в публикациях;
  • включает публикации нескольких различных авторов для повышения достоверности фактов и уменьшения уровня предвзятости авторов.
• Систематизированный обзор — это обзор, который:
  • использует для сбора фактов большое количество публикаций разных авторов;
  • содержит цели, методологию анализа собранных данных;
  • соблюдает чёткие (системные) критерии отбора публикаций, фактов, данных;
  • включает рассмотрение участников (авторов публикаций, производителей, разработчиков);
  • представляет подробное, детальное изложение содержания текущих публикаций;
  • агрегирует количественные и качественные данные первичных публикаций;
  • включает цитирование оригинальных публикаций или ссылки на первоисточники;
  • анализирует собранные данные и оценивает результаты анализа по возможности с наименьшей предвзятостью;
  • формулирует промежуточные выводы, обоснованные анализом данных;
  • формулирует общее заключение, в котором демонстрирует эффект описываемого явления;
  • пользователи применяют для понимания и оценки определённой области деятельности (как теории, так и практики).
• Обобщающий обзор — обозрение систематизированных обзоров, которое объединяет многочисленные данные обзоров в единый документ.
• Смешанный обзор — это обзор, представляющий собой комбинацию разных обзоров. Например, начальный раздел написан в виде сопоставительного обзора для обоснования выбора первичных публикаций, раздел с количественными данными написан в виде мета-обзора, а раздел с выводами представляет собой систематический обзор.

Взаимосвязь обзоров

По мере необходимости обзоры можно преобразовывать из одного вида в другой. Например:

• Ряд описательных или количественных обзоров можно преобразовать в экспресс обзор. Вспомним опыт пандемии COVID-19, когда из эпидемиологических статистических (количественные) обзоров для широкой публики выбирали лишь обобщённые сведения и публиковали их в виде экспресс-обзоров.
• Количественный или качественный обзор можно преобразовать в аналитический обзор. Для этого в первоначальные обзоры следует добавить аналитику.
• Систематический обзор тесно связан с мета-обзором. Различие между систематическим и мета-обзором состоит в том, что мета-обзор использует статистические методы обработки данных. В то время как систематический обзор пропускает статистику и концентрирует внимание на строгом определении и описании взаимоотношения фактов. Возможные ситуации:
  • Если в первичных публикациях много цифровых данных, целесообразно сначала написать мета-обзор, а затем преобразовать его в систематический обзор, опустив расчёты. В заключительном выводе достаточно сообщить обобщённые значения.
  • Если сначала составлен систематический обзор, а затем появилось большое количество количественные фактов, требующих статистики, то систематический обзор можно преобразовать в мета-обзор.

Классификация по объёму обзора

Классификация по объёму текста обзора:

• Мини обзор. Маленький, узкоспециализированный обзор. Краткое освещение обозревателем своих впечатлений о теме обзора (теории, практике). Сжатый, максимально точный по аргументам анализ темы. Мини обзор обычно не содержит:
  • анализа различных вопросов (аспектов) темы (проблемы);
  • обоснованных мнений и выводов аналитика, лишь общее впечатление.
• Гранд обзор. Большой, развёрнутый обзор. Даёт возможность достаточно глубоко и всесторонне охватить исследуемую тему (проблему). В подобных обзорах желательно, чтобы аналитик вписал тему в общий контекст инженерии (аппаратной, программной, проектной).

Классификация динамичности обзора

Классификация динамичности обзора:

• статический обзор;
• динамический обзор.

Статический обзор публикуют один раз и больше никогда не обновляют. Изменения, если они и происходят, то затрагивают лишь исправление ошибок в тексте.

Динамический обзор регулярно обновляют по мере поступления новых сведений. Подобный обзор служит способом отслеживания тематической области деятельности (проекта, производителя, продукции). Аналитик и наименование обзора — единственные неизменные компоненты динамического обзора. В редких случаях, при изменении охвата или критериев отбора, обзору можно дать новое наименование, но делать это крайне нежелательно! Всё остальное содержание динамического обзора можно безжалостно актуализировать (в смысле менять как угодно).

Структура обзора

Структура обзора полностью зависит от вида обзора. Однако можно привести самую общую структуру обзора, которую целесообразно использовать:

• метаданные:
  • название статьи;
  • ключевые слова;
  • аннотация;
• текст статьи:
  • введение;
  • основное содержание:
    • разделы основного содержания;
  • заключение:
    • обобщённые выводы обзора;
    • постскриптум;
    • сведения о версиях;
    • приложения;
    • библиография.

Название обзорной статьи — самое сложное. Всего в одной фразе автору надо:

• отразить тему обзора;
• связать тему с тематикой получателя обзора (проектом, заказчиком, изданием);
• привлечь внимание аудитории необычным смыслом или конструкцией фразы.

Ключевые слова необходимы для поиска публикации в потоке других публикаций.

Аннотацию размещают под наименованием статьи и она служит своеобразным мостом, связкой между названием и основным содержанием обзора. Читатель видит аннотацию до того, как откроет текст статьи. Поэтому, для того чтобы помочь читателю принять решение о чтении следует в аннотацию поместить:

• формулировку обсуждаемой темы (проблемы);
• в случае необходимости сведения об участниках обзора (соавторов);
• полученные результаты или выводы;
• объяснить как получены выводы и как они повлияют на теорию и практику описываемой области деятельности;
• привести контекст и актуальность обзора

Основное содержание обзора

Введение необходимо для того, чтобы показать контекст, на фоне которого будет развёрнут обзор. Контекстом может служить страна, сектор промышленности, сегмент рынка, профессия и т.п.

В зависимости от того, что планирует сказать аналитик, основное содержание обзора может представлять собой:

• Освещение передового опыта и практические достижения в области технологий Веба. Например:
  • Оценить состояние профессиональной среды инженеров Веба в России. Привести сопоставительные данные.
  • Проанализировать социальный, поведенческий, образовательные аспекты инженерии Веба.
  • Государственная и корпоративная политика России в области инженерии Веба.
• Сопоставление того, что сделано в прошлом с прогнозом формирования будущего — направление дальнейшего развития в виде перечня проблем, требующих решения.
• Сопоставление фактов и данных публикаций, а затем объединение их в единое изложение.
• Анализ ранее существовавших проблем, как решённых, так и нерешённых. Перечисление достоинств и недостатков. При этом не следует критиковать результаты и называть предыдущую практику неадекватной, а исполнителей некомпетентными. Важнее объяснить преемственность — как неудачи подтолкнули к дальнейшему развитию.
• Обсуждение различных точек зрения, подходов, методов, практик.

Заключение обзора

Заключение обзора — целевая часть основного содержания. Именно ради выводов и анализируют тему.

Заключение обзорной статьи содержит:

• обобщённые выводы обзора;
• постскриптум;
• дополнение;
• сведения о версиях;
• приложения;
• библиографию.

Дополнение используют в случае, если после публикации обзора аналитик получил дополнительные сведения.

Сведения о версиях используют в случае публикации динамического обзора, в котором регулярно происходили изменения фактов, данных, выводов. Достаточно перечисления версий, чтобы читатель смог понять какие из них он уже читал. Пример:

Сведения о версиях (в обратном порядке даты публикации):

• Обзор от 24.11.2024. Обновлены данные о продукции …
• Обзор от 12.06.2024. Добавлен раздел …
• Обзор от 06.03.2023. Изменён раздел …

В приложение следует вынести все второстепенные данные (статистику, таблицы, графики). Это позволит разгрузить основное содержание и сконцентрировать идеи, которые хотел донести аналитик.

Часто список просмотренных аналитиком источников настолько обширный, что превышает объём обзора. Для того чтобы не перегружать текст обзора второстепенными данными, следует:

• разделять список использованных публикаций и библиографию (список полезных ссылок и дополнительных сведений)
• лишь в случае требования заказчика приводить список литературы и библиографию в виде приложений к обзору.

Заключение

В данном методологическом обзоре:

• кратко описана проблема, которая привела к повышенной потребности в обзорах;
• дано определение понятия «обзор»;
• приведена классификация обзоров;
• кратко описана самая общая структура обзора.

Надеюсь, что после прочтения настоящей статьи аналитикам будет проще писать обзоры по тематике заказчика.

Библиография

Въедливый читатель может получить дополнительные сведения по данной теме в статьях Википедии: Review article, Systematic review, Living review, Meta-analysis, Selection bias.