Своей целью ученые ставили оценку прогресса в сфере ИИ по конкретным количественным показателям и осмысление этого прогресса. Оценивались самые разные показатели: от числа опубликованных работ, посвященных ИИ, до интереса медиа и общественности к теме.

Например, число научных работ по ИИ выросло в восемь раз с 1996 года. 28% таких работ приходится на Европу, 25% — на Китай (здесь число работ в этой сфере выросло с 2007 года на 150%), 17% — на США. Интерес к ИИ показывает и рост числа студентов, посещающих вводные курсы по связанным с ним специальностям. Только в США их число выросло в 3,4 раза в сравнении с 2012 годом.

Число активных стартапов, занимающихся ИИ в США, с 2015 по 2018 год выросло 2,1 раза, в то время как общее число стартапов лишь в 1,3 раза. Венчурные инвестиции в такие предприятия увеличились с 2013 года в 4,5 раза (венчурные инвестиции в целом — в 2,1 раза).

Существенно выросло внедрение ИИ в компаниях. Речь идет о самых разных сферах (от фармацевтической промышленности до ритейла) и о разных вариантах применения (автоматизация процессов, машинное обучение, диалоговые интерфейсы, понимание машиной естественных языков, беспилотные транспортные средства и т. д.). Так, все активнее компании внедряют промышленных роботов. Например, в Китае в 2017 году их было установлено в шесть раз больше, чем в 2012 году.

Авторы собрали данные по ПО, связанному с ИИ: число скачиваний операционных систем для роботов выросло с 2014 года на 352%.

В докладе оценивается и скорость обучения ИИ. Например, качество машинного перевода с немецкого языка на английский (по так называемой системе оценки BLEU) выросло с 2008 года в три с половиной раза.

В докладе оценивается упоминаемость ИИ в СМИ в положительном, отрицательном или нейтральном ключе. Число положительных упоминаний с 2016 года выросло в 2,5 раза. Также было подсчитано число упоминаний ИИ и машинного обучения в правительственных и парламентских заявлениях и документах в США, Канаде и Великобритании. Во всех трех странах число таких упоминаний резко выросло в 2018 году.

Эксперты считают, что вскоре необходимо будет оценивать применение ИИ во все новых сферах и развивать новые методики. «Если мы хотим, чтобы ИИ умножал человеческий интеллект, а не заменял его, надо перейти от среды "человек против машины" к среде "человек плюс машина". Параметром, который продемонстрирует прогресс в этом, может быть количество неавтономных систем, в которых окончательное решение принимает человек, но которые поддерживаются машинами»,— считает профессор Падуанского университета и заместитель главного редактора Journal of Artificial Intelligence Research Франческа Росси.

По мнению профессора австралийского Университета Нового Южного Уэльса Тоби Уолша, в индексе следовало бы также оценивать рост государственных инвестиций в ИИ по странам и расширение его использования в военной сфере. «Это часто называют "гонкой ИИ", в которой такие страны, как Китай, демонстрируют свое стремление достичь доминирования с помощью ИИ»,— отметил господин Уолш.