Теперь компьютеры могут оцифровывать музыкальные рукописи

Оптическое распознавание символов (OCR), хорошо зарекомендовавший себя метод оцифровки, обычно используется для преобразования текста в отсканированных документах в форму, доступную для поиска и редактирования на компьютере. Но он не может оцифровывать другие документы, такие как музыкальные рукописи и другие типы рукописей. Новый подход, разработанный командой Университета Бина Нусантара, расположенного в Джакарте, Индонезия, использует глубокое машинное обучение и сверточную нейронную сеть, которая обучена распознавать нюансы нотной записи, написанной в рукописях.

Система требует, чтобы ключ, нотоносец и музыкальная тональность находились на своих местах, но их можно легко назначить в шаблоне. При преобразовании отсканированной рукописи он определяет положение каждой ноты на нотоносце, чтобы определить высоту звука. На следующем этапе используется параллельный алгоритм для определения продолжительности каждой ноты и определения положения пауз, пауз и других подобных особенностей в рукописи. После полной оцифровки с помощью современного программного обеспечения становится тривиальной задачей «проиграть» рукопись со всеми возможными инструментальными звуками на компьютере или даже сопоставить лирическую партитуру с музыкой и позволить компьютеру спеть песню. Ученые полагают, что, когда OMR станет более зрелым, он найдет множество применений в музыкальном исполнении, музыкальном образовании и архивировании архивов музыкальных рукописей. Команда предполагает, что их подход может позволить разработчикам программных «приложений» написать программу для смартфонов или планшетов, которая позволит любому, например, быстро сканировать партитуру и выполнять OMR для этой рукописи.