Австралийский инженер Дэн Макниш (Dan Macnish) создал камеру, которая превращает снятый кадр в набросок и сразу же печатает его на бумаге. Алгоритм камеры распознает объекты в кадре, а затем ищет найденные объекты в датасете Google Quick, Draw!, состоящем из десятков миллионов набросков, созданных добровольцами,
рассказывает разработчик на своем сайте.
В 2016 году компания Google запустила экспериментальный сервис Quick, Draw!, на котором пользователям предлагается сделать простой рисунок объекта, например, нарисовать кошку, а алгоритм машинного обучения пытается распознать, что именно нарисовал человек. С помощью этого сервиса компания накопила огромный набор данных, позволяющий обучать алгоритмы сопоставлять рисунки людей с объектами реального мира. Google не только стала использовать эти данные в своих сервисах, например, в AutoDraw, умеющем превращать наброски в аккуратно нарисованные предметы, но и открыла эти данные для других специалистов в области машинного обучения, опубликовав их на GitHub. Датасет состоит из 50 миллионов рисунков, классифицированных по 345 категориям.
Инженер из Мельбурна Дэн Макниш (Dan Macnish) использовал этот датасет в своем проекте в обратном виде — он научил алгоритм не распознавать объекты реального мира в набросках, а наоборот — превращать реальный мир в рисунки. В основе созданной системы лежат натренированные нейросетевые модели, основанные на фреймворке TensorFlow и опубликованные Google в 2017 году. Они распознают объекты в кадре и относят их к соответствующей категории. После этого алгоритм соотносит эти объекты с категориями из датасета Quick, Draw! и составляет изображение, состоящее из набросков соответствующих предметов, расположенных подобно тому, как располагаются объекты на исходном кадре с камеры.
Для создания камеры разработчик использовал одноплатный компьютер Raspberry Pi 3, модуль Raspberry Pi Camera Module V2, термопринтер, кнопку затвора и светодиод, помещенные в картонный корпус. После нажатия кнопки светодиод загорается на 2-3 секунды, необходимые для обработки изображения, после чего принтер печатает черно-белую рисованную интерпретацию того, что алгоритм увидел в кадре.
В конце 2017 года Google подвела промежуточные итоги проекта Quick, Draw!, и рассказала о том, как рисуют одни и те же предметы люди из разных частей мира. Например, итальянцы рисуют на рожке с мороженным больше шариков, чем австралийцы, а жители России чаще всего рисуют дома без дверей. Кроме того, за год работы сервиса его пользователи нарисовали почти миллиард звезд и 2,9 миллиона кошек.
