Функция распознавания образов в приложении: как и для чего применять

Технология распознавания образов все активнее входит в наш обиход. Компании и учреждения используют ее для решения самых разных задач: от обеспечения безопасности до исследования удовлетворенности клиентов. Инвестиции в продукты, в основе которых — данная функция, обещают вырасти до 39 миллиардов долларов к 2021 году. Вот лишь несколько примеров, как распознавание образов используется в разных сферах:

Здравоохранение. Болезнь никого не красит. Но есть заболевания, при которых изменения внешности особенно заметны. Сравнивая внешний вид пациента с изображениями из базы данных, врачи точнее ставят диагноз и даже определяют силу боли, которую испытывает пациент. Приложения типа AiCure фиксируют, принял ли пациент лекарства. А Orcam MyEye — настоящее спасение для слабовидящих: приложение сообщает пользователю обо всем, что «видит».

Приложение с распознаванием образов для контроля принятия лекарств. Источник: www.ncbi.nlm.nih.gov

Туризм. Увидели интересное фото в инстаграме и хотите пообедать в том же кафе? Как вам идея загрузить фото в приложение, которое приведет в нужное место? На оснований фотогорафий из инстаграмма сервис Jetpac City Guides еще и рейтинги лучших мест для туристов создает.

Транспорт. Умение распознавать образы — функция, без которой беспилотник и пару метров без аварии не проедет. Но если в вашем парке обычные автомобили, распознавание лиц тоже пригодится — например, чтобы предотвратить несанкционированное использование транспорта или невнимательное поведение водителя за рулем.

Коммерция. Здесь функция распознавания образов используется активнее всего. Онлайн-магазины eBay и Boohoo помогают пользователям найти «именно тот» товар даже если покупатель не может вспомнить, как называется вещь. А такие приложения, как Lookwish и NICE, позволяют еще и «примерить» нужную вещь.

Думаете, все это только для очень крупных и богатых компаний? Действительно, внедрить машинное обучение (на котором зиждется распознавание образов) с нуля может оказаться хлопотным занятием. К счастью, существуют библиотеки, которые предоставляют возможность использовать уже готовые модели при разработке ваших продуктов. Одна из них — Firebase ML Kit. И дальше мы расскажем вам, как использовать ее при создании своего приложения.

Что такое Firebase ML Kit и как это работает

ML Kit — это SDK, предоставляющая возможность использовать уже готовые решения machine learning от Google для iOS и Android в простом виде. Независимо от того, есть ли у вас опыт использования machine learning, вы можете реализовывать нужные вам функции в нескольких строках кода. Если же вы являетесь опытным разработчиком в сфере машинного обучения, то вы можете загрузить собственные модели TensorFlow.

ML Kit может работать как в режиме онлайн (при этом вы получаете ,свободный доступ к гораздо более солидной базе данных, но с ограничением по запросам: бесплатно лишь первая тысяча), так и оффлайн. Такие функции, как распознавание текста, штрих-кодов и образов, доступны как онлайн, так и оффлайн. Распознавание ориентиров (известные дома, реки, улицы и т.д.) доступно только в режиме онлайн, а распознавание лиц — только оффлайн на устройстве.

Как интегрировать функцию распознавания образов в приложение

В качестве примера, начнем с распознавания текста оффлайн:

>
private fun runTextSearchOnDevice(bitmap: Bitmap) {
        val image = FirebaseVisionImage.fromBitmap(bitmap)
        val textDetector = FirebaseVision.getInstance().onDeviceTextRecognizer
        textDetector.processImage(image).addOnSuccessListener {
            processTextSearchFromDevice(it)
        }.addOnFailureListener {
            Toast.makeText(this, it.toString(), Toast.LENGTH_SHORT).show()
        }
    }
>

В методе `processTextSearchFromDevice` мы обрабатываем данные, предоставленные нам Firebase. Каждой функции соответствуют разные типы моделей, которые можно рассмотреть в документации. В нашей ситуации мы получили массив объектов, содержащих координаты текста в объекте `Rect` и, конечно, сам текст, который был распознан Firebase. Для использования онлайн код практически такой же:

>
 val options = FirebaseVisionCloudTextRecognizerOptions.Builder()
           .setLanguageHints(resources.getStringArray(R.array.textRecognitionLanguages).toList())
                .build()
        val textDetector = FirebaseVision.getInstance().getCloudTextRecognizer(options)
>

В настройках мы теперь можем добавлять языки, которые теоретически будут распознаваться Firebase. Результатом будет тот же массив объектов. Если вы планируете распознавать документ, для удобства можно использовать `getCloudDocumentTextRecognizer`.

Для распознавания лиц подход практически такой же:

>
val image = FirebaseVisionImage.fromBitmap(bitmap)
        val faceDetector = FirebaseVision.getInstance().getVisionFaceDetector(getFaceDetectorOptions())
        faceDetector.detectInImage(image).addOnSuccessListener {...}
>

В настройках мы можем задать, нужно ли распознавать ‘landmarks’ (глаза, нос, уши и т.д.), тип (для нас важны скорость или точность распознавания), классификацию по категориям, например, отбор только тех фотографий, на которых глаза открыты или на которых человек улыбается. Вот пример настроек:

>
FirebaseVisionFaceDetectorOptions.Builder()
            .setModeType(FirebaseVisionFaceDetectorOptions.ACCURATE_MODE)
            .setLandmarkType(FirebaseVisionFaceDetectorOptions.NO_LANDMARKS)
            .setClassificationType(FirebaseVisionFaceDetectorOptions.NO_CLASSIFICATIONS)
            .build()
>

В результате Firebase выдаст нам массив объектов с координатами сгруппированных лиц а также, если мы дали разрешение, то и массив ‘landmarks’ с координатами.

Напоследок рассмотрим, как распознавать образы на фото. В общих чертах все, как и в предыдущих случаях. Вот так, например, это выглядит оффлайн:

>
val labelDetector = FirebaseVision.getInstance().visionLabelDetector
        labelDetector.detectInImage(image).addOnSuccessListener {...}
>

А вот так онлайн:

>
 val options = FirebaseVisionCloudDetectorOptions.Builder()
                .setModelType(FirebaseVisionCloudDetectorOptions.LATEST_MODEL)
                .setMaxResults(15)
                .build()
        val labelDetector = FirebaseVision.getInstance().getVisionCloudLabelDetector(options)
        labelDetector.detectInImage(image).addOnSuccessListener {...}
>

В настройках можно указать максимальное количество результатов и какую модель использовать (стабильную либо последнюю доступную). В результате получаем массив объектов с названием (что, по мнению Firebase, изображено на фото) и точность в диапазоне от 0,01 до 1,0.

Как видите, ничего сложного, и для большинства случаев достаточно бесплатного (локального) ML Kit.

Подведем итог

Использование машинного обучения, в частности, функции распознавания образов, не обязательно подразумевает что-то из ряда вон выходящее. Например, в вашем приложении это может быть просто проверка добавленного пользователем фото в процессе регистрации. Вам нужно убедиться, что пользователь не добавил, например, фото своего кота, а клиенту хочется побыстрее начать пользоваться сервисом и не ждать одобрения модератора.

Для внедрения функции распознавания образов в приложение не обязательно инвестировать большие средства. Вы можете полностью или частично воспользоваться готовыми решениями, одно из которых — Firebase ML Kit. Надеемся, изложенный нами алгоритм действий позволит сделать это, не прилагая чрезмерных усилий. Если же вы хотите быть полностью уверенными в результате — обращайтесь к нам. Мы с радостью поможем вам в разработке веб-сервисов и мобильных приложений.

Похожие статьи

Вернуться к списку записей К списку записей