AirSpell.

Рисование + компьютерное зрение

Палец вместо палочки.

Нарисуйте один из шести знаков.
Нейросеть узнает его — и запустит заклинание.

Холст · мышь и касание

Начните с круга.

Рисуйте прямо здесь.
Отпустите — и знак оживёт.

Загрузка нейросети…
Камера выключена. Рисуйте мышью или пальцем — всё обрабатывается на вашем устройстве.

С камерой

1 Указательный палец — перо

2 Согните палец — пауза и заклинание

3 Открытая ладонь — чистый холст

01Как это работает

От движения
до шести чисел.

Весь путь рисунка можно увидеть в правой панели — и разобрать в коде.

Открыть устройство проекта ↗
  1. 01

    Рука оставляет след

    MediaPipe находит 21 точку руки. Кончик указательного пальца становится пером.

  2. 02

    Линия становится изображением

    One Euro сглаживает дрожь. Штрихи превращаются в чёрно-белое изображение.

  3. 03

    Сеть сравнивает шесть вариантов

    Четыре свёртки ищут линии, углы и целые знаки. На выходе — шесть вероятностей.

  4. 04

    Форма проходит проверку

    Проверка формы отсеивает случайный след. Принятый знак собирается в руну.

02Результаты обучения

Рисунки знакомы.
Воздух — ещё нет.

Главный вопрос: помогает ли синтетическая дрожь и деформация подготовить модель к движениям настоящей руки?

Ниже — только тест Quick, Draw!: 12 000 рисунков, три сида для каждого варианта. Это не точность жестов перед камерой. Оценка на отдельном AirDraw ещё впереди.

Accuracy на QD-test · среднее ± стандартное отклонение
Обучение Точность
C0 Оригинальные рисунки —
C1 Обычная аугментация —
C2 Больше оригиналов —

Источник: результаты обучения C0–C2, сиды 0, 1, 2. В демо доступны C0 и C2; дообученная F3-10 пока не представлена.

Откуда берётся ответ сети?

Шесть файлов с объяснениями