Rozpoznawanie eksponatów aparatem — wyszukiwanie bez numeracji, bez kodów qr, bez zaburzana sfery wizualnej wystawy.

Nie każdy eksponat da się oznaczyć. Przy obrazie, rzeźbie czy w przemyślanej aranżacji wystawy dodatkowa tabliczka z numerem albo kod QR potrafi zaburzyć odbiór dzieła — a bywa, że względy konserwatorskie w ogóle wykluczają umieszczanie czegokolwiek obok obiektu. To realny problem instytucji, nie zwiedzającego.

Dlatego w dedykowanych aplikacjach AppAudioGuide wprowadziliśmy rozpoznawanie eksponatów obrazem z aparatu. Zwiedzający kieruje telefon na obiekt, a aplikacja rozpoznaje go i otwiera przypisaną treść — audio, opis albo wideo w języku migowym. Bez kodu, bez numeru, bez ingerencji w przestrzeń ekspozycji.

Funkcja działa już produkcyjnie — pierwszym muzeum, które ją udostępniło zwiedzającym, jest Muzeum Śląskie w Katowicach.

Przede wszystkim funkcja dedykowanej aplikacji. Rozpoznawanie obrazem jest częścią dedykowanych aplikacji mobilnych pod marką instytucji. Można je również włączyć w pozycji we wspólnej aplikacji AppAudioGuide — jako dodatkowo płatną opcję.

Dlaczego to rozwiązuje realny problem

Kod QR czy numer trzeba gdzieś umieścić — na ściance, na podłodze, na opisie obok. W wielu sytuacjach to nie przeszkadza. Ale są wystawy, gdzie każdy dodatkowy element w polu widzenia to ustępstwo: galeria sztuki, zabytkowe wnętrze, minimalistyczna aranżacja, obiekt eksponowany bez gabloty. Kurator i konserwator mają wtedy wybór między dostępnością treści a czystością ekspozycji. Znika też koszt przygotowania i wymiany tabliczek czy oznaczeń przy eksponatach.

Rozpoznawanie obrazem znosi ten kompromis. Treść jest dostępna przy każdym obiekcie, a przy samym eksponacie nie pojawia się nic dodatkowego. Wystawa zostaje taka, jak ją zaprojektowano.

Wygodniej też dla zwiedzającego

Korzyść działa w obie strony. Skierowanie aparatu na obiekt to gest naturalny — prostszy niż wyszukiwanie numeru w aplikacji czy celowanie w mały kod QR. Zwiedzający, który nie chce się bawić w szukanie, i tak sięga po przygotowaną treść, zamiast minąć eksponat bez kontekstu.

Jak to działa

Zwiedzający wykonuje trzy proste ruchy:

1. Otwiera skaner w aplikacji.
2. Kieruje aparat na eksponat — obraz, rzeźbę, maszynę, dowolny obiekt.
3. Aplikacja otwiera treść w wybranym trybie: do słuchania, czytania albo oglądania.

Całe rozpoznawanie liczy się lokalnie, w telefonie zwiedzającego — bez wysyłania czegokolwiek na serwer i bez potrzeby połączenia z internetem. W salach z grubymi murami, gdzie zasięg bywa słaby albo żaden, skanowanie działa tam, gdzie sieć nie sięga.

Dostępność w centrum uwagi

Po rozpoznaniu eksponatu zwiedzający może otworzyć nie tylko nagranie audio i opis tekstowy, ale też wideo w Polskim Języku Migowym (PJM). Dla osób g/Głuchych oznacza to dostęp do treści wystawy w ich naturalnym języku.

Funkcja respektuje też pozostałe wymogi dostępności: ograniczenie animacji dla osób wrażliwych na ruch, etykiety dla czytników ekranu i zgodność z wytycznymi WCAG.

Prywatność zwiedzającego

Przy funkcji korzystającej z aparatu pytanie o prywatność pojawia się naturalnie, więc odpowiadamy wprost: zdjęcia z aparatu nie opuszczają telefonu. Rozpoznawanie odbywa się na urządzeniu, model działa lokalnie, nic nie trafia na serwer.

Uczciwie o możliwościach

Rozpoznawanie obrazem to mechanizm przygotowany dla danej kolekcji — a nie „sztuczna inteligencja, która wie wszystko". Jego skuteczność zależy od materiałów referencyjnych danej wystawy.

Gdy na ekspozycji znajdują się obiekty łudząco do siebie podobne — na przykład seria obrazów tego samego autora — aplikacja nie zgaduje. Zamiast tego proponuje krótką listę i pozwala zwiedzającemu wskazać właściwy eksponat. To celowe: lepiej zaproponować wybór niż otworzyć błędną treść.

Część dedykowanej aplikacji

Rozpoznawanie eksponatów to jeden z powodów, dla których instytucje wybierają dedykowaną aplikację pod własną marką zamiast pozycji we wspólnej. To wariant dla muzeów, które chcą pełnej kontroli nad doświadczeniem zwiedzającego — własnej obecności w App Store i Google Play, własnego zestawu funkcji, i takich możliwości jak rozpoznawanie obrazem.

Funkcję można też włączyć w pozycji we wspólnej aplikacji AppAudioGuide — jako dodatkowo płatną opcję. W dedykowanym wdrożeniu jej zakres i koszt ustalamy indywidualnie, zależnie od projektu.

Jeśli chcą Państwo zobaczyć, jak funkcja mogłaby działać na Waszej wystawie, zapraszamy do kontaktu.

AppAudioGuide — mobilne audioprzewodniki i system zarządzania treścią dla instytucji kultury. Wdrożenia m.in. w Muzeum Śląskim, Muzeach Narodowych w Krakowie i Gdańsku.