Jak powstała klawiatura w Windows Phone 7?

Jak twierdzą twórcy klawiatury dedykowanej systemowi Windows Phone 7, ich projekt jest jednym z najlepszych obecnie rozwiązań tego typu. Jak do tego doszło? Oddajmy głos twórcom.

Bardziej domyślna klawiatura to efekt współpracy między zespołem Microsoft Research a grupą produktową Windows Phone 7. Projektanci zastosowali zasady maszynowego uczenia się – w którym technologia działa w imieniu użytkownika – aby ulepszyć wprowadzanie danych z „programowej”, czyli wirtualnej klawiatury Windows Phone 7.

Tim Paek, badacz z Mobile Computing Research Center, oraz Asela Gunawardana, z grupy Machine Learning and Applied Statistics, kierowali pracami z ramienia Microsoft Research. Ich odpowiednikami w zespole Windows Phone 7 byli Eric Badger, główny deweloper, oraz Itai Almog, kierownik programu. Jak twierdzi Badger, ich cel był prosty: opracować lepszą klawiaturę telefonu komórkowego.

– Takie było nasze początkowe założenie. Chcieliśmy stworzyć najlepsze na świecie rozwiązanie do wprowadzania tekstu. W komunikacji cyfrowej przenoszenie idei z głowy na klawiaturę jest naprawdę ważne.

– mówi Badger.

Droga do „najlepszej klawiatury” była jednak usiana przeszkodami. Na szczęście Badger wcześniej pracował nad produktami do rozpoznawania mowy i uważał, że klawiaturowa łamigłówka jest zasadniczo problemem dekodowania, który można rozwiązać z wykorzystaniem maszynowego uczenia się. W przeszłości współpracował z Paekiem i zaprzyjaźnił się z nim. Słyszał również o badaniach Gunawardany.

Nie miałem oporów żeby skontaktować się z Timem i zapytać, co myśli o tym problemie.

– mówi Badger.

Jak twierdzi Almog, problem z klawiaturami smartfonów jest oczywisty.

Palce są duże, klawisze malutkie, a czujniki nie zawsze niezawodne, co przekłada się na zbiór „zaszumionych” współrzędnych XY.

– wyjaśnia Almog.

Aby rozwiązać problem, zespoły Microsoft Research i Windows Phone 7 najpierw przeprowadziły zakrojone na szeroką skalę eksperymenty na prototypie Windows 7. Zgromadziły dane na temat tego, jak ludzie dotykają wirtualnych klawiszy, co oznaczają różne sposoby trzymania telefonu – na przykład pisanie wyłącznie za pomocą kciuków – oraz jakie są wady i zalety konkurencyjnych klawiatur.

Geometria i intencje

Paek i Gunawardana postanowili wykorzystać swoją wiedzę w dziedzinie maszynowego uczenia się i lingwistyki, aby opracować podejście, które matematycznie uwzględnia geometrię obszaru klawiatury oraz to, co chce powiedzieć użytkownik. Badger z pomocą Drew Lineruda stworzył prototyp wykorzystujący to podejście, aby zademonstrować jego skuteczność. Prototyp miał kluczowe znaczenie dla akceptacji projektu przez grupę biznesową.

Telefon najpierw używa statystycznych modeli wzorców językowych, aby ustalić, co użytkownicy próbują napisać.

Wiemy, że zazwyczaj piszą po angielsku i z reguły wiemy, jak ma wyglądać tekst, nawet jeśli nie jest napisany dokładnie takim językiem, który można znaleźć w The Wall Street Journal. Zwykle można domyślić się, co ludzie chcą powiedzieć. Następnie telefon używa statystycznych modeli punktów dotyku, które prawdopodobnie się pojawią ze względu na to, że użytkownik próbuje trafić w określone litery.

– mówi Gunawardana.

Właśnie to zgromadziliśmy w eksperymentach z udziałem użytkowników dane na temat tego, jak daleko mogą zabłądzić użytkownicy, próbując trafić w określone klawisze.

– mówi Paek.

W ramach crowdsourcingu narzędzie do gromadzenia danych ostatecznie zmieniono w grę o nazwie Text Text Revolution!, którą napisał Dmitry Rudchenko, deweloper z zespołu Badgera. Gra, która otrzymała cztery na pięć gwiazdek w serwisie Windows Phone 7 Marketplace, nie tylko pomaga użytkownikom nauczyć się szybkiego i dokładnego pisania na urządzeniach Windows Phone, ale przy okazji generuje idealne dane do optymalizowania modeli statystycznych. Od czasu premiery gra zgromadziła ponad 20 milionów punktów dotyku, które wykorzystano do dostrajania algorytmów.

Łącząc modele statystyczne wzorców językowych z punktami dotyku, klawiatura dynamicznie zmienia wirtualny rozmiar następnej prawdopodobnej litery, zwiększając jej obszar docelowy — ten, w którym dotknięcie klawiatury przekłada się na określoną literę, symbol lub cyfrę.

Nie pokazujemy tego wizualnie. Wszystko dzieje się za kulisami.

– mówi Paek.

Oprogramowanie klawiatury analizuje to, co pisze użytkownik, decyduje, która litera najprawdopodobniej zostanie wpisana jako następna, i powiększa obszar wirtualnego klawisza, aby stuknięcie w „T” dało w wyniku „T”, a nie „Y” lub „R”. W przyszłych wersjach klawiatura będzie nawet uwzględniać szybkość, z jaką próbuje pisać użytkownik.

Kiedy piszemy bardzo szybko dwoma kciukami, wzorce dotykowe stają się niechlujne, więc obszar docelowy musi być jeszcze większy.

– mówi Paek.

Obecnie większość smartfonów próbuje odgadywać intencje użytkownika. W przypadku Windows Phone 7 chodziło o to, aby te domysły były trafniejsze – bez przeszkadzania użytkownikowi. Predykcyjne oprogramowanie telefonu może być tak radykalne, że nie pozwala użytkownikowi napisać tego, co naprawdę chce.

Kiedy użytkownik trafi w sam środek klawisza „b”, system powinien to uwzględnić. Opracowaliśmy model, w którym statystyka reguluje rozmiar klawisza, ale intencje użytkownika są respektowane. Oprogramowanie, które w ten sposób moduluje swoje sugestie, pozostaje wysoce predykcyjne, ale nie nabiera takiej pewności siebie, żeby wchodzić w drogę użytkownikowi.

– mówi Gunawardana.

Szara rzeczywistość

Badacze musieli się również zmierzyć z szarą rzeczywistością: względnie niewielką mocą obliczeniową smartfonów.

Poświęciłem temu mnóstwo czasu. Wymyślałem modele, a następnie przykrawałem algorytmy tak, aby miały niewielkie rozmiary i działały błyskawicznie w tych niewielkich urządzeniach. Nikt nie chce, aby jego telefon „wieszał się” za każdym razem, kiedy odczytuje klawiaturę.

– mówi Gunawardana.

Gunwardana wykorzystał triki lingwistyczne, w tym coś, co nazywa „wycofywaniem się”, a co polega na tym, że system przyjmuje różne poziomy pewności co do intencji użytkownika. Oprogramowanie klawiatury może na przykład przewidzieć, że po literach „keyboar” niemal na pewno następuje „d”. Bądź co bądź, wzorzec ten można było zaobserwować tysiące razy. Kiedy jednak napotyka mniej znajome słowo, „wycofuje się” ze stawiania jednoznacznych prognoz. Może najpierw zasugerować trzy lub cztery litery jako następne możliwe etapy. Może też po prostu ustalić: „Ta litera jest spółgłoską, więc prawdopodobnie dalej nastąpi samogłoska”.

Jak twierdzą Almog i Badger, klawiatura spotkała się z entuzjastycznym przyjęciem.

Nie tylko zebraliśmy pochwały w prasie, wskazując jednoznacznie pozytywne recenzje – ale również jesteśmy niezwykle zadowoleni z tego, że zwykli ludzie mówią nam, jak bardzo podoba im się klawiatura.

– mówi Almog.

Jakość klawiatury jest zdumiewająca, w dużej mierze dzięki tym, którzy zaprojektowali platformę interfejsu użytkownika Splash, i tym, którzy dostroili i zoptymalizowali proces przetwarzania dotyku. Dotarło do nas mnóstwo naprawdę pozytywnych opinii.

– dodaje Badger.

Naukowcy z Microsoft Research i Windows Phone 7 rozwinęli swoje podejście na również na inne języki. Paek i Gunawardana wraz z Chrisem Meekiem, kolegą z Microsoft Research, opisali część swoich prac nad klawiaturą w artykule Usability Guided Key-Target Resizing for Soft Keyboards, który zaprezentowano w 2010 r. podczas międzynarodowej konferencji poświęconej inteligentnym interfejsom użytkownika. Paek, Badger i Rudchenko opublikowali również artykuł Text Text Revolution: A Game That Improves Text Entry on Mobile Touchscreen Keyboards, który zostanie zaprezentowany jeszcze w tym roku podczas międzynarodowej konferencji poświęconej wszechobecnej komputeryzacji i komunikacji.

Źródło: Microsoft