Windows 7 auf dem Tablet PC – Der Eingabebereich (TIP)

Zu den Elementen, die in Windows 7 überarbeitet wurden, gehört auch der Eingabebereich, auch kurz TIP (Tablet Input Panel) genannt. Neben einigen offensichtlichen Änderungen an der Oberfläche des TIP hat Microsoft auch unter der Haube viele Änderungen vorgenommen, die ich in diesem Eintrag einmal betrachten möchte.
Bereits auf den ersten Blick fällt auf, dass das TIP gründlich überarbeitet wurde. Die Schaltfläche für die Eingabe von Einzelbuchstaben wurde genau wie das Hilfemenü entfernt und wir sehen vier Schaltflächen für das Korrigieren, Löschen, Teilen und Verknüpfen falsch erkannter Handschrift. Allerdings rufen diese Schaltflächen lediglich kurze Videos auf, die zeigen, wie die jeweiligen Aufgaben erledigt werden. Da jeder Anwender nach ein oder zwei Versuchen können sollte und anschließend nicht mehr benötigt, frage ich mich selbstverständlich, weshalb diese Funktionalitäten an so prominenter Stelle platziert wurden, wo sie lediglich Platz wegnehmen. Sie enthalten auch nicht erhelblich mehr Infos als das Hilfemenü im TIP von Windows Vista. Schalten wir zur Bildschirmtastatur um, stellen wir fest, dass die Optik verbessert wurde, ohne dass zusätzliche Funktionalitäten hinzugekommen sind. Im Gegenteil, wir vermissen jetzt die Schaltflächen für Seite hoch und Seite runter, Position 1 und Ende… Das ist aber kein wirklicher Nachteil, da sich diese Funktionen auf dem Tablet PC auf andere Weise besser aufgerufen werden können. Mir fehlt auf den ersten Blick vor Allem die Möglichkeit, Buchstaben einzeln eingeben zu können. Diese Funktion, die sich unter Windows Vista zwischen den Schaltfläche für den Schreibblock und die Bildschirmtastatur befand, ist jetzt in das Menü Extras gerutscht, weshalb der Aufruf dieser Funktionalität einen Tipp mit dem Stift zusätzlich erfordert. Das ist schade, wenn viele Fremdwörter im Text vorhanden sind, die die Schrifterkennung selbstverständlich nicht wirklich zuverlässig erkennen kann.
Aber die Veränderungen an der Oberfläche sind nicht alles. Die interessanten Neuerungen befinden sich unter der Oberfläche.
Microsoft teilt mit, dass es bei der Entwicklung des TIP das Ziel war, diesen Teil des Betriebssystems so schlank wie möglich zu gestalten, so dass wir als Anwender uns darauf konzentrieren können, was wir schreiben wollen, nicht darauf, wie wir es schreiben. Bereits das TIP von Windows Vista war sehr gut, aber auch dieser Teil von Windows war noch nicht perfekt und enthielt Teile, die verwirrend waren oder mehr Arbeitsschritte als erforderlich nötig machten.

 

Das TIP von Windows Vista - Die Ergebnisse der Handschrifterkennung werden unterhalb der Schreiboberfläche als kleine Textblasen angezeigt. Um die Erkennung zu prüfen, müssen Sie nach unten auf die blasen sehen und wenn Sie einen Fehler finden, müssen Sie auf eine Blase tippen, um für die Korrektur ein zweites Fenster aufzurufen.
Das TIP von Windows Vista – Die Ergebnisse der Handschrifterkennung werden unterhalb der Schreiboberfläche als kleine Textblasen angezeigt. Um die Erkennung zu prüfen, müssen Sie nach unten auf die blasen sehen und wenn Sie einen Fehler finden, müssen Sie auf eine Blase tippen, um für die Korrektur ein zweites Fenster aufzurufen.

 

Aufgrund verschiedener Usability-Tests in Vista hat Microsoft sich bei der Verbesserung der der Usability des TIP in Windows 7 auf zwei Bereiche konzentriert:

  • Vereinfachung der Arbeit – Das handschriftliche Arbeiten sollte eine einfache, natürliche und fließende Erfahrung sein. Microsoft hat anhand des TIP von Windows Vista festgestellt, dass die Anwender zu viel über das Wie ihrer Arbeit nachdenken mussten. Die Augen mussten ständig zwischen dem geschriebenen Wort und den Blasen darunter wechseln und Korrekturen erforderten den Wechsel in einen anderen Modus und bedeuteten häufig, dass das gesamte Wort neu geschrieben werden musste. Microsofts Ziel war, diesen Vorgang zu vereinfachen.
  • Erhöhen der Flexibilität – Wir sind alle an die Flexibilität bei der Eingabe mittels einer Maus und der Tastatur gewöhnt. Die handschriftliche Eingabe mit dem Windows Vista TIP war erheblich unflexibler, da das auf der digitalen Tinte basierende Modell es erschwerte, einen Satz zu ändern, nachdem er einmal geschrieben wurde – es gab keine Möglichkeit, zusätzlichen Text zwischen zwei Wörtern zu platzieren. Microsoft Ziel war, die Änderungsmöglichkeiten an die Flexibilität der Eingabe mit Tastatur und Maus anzunähern und gleichzeitig die Möglichkeiten des Stifts weiter auszunutzen.

 Ein neues Modell erstellen

Jan-Kristian, ein Program Manager des Core User Experience Teams für Windows 7, berichtet im Entwicklerblog für Windows 7:

„Um diese Ziele zu erreichen, mussten wir am Eingabebereich fundamentale Änderungen vornehmen. Als wir unterschiedliche Möglichkeiten untersuchten, haben wir uns für ein Modell entschieden, bei dem die digitale Tinte bereits während der Eingabe des Benutzers in Text umgewandelt wird. Obwohl dies wie ein eingängiges Modell der Benutzeroberfläche klingt, standen wir doch vor einem Haufen Fragen: wann führen wir die Umwandlung durch, wie groß sollte der Text sein, welche Schriftart sollten wir verwenden… Die einzige Möglichkeit, sicherzustellen, dass wir eine natürliche und effiziente Hanschrifterfahrung erstellt haben, war ein reales Feedback von den Anwendern. Wir verwendeten die Methode RITE (Rapid Iterative Testing and Evaluation). RITE-Tests sind eine zyklusbasierte Usability-Methode, die von Microsoft als Teil der Usability-Tests für das Spiel Age of Empires II entwickelt wurde. Sie versuchen, für jeden Zyklus eine kleine Verbesserung der Benutzer-Experience vorzunehmen und führen die Tests erneut durch, um zu sehen, wie gut die Verbesserung funktioniert. Wir haben etwa 20 Zyklen durchlaufen, bevor wir über ein Design verfügten, von dem wir annahmen, dass es für die Dokumentierung bereit war.

Vielleicht die wichtigste Anpassung, die wir während der RITE-Tests vorgenommen haben, war der Zeitpunkt der Umwandlung der digitalen Tinte in Text. Ein zu frühes Umwandeln würde den Anwender irritieren. Wir mussten hinter den Kulissen viel Arbeit leisten, um den richtigen Zeitpunkt zu finden. Unsere letztendliche Lösung besteht aus einer Kombination der Feststellung des Abstandes, den ein Anwender im Durchschnitt zwischen zwei Worten lässt, des Ergebnisses der Erkennung der gemachten Eingaben und einem zeitbasierten Trigger. Ein weiterer Faktor war die Textgröße. Hier haben wir uns entschieden, den Schriftgrad dynamisch festzulegen, um den Text möglichst identisch mit der Größe der Handschrift anzuzeigen.“

Durch die neue textbasierte Benutzeroberfläche des Schreibbereits erhalten Sie Ihren Text schneller. Da nur eine Textrepräsentation Ihrer Eingabe angezeigt wird, ist die Oberfläche weniger komplex und die Höhe des Eingabebereichs kann reduziert werden. Da statt der digitalen Tinte Text verwendet wird, wurde die Oberfläche erheblich flexibler, da es möglich ist, den Text nach Belieben zu verschieben – das Einfügen eines Wortes zwischen zwei bereits vorhandenen Wörtern ist so einfach wie das Schreiben eines Textes in einem leeren Eingabereich. Der verfügbare Platz wird automatisch an Ihre Eingaben angepasst.

Zusammen mit der Textumwandlung benötigte Microsoft eine möglichst natürliche Methode, den erkannten Text zu ändern. Dafür erschienen Gesten die perfekte Lösung zu sein – Microsoft hatte eine stiftbasierte Benutzeroberfläche erstellt, deshalb sollte auch für die folgenden der Stift genutzt werden: für das Löschen, Teilen und Zusammenführen des Textes. auf der Basis der gesammelten Daten hat Microsoft die Gesten entwickelt. Damit die Gesten von den Anwendern auch angenommen werden, hat Microsoft dem Menü des TIP die drei Schaltflächen hinzugefügt, die die Erläuterungsvideos aufrufen sowie eine vierte Schaltfläche, die diese drei Schaltflächen ausblendet.

In einem Video auf YouTube wird gezeigt, wie diese Funktionalitäten zusammenarbeiten:

Der Eingabebereich: Das Video zeigt den Eingabebereich in Aktion und demonstriert, wie der Anwender auf einfache Weise die Ergebnisse seiner Aktionen erkennen kann.

Verbesserte Korrekturen

Untersuchungen haben ergeben, dass Korrekturen zu den umständlichsten Funktionalitäten des TIP in Vista gehörten. Um ein Wort zu korrigieren mussten Sie es häufig vollständig neu schreiben. Für Windows 7 hat das Windows-Team Erkenntnisse übernommen, die Microsoft Research gewonnen hatte, und das Korrigieren von Worten erheblich beschleunigt. Sie korrigieren ein Wort jetzt von rechts nach links und Windows führt nach jeder Eingabe eines Buchstabens eine Erkennung durch. Wer wie ich die Arbeitsweise von Windows XP Tablet PC Edition und Windows Vista gewohnt ist, muss sich erst einmal an die neue Arbeitsweise gewöhnen. Anschließend möchte man aber nicht mehr zur alten Methode zurückkehren, die einem dann wirklich etwas altbacken vorkommt. Auch die Korrekturmethode wird durch ein YouTube-Video demonstriert, in dem das Wort „worked“ durch die Eingabe eines einzigen Buchstabens in „wonderful“ korrigert wird.

Intelligente Korrekturen: Das Wort „worked“ wird automatisch in „wonderful“ korrigiert, indem einfach ein einzelner Buchstabe ausgewechselt wird. Sie müssen lediglich die Korrektur des Wortes auf der linken Seite beginnen und es wird aktualisiert, bis Sie das von Ihnen gewünschte Wort erhalten.

Die Eingabe von URLs

Webbrowser gehören zu den auf dem Tablet PC mit dem TIP am häufigsten genutzten Anwendungen. Da in Browsern meist Internetadressen eingegeben werden, hat Microsoft für die Adressleiste einen besonderen TIP erstellt. Auch diese Funktionalität erkennen Sie am einfachsten in einem YouTube-Video.

Die Eingabe von URLs: Die Flexibilität des neuen Eingabebereichs erleichtert die Eingabe von URLs, indem Teile der URL vorgegeben werden.

 

Beachten Sie, dass die unterschiedlichen teile der URL voneinander getrennt sind. Die vorgegebenen Teile der URL sind lediglich Vorschläge, die sich ändern, wenn Sie häufig alternative URL-Teile nutzen. So ist es wahrscheinlich, dass bei Ihnen nach kurzer Zeit nicht mehr die Endung .com vorgeschlagen wird, sondern die Endung .de, wenn Sie meist auf deutschen Webseiten unterwegs sind. Außerdem wird die Schaltfläche Einfügen gegen die Schaltfläche „Gehe zu“ ausgetauscht, so dass Sie mit einem Tip die URL in die Adressleiste des Browsers einfügen und zu der angegebenen Webseite wechseln können.

Die Bildschirmtastatur

Von der neuen Bildschirmtastatur hatte ich mir ehrlich gesagt mehr erhofft. Um es klar zu sagen: die Bildschirmtastatur von Windows 7 stellt eine klare Verbesserung gegenüber den Bildschirmtastaturen von Windows Vista und Windows XP Tablet PC Edition dar. Die Farbe und Kontrastgebung der Bildschirmtastatur wurden verbessert, so dass sich die Bildschirmtastatur von Windows 7 unter ungünstigen Bedingungen besser bedienen lässt als die früherer Versionen.

Die Bildschirmtastatur von Windows 7 dient nicht nur der Stifteingabe, sondern sie soll auch auf UMPCs der Eingabe mit dem Finger dienen. Bildschirmtastaturen haben wie andere virtuelle Tastaturen den Nachteil, dass wir als Anwender nicht bemerken, wenn wir eine Taste nicht getroffen haben. Es ist auf Dauer sehr ermüdend, ständig mit den Augen zwischen Manuskript, Bildschirmtastatur und der Textverarbeitung oder dem Editor zu wechseln. Microsoft hat für dieses Problem eine Brücke gesucht. Aus diesem Grund gibt die Bildschirmtastatur für jeden Tastenanschlag einen kurzen Ton auf dem Lautsprecher aus. Sicher könnte man darüber streiten, ob diese Lösung das Nonplusultra ist. Ich persönlich empfinde die Lautsprecher des Rechners während der Arbeit eher als nervtötend, und wenn ich mir vorstelle, in der Bahn sitzt jemand mit mir am Tisch, schreibt mit der Bildschirmtastatur und ich werde für jeden von ihm vorgenommenen Tastenanschlag mit einem Ton bestraft…

Einen echten Vorteil für die Nutzer von UMPCs bietet die Multitouchfähigkeit der Bildschirmtastatur. Es ist also unter Windows 7 durchaus möglich, gleichzeitig Strg+C zu drücken, um Text zu markieren oder Strg+V, um ihn an anderer Stelle einzufügen. Gleichzeitig funktioniert aber auch weiterhin die Arbeitsweise, zuerst auf Strg und anschließend auf C zu klicken oder zu tippen, so wie wir es von Windows Vista gewohnt sind.

Die verbesserte Handschrifterkennung von Windows 7

Inzwischen arbeitet Microsoft seit mehr als eineinhalb Jahrzehnten an der Handschrifterkennung. Den Anfang machten die Pen Extensions für Windows 3.0. Durchgesetzt hat sich die Verwendung des Stifts aber erst mit dem Erscheinen der Windows XP Tablet PC Edition, die die Handschrifterkennung integrierte. Heute wird die Eingabe mit dem Stift vorwiegend in der Medizin, in Bildungseinrichtungen und im Versicherungswesen eingesetzt, aber auch in anderen Bereichen wie den Verlagen oder bei Gutachtern treffen wir sie mehr und mehr an. Außerdem kamen in den letzten beiden Jahren verstärkt Rechner mit Tablet PC-Funktionalitäten auf den Markt, so dass wir für die Zukunft mit deutlich mehr Anwendungen rechnen können, die sich an weitere Branchen wenden.

Windows Vista enthielt die Unterstützung der Handschrifterkennung für die zwölf Sprachen Englisch (USA und Groß Britannien), Deutsch, Französisch, Spanisch, Italienisch, Niederländisch, Portugiesisch (Brasilien) und Chinesisch (Vereinfacht und Traditionell), Japanisch und Koreanisch. Für Windows 7 plant Microsoft die Unterstützung der Handschrifterkennung in weiteren Sprachen. Dazu gehören Norwegisch, Schwedisch, Finnisch, Dänisch, Russisch und Polnisch. Derzeit ist noch nicht klar, ob die Unterstützung aller dieser Sprachen enthalten sein wird. Außerdem ist die Liste nicht geschlossen und es können noch weitere Sprachen aufgenommen werden, die ggf. zu einem späteren Zeitpunkt unterstützt werden.

Das Sammeln der Daten

Um eine neue Handschrifterkennung entwickeln zu können, ist es zunächst erforderlich, möglichst viele Daten zu sammeln. Nach eigenen Angaben hat Microsoft Millionen an geschriebenen Worten und Zeichen gesammelt, die von zehntausenden Schreibern auf der gesamten Welt geschrieben wurden.

Weshalb hat Microsoft weltweit Daten von Menschen gesammelt? Hätte es nicht ausgereicht, einfach eine Erkennung zu entwickeln und sie mit Wörterbüchern aus unterschiedlichen Sprachen zu versorgen? Ganz so einfach ist es leider nicht. Es gibt Sprachen mit Sonderzeichen, teilweise werden Buchstaben und Ziffern unterschiedlich geschrieben und auch der Gebrauch der Interpunktion unterscheidet sich von Sprache zu Sprache. Denken Sie zum Beispiel an die Umlaute im Deutschen oder die Kringel über dem „a“ oder den Schrägstrich durch das „o“ im Dänischen. Wie soll eine englischsprachige Schrifterkennung damit fertig werden? Oder nehmen Sie die Schreibweise von Zahlen: was im Deutschen als 123.345,67 geschrieben wird, müsste im Englischen als 123,456.67 geschrieben werden. Dem menschlichen Leser erscheinen die beiden Schreibweisen ähnlich, für einen Computer unterscheiden sie sich aber grundlegend. Wird die Zahl handschriftlich eingegeben, sind die Unterschiede noch größer. Die „1“ schreiben wir im Deutschen mit einem schrägen Aufstrich vor dem senkrechten Abstrich. Im englischsprachigen Raum wird die 1 als einfacher senkrechter Strich geschrieben. Oder sehen Sie sich die „7“ an: im Deutschen erhält die Ziffer noch einen waagerechten Strich auf halber Höhe, der im Englischen nicht vorhanden ist. Eine englische 7 erscheint dem Computer mit deutscher Handschrifterkennung eher als verunglückte 1. Dies sind nur einige Beispiele, die sich nahezu unbegrenzt fortführen ließen, die Ihnen aber hier nur demonstrieren sollen, dass doch einige zusätzliche Anstrengungen erforderlich sind, um eine Handschrifterkennung für eine neue Sprache zu implementieren.

Microsoft hat großen Wert darauf gelegt, dass für die Tests, mit denen die Schriftproben gesammelt wurden, nur orthographisch korrekte Beispiele verwendet wurden, in denen sämtliche Buchstaben, Ziffern, Symbole und Zeichen vorkamen, die in der jeweiligen Sprache Verwendung finden. Auch die Auswahl der Probanden, die die Schriftproben abgaben, geschah nicht zufällig, sondern es wurde auf die eine repräsentative Mischung des Lebensalters, des Geschlechts und des Bildungshintergrunds geachtet. Auch die Anzahl der Rechts- und Linkshänder im entsprechenden Land floss in die Auswahl der Teilnehmer mit ein.

Interessanter als die Auswahl der Testteilnehmer und der zu schreibenden Zeichenfolgen sind eigentlich die Auswertungen. Leider (wenn auch verständlicherweise) hält sich Microsoft bei diesem Thema etwas bedeckt. Ein Beispiel wurde aber doch veröffentlicht, das ich Ihnen hier vorstellen möchte: Drei Teilnehmer sollten das Wort „black“ schreiben. Das Ergebnis wurde in einer Datenbank gespeichert und jedes Mal, wenn die Teilnehmer den Stift neu ansetzten, wurde die Farbe gewechselt. Hier das Ergebnis:

blog

Das Ergebnis ist erstaunlich. Die ersten beiden Teilnehmer benötigten fünf Ansätze, um die vier Buchstaben zu schreiben, der dritte Teilnehmer benötigte vier Ansätze. Dabei schrieb der dritte Teilnehmer die Buchstaben „ck“ in einem Zug, während der erste Teilnehmer für die gleiche Buchstabenkombination drei mal ansetzte. Dies sind alles Informationen, die für die Analyse der digitalen Tinte verwendet werden.

Das neuronale Netzwerk und das Sprachmodell

Nachdem ausreichend viele Daten in Form digitaler Tinte gesammelt wurden, hat Microsoft sie in zwei Gruppen aufgeteilt, in ein Trainings-Set, das das Entwicklungs-Team verwendete, sowie in ein „Blind“-Set für das Test-Team. Das Tainings-Set diente dem Training des Neuronalen Netzwerks, das größtenteils für die Handschrifterkennung verantwortlich ist.

Das neuronale Netzwerk des TIP ist ein Time-Delay Neural Network (TDNN), das miteinander verbundene Buchstaben der Eingabe verarbeiten kann. Ein TDNN bezieht auch vorhergehende und folgende Schriftsegmente in die Überlegungen mit ein, wenn die Möglichkeiten der Erkennung der Buchstaben, Ziffern und Zeichen eines Schriftsegments geprüft werden. Das reicht aber noch nicht aus, wenn die Handschrift nicht sauber ist. Daher hat Microsoft die Erkennung der Form der Buchstaben durch den Sprachkontext ergänzt. Der Sprachkontext besteht im Wesentlichen aus einem Lexikon mit einer Liste gültiger Wörter. In vielen Sprachen verwendet Microsoft dafür die Wortliste der Rechtschreibprüfung. Diese beiden Elemente der Schrifterkennung arbeiten eng zusammen und erreichen so eine Genauigkeit, die mit der der Genauigkeit des menschlichen Erkennens vergleichbar ist.

Das Training des neuronalen Netzwerks ist ein aufwändiger Prozess, der viel Zeit verschlingt. Microsoft versuchte, diesen Prozess abzukürzen, indem Daten aus anderen Sprachen verwendet wurden, um die Erkennungsgenauigkeit zu verbessern. Dieser Versuch erwies sich als Sackgasse, da sich die Form der Buchstaben, der Schreibstil und die Größe der Buchstaben von Sprache zu Sprache unterscheiden. Auch wenn uns als Menschen die Schrift ähnlich erscheint, erkennt sie der Rechner sehr unterschiedlich.

Dementsprechend hat die Schrifterkennung ein Problem, wenn Sie als Deutscher einen Text in einer anderen Sprache schreiben. Sie schreiben zwar die Zeichen, in der anderen Sprache, aber Ihr Schreibstil entspricht weiterhin dem der deutschen Sprache. Windows Vista hatte das Problem, dass die Personalisierung der Handschrifterkennung nicht vollständig lokalisiert war. Zwar war die Oberfläche der Personalisierung in deutscher Sprache, aber die Datenbank dahinter war in englisch. Die Personalisierung ließ sich auch nur über einen Trick aufrufen und wenn man versuchte, Windows mit der eigenen Handschrift vertraut zu machen, erzielte man keine Verbesserung der Erkennung der Schrift in deutscher Sprache. Hier enthält Windows 7 einen entscheidenden Vorteil gegenüber Windows Vista. Unter Windows 7 ist auch die deutsche Schrifterkennung vollständig lokalisiert, und auch einige andere Sprachen, die ich überprüft habe, enthalten ein entsprechendes Lernprogramm. Damit werden wir uns im nächsten Abschnitt beschäftigen.

Die Handschrifterkennung durch Personalisierung  verbessern

Die Handschrifterkennung des TIP ist in der Lage, eine große Anzahl unterschiedlicher Schreibstile zu erkennen. Zusätzlich können Sie die Erkennung aber auf Ihre eigene Handschrift trainieren. Dabei wird das gleiche Training verwendet, das Microsoft auch für das Training der Handschrifterkennung verwendet hat. Der einzige Unterschied besteht darin, dass Sie jetzt ausschließlich Ihre Schreibweise trainieren.

Durch Personalisierung die Erkennungsgenauigkeit verbessern

Bei der Personalisierung verwenden Sie das gleiche Training, das Microsoft auch bei der Entwicklung der Handschrifterkennung verwendet hat. Diesmal trainieren Sie die Erkennung aber auf Ihre eigene Handschrift, nicht auf eine Sammlung tausender anderer Personen. Diese Funktionalität ist nicht neu in Windows 7, aber vor Windows 7 war die Personalisierung nicht in deutsch lokalisiert. Auch unter Windows 7 müssen Sie die Erkennung nicht zwangsweise durchführen, wenn Sie mit der deutschen Erkennung arbeiten. Wenn Sie die Erkennung aber auch in anderen Sprachen durchführen, sollten Sie vorher die Personalisierung durchlaufen, da andere Sprachen Unterschiede in der Schreibweise usw. aufweisen, so dass das TIP Probleme haben könnte, die von Ihnen eingegebene digitale Tinte zu erkennen. Die Personalisierung nimmt auch weniger als eine halbe Stunde in Anspruch, ein Investition, die sich mit Sicherheit auszahlt.

blog1

Dieser Screenshot zeigt Ihnen den Assistenten für die Handschriftanpassung (englisch den Personalization Wizard). Er fordert den Anwender auf, den angezeigten Satz zu schreiben, um auf diese Weise Proben mit digitaler Tinte zu liefern. Je mehr Daten bereitgestellt werden, desto besser wird die Handschrifterkennung. Zusätzlich zu diesem allgemeinen Training der Handschrifterkennung enthält Windows 7 einen Assistenten, mit dem Sie spezielle Zeichen trainieren können, die häufig falsch erkannt werden. Diese beiden Assistenten stehen in Windows 7 erstmals für alle durch die Handschrifterkennung unterstützten Sprachen zur Verfügung.

Auch wenn die Handschrifterkennung bereits hervorragend funktioniert ist sich Microsoft darüber im Klaren, dass sie noch nicht perfekt ist. Daher arbeitet Microsoft weiterhin daran, diesen Teil von Windows weiter zu verbessern. Aus diesem Grund hat Microsoft noch einen Assistenten für das Berichten von Erkennungsfehlern entwickelt, mit dem jeder Anwender anonym und freiwillig Erkennungsfehler an Microsoft melden kann. Dabei ist es möglich, auszuwählen, welche Fehler berichtet werden sollen. Hier ein Screenshot des Assistenten:

blog2

Nach eigenen Angaben erhält Microsoft etwa 2000 Fehlerberichte pro woche. Die Berichte werden in einer Datenbank gespeichert und anschließend ausgewertet.

Die Bildschirmtastatur

Auch an der Bildschirmtastatur hat Microsoft etliche Änderungen vorgenommen. Zur Erinnerung hier noch einmal die Bildschirmtastatur von Windows Vista:

blog3

Und hier nun die Bildschirmtastatur von Windows 7:

blog4

Bitte beachten Sie, dass dies die erweiterte Bildschirmtastatur von Windows 7 ist. Im Gegensatz zur Vista-Version lassen sich hier die Steuerungstasten im rechten Bereich ausblenden. Bringt uns als Anwender die neue Optik etwas? Eigentlich nicht wirklich. OK, unter Windows 7 sieht die Tastatur etwas moderner aus und sie erscheint auch etwas vertrauter, da hier die normale Computertastatur auf dem Bildschirm abgebildet wird. Das ist wohl eher etwas für Menschen, die sich nicht umgewöhnen wollen, sondern die lieber beim vertrauten bleiben. Aber selbst diese Anwender sind vermutlich nicht glücklich mit der neuen Lösung, da nach wie vor das numerische Tastenfeld der Hardwaretastatur fehlt.

Und überhaupt – weshalb hat Microsoft hier wieder nur die Hardwaretastatur abgebildet? Weshalb gibt es nichts besseres? Die heutige Tastaturbelegung wurde im Jahr 1868 von Christopher Latham Sholes für die Bedienung von mechanischen Schreibmaschinen entwickelt. Es war das erste Schreibmaschinentastaturlayout, bei dem die Tasten nicht alphabetisch angeordnet waren, sondern das sich an ergonomischen Gesichtspunkten orientierte. Nun ja, nicht so ganz. Die Damen in den Schreibbüros schrieben mit dem Layout so schnell, dass sich ständig die Typen der Schreibmaschinen ineinander verhakten, da sie nicht schnell genug wieder in den Ruhezustand zurückkamen. Daher wurden einige häufig verwendete Buchstaben an den Rand verschoben, wo sie nicht so schnell angeschlagen werden konnten. Haben Sie sich einmal gefragt, weshalb sich in der deutschen Anpassung des Layouts der Buchstabe „ö“ in der Ruhestellung der Finger unter dem rechten kleinen Finger befindet? Nun, das ist ein Überbleibsel aus dem 19. Jahrhundert, das der Mechanik der damaligen Geräte geschuldet ist. Im Grunde hat sich seitdem außer einigen Erweiterungen der Computertastatur nichts mehr am Layout geändert, auch wenn es absolut keinen Grund mehr gibt, die Schreibarbeit bis heute zu verlangsamen. Nun schreiben wir auf dem Tablet PC nicht 10 Finger blind, sondern mit dem Stift, was eher an das Adler-System (kreisen und suchen, dann zuschlagen) erinnert. Ich hätte es bevorzugt, wenn Microsoft (zumindest optional) eine an die Stiftbedienung angepasste Bildschirmtastatur verwendet hätte. Hier als Beispiel die Bildschirmtastatur von Fitaly:

blog5

Zugegeben, dieses Tastaturlayout sieht auf den ersten Blick sehr gewöhnungsbedürftig aus, aber nach kurzer Einarbeitungszeit lässt sich auf dieser Tastatur fast so schnell schreiben wie 10 Finger blind auf der Hardwaretastatur. Eine umfangreichere Beschreibung dieser Tastatur finden Sie in einem älteren Beitrag in diesem Blog.

Aber genug gemeckert. Unter der Haube enthält die neue Bildschirmtastatur zwei hilfreiche Neuerungen, die einer Erwähnung Wert sind, auch wenn sie mehr oder weniger bereits aus alternativen Bildschirmtastaturen bekannt sind.

Die erste Neuerung ist die Wortvervollständigung. Wie Sie es eventuell bereits von einem PDA oder einen alternativen Bildschirmtastatur unter Vista kennen, schlägt Ihnen die Bildschirmtastatur von Windows  7 mögliche Wörter vor, sobald Sie begonnen haben, auf der Bildschirmtastatur zu schreiben. Im folgenden Screenshot sehen Sie die Vorschläge, nachdem ich begonnen hatte, das Wort „Microsoft“ zu schreiben und die Buchstaben „Mi“ eingegeben habe.

blog7

Die Wortvervollständigung in der Bildschirmtastatur wird in Windows 7 in den Sprachen deutsch, englisch, italienisch, französisch und spanisch unterstützt. So ganz nebenbei bemerkt gibt es die Wortvervollständigung auch für die Handschrifteingabe in der chinesischen Sprache.

Für die Verbesserung der Erkennungsgenauigkeit verwendet die Handschrifterkennung ein Lexikon, das mit der Handschrifterkennung der jeweiligen Sprache mitgeliefert wird. Durch diese Liste mit in der entsprechenden Sprache häufig verwendeten Wörtern ist die Erkennung der Handschrift bereits sehr gut, aber mit Hilfe zusätzlicher benutzerspezifischer Wörter wird die Erkennungsgenauigkeit noch einmal signifikant verbessert.

Das automatische Lernen

An dieser Stelle kommt das automatische Lernen (englisch Text Harvesting)  ins Spiel. Unter Windows Vista lieferte Microsoft diese Funktionalität nur für Englisch (USA und GB) mit, unter Windows 7 steht diese Funktionalität für alle Sprachen bereit. Mit den Wörtern, die Sie häufig nutzen, erstellt Windows ein weiteres Lexikon, wodurch sowohl die Handschrifterkennung als auch die automatische Vervollständigung bei der Eingabe über die Bildschirmtastatur verbessert wird.

Laut Microsoft unterstützt Windows 7 auch benutzerdefinierte Wortlisten (englisch Custom Dictionaries). Diese Listen können dem System hinzugefügt werden. Sie können Ihre eigenen Wörterbücher mit Fachausdrücken erstellen (beispielsweise für die Medizin, IT usw.) und sie dem System hinzufügen. Die Erkennung langer Fremdwörter wird dadurch erheblich beschleunigt. So weit die Aussagen von Microsoft. Leider war es mir bislang nicht möglich, herauszufinden, wie diese Wörterbücher erstellt und wie sie eingebunden werden. Ich bleibe aber dran und werde diesen Eintrag entsprechend ergänzen, wenn ich zusätzliche Informationen habe.

Verbesserung der Erkennung ostasiatischer Sprachen

Diesen Abschnitt übersetze ich aus einer Microsoft-Veröffentlichung. Die Übersetzungsgenehmigung hat mir Microsoft freundlicherweise erteilt, es handelt sich aber nicht um eine offizielle von Microsoft autorisierte Übersetzung.

An der Erkennung der vier unterstützten ostasiatischen Sprachen (Chinesisch traditionell, Chinesisch vereinfacht, Koreanisch und Japanisch) wurden signifikante Verbesserungen vorgenommen. Aufgrund des großen Zeichensatzes dieser Sprachen ist die handschriftliche Eingabe für viele Nutzer eine effiziente Eingabemethode.

Für die handschriftliche Eingabe fernöstlicher Sprachen gibt es zwei Eingabemodi: Zeichen für Zeichen (oder Box-Modus) und den Freestyle-Modus (oder Zeilenmodus). Im Zeichen-für-Zeichen-Modus geben Sie innerhalb eines Bereichs mit fester Breite jeweils ein Zeichen ein. Im Zeilenmodus schreiben Sie die Zeichen hintereinander auf einer Linie und Sie müssen sich nicht um die Breite der Zeichen kümmern. Die Wahl des für Sie passenden Modus hängt von Ihren persönlichen Vorlieben ab. Der Zeichen-für-Zeichen-Modus schränkt Sie etwas ein, aber die Schrifterkennung ist genauer, während der Zeilenmodus eher der gewohnten Handschrifteingabe auf Papier entspricht. Der erste der folgenden beiden Screenshots zeigt die Handschrift eines Anwenders, der zweite enthält den erkannten Text.

blog8

blog9

Zusätzlich zu dieser Verbesserung der Korrektheit der Handschrifterkennung verwendet das TIP die Personalisierung zur Verbesserung der User Experience. Eine Methode der Personalisierung ist die Übernahme des persönlichen Schreibstils mit dem Shape Collector. Das ist ein Assistent, der es Ihnen ermöglicht, die Handschrifterkennung auf Ihre persönliche Handschrift zu trainieren. Wenn Sie in einer der vier fernöstlichen Sprachen schreiben, können Sie den Shape Collector in einem „Troubleshooting“-Modus verwenden, um die Erkennung eines einzelnen Zeichens oder Worts zu verbessern oder um ein Zeichen oder Wort hinzuzufügen, das standardmäßig nicht unterstützt wird.

Außerdem lernt die Handschrifterkennung dazu, wenn Sie schreiben und Fehler korrigieren. Wenn Sie ein Zeichen schreiben, das zunächst falsch erkannt wird, können Sie sich die Liste mit Alternativen ansehen und das Zeichen wählen, das Sie gemeint haben. Die Handschrifterkennung lernt aufgrund dieser Aktion und es wird wahrscheinlicher, dass das Zeichen beim nächsten Mal richtig erkannt wird.

In Windows z unterstützt Chinesisch vereinfacht und Chinesisch traditionell im Box-Modus auch die Textvorhersage. In diesen Sprachen ist diese Funktionalität besonders hilfreich, da das Schreiben einzelner Zeichen viel Zeit in Anspruch nehmen kann. Der Anwender schreibt im Zeichen-für-Zeichen-Modus und ihm werden Vorschläge angeboten, das Wort oder die Phrase zu vervollständigen, ohne dass er den gesamten Text schreiben muss. Im folgenden Screenshot will der Anwender die Zeichen 华人民共和国 eingeben und muss nur die ersten zwei Zeichen ()eingeben, damit der erforderliche Text als Vorschlag angezeigt wird. Die grau dargestellten Wörter repräsentieren die Eingabe des Anwenders und die schwarzen Wörter sind der Vorschlag.

blog10

Beachten Sie in diesem Beispiel, dass sich die Textvorschläge sowohl auf die beiden Zeichen () gemeinsam als auch nur auf das zweite Zeichen () beziehen. Wie bei den anderen Sprachen funktionieren die Textvorschläge auch mit dem benutzerspezifischen Vokabular. Gibt ein Anwender die gleichen Wörter mehrfach ein, erlernt die Handschrifterkennung dieses Verhalten.

Im Vergleich zu Windows Vista wurde die Handschrifterkennung für Chinesisch traditionell, Chinesisch vereinfacht, Japanisch und Koreanisch erheblich verbessert. Die Verbesserungen betreffen sowohl die User Experience im Allgemeinen wie auch die Genauigkeit der Handschrifterkennung. Ziel ist es, dem Anwender eine möglichst natürliche Möglichkeit für die Eingabe dieser Sprachen zu geben sowie eine bequeme Alternative zur Tastatureingabe bereitzustellen.

Puh, als ich begonnen habe, diesen Eintrag zu schreiben, dachte ich eigentlich, dass er nicht allzu lang würde. Aber während ich mich intensiver mit dem TIP beschäftigt habe wurden die Themen, die ich hier beschreiben konnte und wollte, immer umfangreicher. Es ist durchaus möglich, dass ich einige Dinge mehrfach beschrieben habe, aber das Thema war umfangreicher als ich zunächst gedacht habe.

Ein Gedanke zu „Windows 7 auf dem Tablet PC – Der Eingabebereich (TIP)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.