SwitchApp

Introducing SwitchApp

SwitchApp is a customizable access solution that translates chosen keywords, vocalizations, and/or facial movements into control signals for augmentative and alternative communication (AAC), computer access, smartphone access, and environmental control.

SwitchApp can be set up at home and offers a unique level of customization, allowing users to use a combination of keywords, vocalizations and facial movements of their choice. It is well-suited for people with severe physical disabilities who are not able to use regular interfaces like a mouse and keyboard but can produce a few words (not necessarily intelligible) or sounds, and/or make facial movements. Unlike most access technologies, SwitchApp can easily adapt and continue to recognize the user’s cues as they change over time and in different environments, making it a sustainable long-term solution. Additionally, since SwitchApp detects words, sounds and facial movements users often already use for face-to-face communication, it is very intuitive and easy to learn.

How it works

SwitchApp uses a microphone or a webcam to recognize the user’s unique keywords, vocalizations and facial movements. When a chosen keyword, vocalization or movement is detected, SwitchApp translates it into a usable output signal that can either be used directly on the computer or be connected to a switch-enabled user interface, such as an AAC device, a smartphone, or an environmental control unit. Individuals can then control a variety of activities on their computer or the connected external device – such as typing messages via an onscreen keyboard, browsing the internet, making phone calls, playing games, etc.

Specifications

Detected words

• Yes, no, next, go, okay, choose
• Left, right, up, down, pick, back
• Pause, break
• K, ah, oh, eh
• + Up to 3 fully custom keywords / sounds

Detected movements

• Smile, mouth opening, lip pucker
• Blink, eyebrow raise , looking up
• Head nod, head turn, head tilt

Inputs

• Audio (directional microphone, reducing noise from non-user / environment)
• Video (regular built-in webcam, external webcam, or external 3D camera)

Outputs

• Up to 6 outputs
• Customizable keyboard keystrokes (ideal for communication software with scanning capabilities)
• 4 physical outputs, 3.5 mm / 1/8 inch jack (ideal for switch interfaces, environmental control units, switch-adapted devices)

User Guides

Software Installers

Upcoming.

Acknowledgements

This project was completed with funding from the Government of Canada.

Holland Bloorview is also grateful to the following partners for their support: Fable Tech Labs, Empowered Kids Ontario, and the Cerebral Palsy Alliance Research Foundation.

Contact us

For technical support, please contact prism@hollandbloorview.ca or Fanny Hotzé at fhotze@hollandbloorview.ca or 416-425-6220 ext. 6459.

To inquire about potential partnerships, please contact Sharon Wong at sharon.wong@hollandbloorview.ca or 416-425-6220 ext. 6107.

Découvrez SwitchApp!

SwitchApp est une solution d’accès personnalisable qui convertit mots-clés, vocalisations et mouvements du visage en signaux de contrôle pour la communication améliorée et alternative (CAA), l’accès aux ordinateurs et téléphones intelligents, ou le contrôle environnemental.

SwitchApp peut être installé depuis la maison et offre un niveau de personnalisation unique, permettant à ses utilisateurs de se servir d’une combinaison de mots-clés, vocalisations et mouvements du visage de leur choix. C’est une technologie idéale pour ceux qui ont des handicaps physiques sévères et ne peuvent pas utiliser des interfaces classiques telles que souris et claviers, mais peuvent produire quelques mots (pas forcément intelligibles) ou sons, ou contrôler les expressions de leur visage. Contrairement à la plupart des technologies d’accès, SwitchApp s’adapte facilement et continue de reconnaître les signaux de l’utilisateur quand ils changent au fil du temps et dans différents environnements, ce qui en fait une solution durable à long terme. De plus, puisqu’il détecte des mots, sons, et expressions du visage que les utilisateurs utilisent souvent déjà pour la communication en face à face, SwitchApp est intuitif et facile à apprendre.

Comment ça fonctionne?

SwitchApp utilise un microphone ou une webcam pour reconnaître les mots-clés, vocalisations et mouvements du visage uniques de l’utilisateur. Quand l’un des mots-clés, vocalisations ou mouvements choisis est détecté, SwitchApp le traduit en un signal de sortie fonctionnel, qui peut soit être utilisé directement avec l’ordinateur ou être connecté à une interface adaptée aux contacteurs, telle qu’une tablette de communication, un téléphone intelligent, ou une unité de contrôle environnemental. L’utilisateur peut alors contrôler une variété d’activités sur son ordinateur ou l’appareil externe – par exemple écrire des messages avec un clavier virtuel, naviguer sur internet, passer des appels téléphoniques, jouer, etc.

Spécifications

Mots détectés

• Yes, no, next, go, okay, choose
• Left, right, up, down, pick, back
• Pause, break
• K, ah, oh, eh
• + Jusqu’à 3 mots-clés ou sons entièrement personnalisés

Mouvements détectés

• Sourire, bouche ouverte, bouche en coeur
• Clignement, sourcils relevés, roulement d’yeux
• Hochement de tête vertical, hochement de tête horizontal, inclinaison de la tête

Entrées

• Audio (microphone directionnel, qui réduit les bruits créés par l’environnement)
• Vidéo (webcam intégrée, webcam externe, ou caméra 3D externe)

Sorties

• Jusqu’à 6 sorties
• Touches de clavier équivalentes personnalisables (idéal pour les logiciels de communication avec scanning)
• 4 sorties physiques, jack 3.5 mm / 1/8" (idéal pour les interfaces contacteur, les unités de contrôle environnemental, ou les appareils adaptés)

Guides d’Utilisation

Téléchargements

A venir.

Remerciements

Ce projet a été réalisé avec un financement du Gouvernement du Canada.

Holland Bloorview remercie également les partenaires suivants pour leur soutien: Fable Tech Labs, Enfants Avenir Ontario, et Cerebral Palsy Alliance Research Foundation.

Contactez-nous!

Pour toute assistance technique, vous pouvez contacter prism@hollandbloorview.ca ou Fanny Hotzé à fhotze@hollandbloorview.ca ou au 416-425-6220 ext. 6459.

Pour vous renseigner sur les possibilités de partenariat, n’hésitez pas à contacter Sharon Wong à sharon.wong@hollandbloorview.ca ou au 416-425-6220 ext. 6107.