Skip to content
/ BMA Public

F12 switch for ACAT, supporting the Neurosky Mindwave Mobile 2. Includes a foundation GUI for assistive sensors on Windows written in wxPython.

Notifications You must be signed in to change notification settings

ENE/BMA

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

7 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

BMA - Blinks Modulation Assistant

O assistente para modulação de piscadas possibilita que uma pessoa portadora de ELA faça uso do NeuroSky Mindwave Mobile 2 como dispositivo de entrada "switch" (F12) para o ACAT.

Em versões amadurecidas, uma tela secundária do aplicativo, ou mesmo a principal, terá o intuito de calibrar a detecção do gatilho no processamento dos sinais EEG. Usando-se o dispositivo atualmente eleito, isso poderá ser alcançado conjugando-se os sinais com a informação dos níveis de atenção e meditação. No protótipo inicial, o qual se constitui uma base para novos desenvolvimentos que acrescentem algoritmos, dispositivos ou sensores, nós nos limitamos a usar a "detecção de piscada" que nos é entregue pronta pela Neurosky através de seu SDK — "kit de desenvolvimento de software".

Naqueles acréscimos futuros poderá ser adotada alguma aprendizagem de máquina como forma de se alcançar maior acurácia.

Significado para a palavra "modulação"

Alguém que controle um braço robótico através do pensamento "modula", naquele intervalo de tempo, seus sinais cerebrais (EEG) para determinado caráter que um software de computador entenda como entrada válida. Conceito análogo se aplica a sinais musculares (EMG) ou de proximidade (IR). Mesmo quando o software interpretador implementa alguma inteligência artificial, o conjunto da entrada tem seu domínio limitado.

Em nosso contexto, um assistente de modulação será aquilo — no caso, um aplicativo — que proverá ao usuário algum feedback que o estimule em direção ao acerto na sua modulação desejada. Observar um medidor (barra ou ponteiro) desenhando-se em tela é ter um feedback visual. Ouvir um som em determinada frequência é ter um feedback auditivo. Sentir algo vibrando com determinada intensidade é ter um feedback tátil.

O primeiro protótipo do BMA fornece feedback visual; mas que na realidade ainda não é aproveitado plenamente, em tempo real, apenas a posteriori. Uma barra de score (pontuação) sinaliza a força de uma piscada já detectada. Feedback mais útil levaria em consideração o processamento simultâneo dos sinais. A mera intenção de piscar já deveria fornecer feedback.

Significado para a palavra "calibração"

Uma "calibração" então deve consistir em determinar, nos sinais de EEG, os limiares mínimos e máximos para o disparo do gatilho. Essa funcionalidade será possível se abandonarmos a detecção de piscada que nos tem sido dada pronta pela Neurosky, e realizarmos nosso próprio "processamento de sinais".

Trata-se da mesma noção de ajuste que a Intel demonstra nas telas do seu exemplo de sensor customizado.

Sem dispositivo?

Caso você não tenha headset para os testes, dirija-se ao diretório DeviceLess. Nele você encontrará conjuntos de dados (datasets) e orientações sobre como usá-los.

Compartilhe conhecimento!

O autor deste projeto quer viabilizar a comunicação de seu pai, quem já começou a perder o movimento dos olhos. Entre 2017 e 2023 rastreamento ocular com OptiKey era bem sucedido.

About

F12 switch for ACAT, supporting the Neurosky Mindwave Mobile 2. Includes a foundation GUI for assistive sensors on Windows written in wxPython.

Topics

Resources

Stars

Watchers

Forks

Languages