vimで<C-W><C-W>でウィンドウ移動するのはよく使いますが、[count]<C-W><C-W>で[count]番目のウィンドウに移れることはあまり知られていないようです。というか自分が知らなかっただけか…

しかし縦だけ、横だけの分割なら左上から1,2,..とウィンドウ番号が振られますが、縦横に分割した場合は一目には番号との対応が分かりづらい。

そこでステータスラインにウィンドウ番号を表示すると少し便利になります。

set statusline=%{winnr('$')>1?':'.winnr().'/'.winnr('$'):''}

勿論これではファイル名も何も表示されなくなってしまうので、すでに書かれているものに適宜加筆します。

ついでにバッファ番号以下よくあるステータスラインとマージした例。

set statusline=[%n%{bufnr('$')>1?'/'.bufnr('$'):''}%{winnr('$')>1?':'.winnr().'/'.winnr('$'):''}] %< %f %m%r%h%w%{'['.(&fenc!=''?&fenc:&enc).']['.&ff.']'}%=%l/%L,%c%V%8P

同SS
vimステータスライン

ただ頻繁に使う1~3の数字がQWERTYではCtrlやWと近く、入力しにくいので<C-W>以外にもマップしておくといいかもしれません。