No es cuestión del software que usa para capturar, si acaso del bitrate y el que lleva por defecto shadowplay es más que suficiente pero no es así como se consigue la máxima calidad
Lo que necesitas es amor, digo...
Capturar el juego como se hacía en la antigüedad más antigua, con miles y miles de TGAs
Yo estuve el año pasado probando varias configs, pero el PC que tenía en aquel entonces me tardaba vida y media en hacer pruebas de rendering y al final lo abandoné todo pero conservo las configs
Te dejo directamente sólo las partes que presumiblemente no tendrás, el resto ya lo configuras al gusto, vamos, lo que te doy son los alias y los binds
autoexec.cfg//movie menu
bind "F7" "exec binds.cfg"
bind "F8" "demoui"
bind "F3" "toggleconsole"
bind "F2" "movieoverlay"
alias movieoverlay "cl_draw_only_deathnotices 1;bind F2 movieoverlay2;echo Movie Overlay: ON"
alias movieoverlay2 "cl_draw_only_deathnotices 0;bind F2 movieoverlay;echo Movie Overlay: OFF"
//Start recording
bind "F9" "jpeg"
bind "F10" "startavia"
bind "F11" "starta"
alias starta "startmovie a raw;bind f11 startb;echo Recording Screenshots"
alias startb "startmovie b raw;bind f11 startc;echo Recording Screenshots"
alias startc "startmovie c raw;bind f11 startd;echo Recording Screenshots"
alias startd "startmovie d raw;bind f11 starte;echo Recording Screenshots"
alias starte "startmovie e raw;bind f11 startf;echo Recording Screenshots"
alias startf "startmovie f raw;bind f11 startg;echo Recording Screenshots"
alias startg "startmovie g raw;bind f11 starth;echo Recording Screenshots"
alias starth "startmovie h raw;bind f11 starti;echo Recording Screenshots"
alias starti "startmovie i raw;bind f11 startj;echo Recording Screenshots"
alias startj "startmovie j raw;bind f11 startk;echo Recording Screenshots"
alias startk "startmovie k raw;bind f11 startl;echo Recording Screenshots"
alias startl "startmovie l raw;bind f11 startm;echo Recording Screenshots"
alias startm "startmovie m raw;bind f11 startn;echo Recording Screenshots"
alias startn "startmovie n raw;bind f11 starto;echo Recording Screenshots"
alias starto "startmovie o raw;bind f11 startp;echo Recording Screenshots"
alias startp "startmovie p raw;bind f11 startq;echo Recording Screenshots"
alias startq "startmovie q raw;bind f11 startr;echo Recording Screenshots"
alias startr "startmovie r raw;bind f11 starts;echo Recording Screenshots"
alias starts "startmovie s raw;bind f11 startt;echo Recording Screenshots"
alias startt "startmovie t raw;bind f11 startu;echo Recording Screenshots"
alias startu "startmovie u raw;bind f11 startv;echo Recording Screenshots"
alias startv "startmovie v raw;bind f11 startw;echo Recording Screenshots"
alias startw "startmovie w raw;bind f11 startx;echo Recording Screenshots"
alias startx "startmovie x raw;bind f11 starty;echo Recording Screenshots"
alias starty "startmovie y raw;bind f11 startz;echo Recording Screenshots"
alias startz "startmovie z raw;bind f11 startend;echo Recording Screenshots"
alias startend1 "showconsole;echo Recording limit exceeded. Restart the game/re-execute the movie config to record again.
alias startend2 "echo Be careful not to overwrite previous recordings."
alias startend3 "echo Find your screenshots in C:\Program Files\Steam\SteamApps\common\Counter-Strike Global Offensive\csgo"
alias startend "startend1;startend2;startend3"
bind "F12" "endmovie"
//Framerates - Control + Arrow Keys
bind "CTRL" "host_framerate 0;echo host_framerate reverted to default. DemoUI is functional again."
bind "LEFTARROW" "host_framerate 30;echo Now Capturing @ 30 FPS"
bind "DOWNARROW" "host_framerate 450;echo Now Capturing @ 450 FPS"
bind "RIGHTARROW" "host_framerate 1000;echo Now Capturing @ 1000 FPS"
bind "UPARROW" "host_framerate 300;echo Now Capturing @ 300 FPS"
//Demo Playback Speed - Keypad 0 through 4
bind "kp_ins" "demo_timescale .25;echo Demo Playback Speed: 25%"
bind "kp_end" "demo_timescale 1;echo Demo Playback Speed: 100%"
bind "kp_downarrow" "demo_timescale .5;echo Demo Playback Speed: 50%"
bind "kp_pgdn" "demo_timescale 2;echo Demo Playback Speed: 200%"
bind "kp_leftarrow" "demo_timescale 6;echo Demo Playback Speed: 600%"
//HUD
bind "F5" "cl_drawhud 0;echo HUD disabled"
bind "F6" "cl_drawhud 1;echo HUD enabled"
bind x "X-ray"
alias xray "sv_cheats 1;spec_show_xray 1;bind 1 hidemodel2;echo Player Model: ON"
alias xray2 "sv_cheats 1;spec_show_xray 0;bind 1 hidemodel;echo Player Model: OFF"
//GOTV Smooth
bind "w" "+forward"
bind "s" "+back"
bind "a" "+moveleft"
bind "d" "+moveright"
bind "i" "+moveup"
bind "k" "+movedown"
bind "j" "+left"
bind "l" "+right"
//Spectator player switch
bind "0" "spec_player 0"
bind "1" "spec_player 1"
bind "2" "spec_player 2"
bind "3" "spec_player 3"
bind "4" "spec_player 4"
bind "5" "spec_player 5"
bind "6" "spec_player 6"
bind "7" "spec_player 7"
bind "8" "spec_player 8"
bind "9" "spec_player 9"
config.cfgbind "0" "spec_player 0"
bind "1" "spec_player 1"
bind "2" "spec_player 2"
bind "3" "spec_player 3"
bind "4" "spec_player 4"
bind "5" "spec_player 5"
bind "6" "spec_player 6"
bind "7" "spec_player 7"
bind "8" "spec_player 8"
bind "9" "spec_player 9"
bind "x" "X-ray"
bind "KP_INS" "demo_timescale .25;echo Demo Playback Speed: 25%"
bind "KP_END" "demo_timescale 1;echo Demo Playback Speed: 100%"
bind "KP_DOWNARROW" "demo_timescale .5;echo Demo Playback Speed: 50%"
bind "KP_PGDN" "demo_timescale 2;echo Demo Playback Speed: 200%"
bind "KP_LEFTARROW" "demo_timescale 6;echo Demo Playback Speed: 600%"
bind "CTRL" "host_framerate 0;echo host_framerate reverted to default. DemoUI is functional again."
bind "UPARROW" "host_framerate 300;echo Now Capturing @ 300 FPS"
bind "LEFTARROW" "host_framerate 30;echo Now Capturing @ 30 FPS"
bind "DOWNARROW" "host_framerate 450;echo Now Capturing @ 450 FPS"
bind "RIGHTARROW" "host_framerate 1000;echo Now Capturing @ 1000 FPS"
bind "F1" "exec autoexec; echo -----autoexec LOADED-----"
bind "F2" "movieoverlay"
bind "F3" "toggleconsole"
bind "F4" "bug"
bind "F5" "cl_drawhud 0;echo HUD disabled"
bind "F6" "cl_drawhud 1;echo HUD enabled"
bind "F7" "exec binds.cfg"
bind "F8" "demoui"
bind "F9" "jpeg"
bind "F10" "startavia"
bind "F11" "starta"
bind "F12" "endmovie"
Si mal no recuerdo con esta config me reproducía la demo que quería
F2 para ponerme en modo 'movie'
Uparrow (para ponerme a 300fps que es como capturaba, aunque esto ya es al gusto, a más fps más suave y más imágenes vas a capturar)
F11 para empezar a capturar y bueno tal y como está montado permite 26 capturas seguidas en una misma demo (y creo que si no tienes las configs en sólo lectura como yo, directamente 26 capturas sin preocuparte)
F12 para acabar la captura
Bueno, si te lees los binds irás viendo todo el tema, vaya
Todo esto al final no es más que alguna "movie config" sacada de alguno de estos vídeos https://www.youtube.com/results?search_query=csgo+movie+config
A la que le modifiqué alguna cosa, como el alias para capturar 26 clips
Nota:
Creo que el sonido se capturaría con F10 pero ya no estoy seguro, porque la cosa es que había unos problemas con la pantalla completa el host_framerate y el capturar sonido, pero bueno, en los vídeos estos (busca alguno más bien tirando a actual mejor) te explican bien estos temas