Ti posso consigliare di usare handbrake, un programma free. Se devi per forza usare vlc forse bisogna installare k lite codec pack
Sì, il codec h265 è il più efficiente, per cui avresti meno perdita a parità di dimensione. Come "contenitore" va bene mkv o MP4 . Per avere i MB di filmato desiderato devi variare il parametro AVG bitrate. Ovviamente più è piccolo è meno sarà il peso del file ma maggiore è la perdita di qualità, poi dipende dal filmato sorgente e la sua risoluzione...