Det är skillnad på vilken videokomprimering som använts.
h.264/x.264 är den standard som används i HDTV-sändningar idag. Är MPEG4-baserad, vilket medför att den ger mindre storlek än MPEG2.
WMV-HD är Windows Media Video, i HD-upplösning. Är också MPEG4-baserad. Du har även xvid som också är MPEG4-komprimerad.
xvid och x.264 i jämförelse (h.264 och x.264 är samma sak, bara det att x.264 är en open-source klon) så är x.264 bättre, rent bildkvalitémässigt, men tar också klart med CPU-kräm än xvid att dekoda. Dessutom finns det inga media-spelare som klarar x264 i dagsläget (tex tvix-spelare mm).
WMV har jag ingen uppfattning om, är väl inget direkt fel med det, men ger nog också vissa problem att spela upp på andra plattformar än windows.
Jag skulle nog rekommendera x.264 eller h.264, även om det är lite knepigt att få igång det. ffdshow kan dekoda det, men då behöver du bra med kräm för det (min P4 2.6GHz klarar det inte). Finns CoreAVC som är en klart effektivare codec, men den kostar pengar. De flesta x.264/h.264 filer är också inbäddade i Matroska-container (likvärdigt med en AVI-container), och kräver en splitter för att fungera. Haali media splitter är då den mest använda i min mening.
Så. summa summarum. Alla format är bra på sitt sätt. För minst problem, välj XviD. För bäst kvalité, välj h.264/x.264. MPEG2 borde du nog inte bry dig om, även om bildkvalitén kanske är snäppet bättre på dessa, har inte testat de själv då de är så djävulskt stora. WMV-HD, ja, om det inte finns i nåt annat format...