MSVC und die Microsoft debugging tools dürfen wir leider nicht mit in den Installer packen. Daher musst Du die leider extra installieren (am einfachsten wohl über das windows SDK, da sollte mittlerweile alles nötige drin sein und es kostet nichts).
Die Mingw-Version von Qt hat einen Kompiler mit drin, den gcc dürfen wir zum Glück mitliefern.
Bitte achte darauf, dass unter windows alle versionen von MSVC zueinander inkompatibelen Code erzeugen. Ein MSVC 2010-Qt wird also nicht mit einem MSVC 2012 Compiler funktionieren. Natürlich sind auch MSVC und mingw zueinander inkompatibel. Mit mingw ist es i.d.R. etwas besser, aber auch dort kannst Du in Schwierigkeiten kommen, wenn Du verschiedene Versionen (oder Distributionen der selben Version!) mischst.