Mit welchem Programm probierst du es denn aus?
Bist du dir sicher, dass du es auch richtig angeschlossen hast? Es ist nicht auf allen Soundkarten so, dass es nur einen grünen Anschluss für die Kopfhörer und einen roten für das Mikrophon gibt. Bei Karten mit mehr Anschlüssen ist es oft nicht gleich ersichtlich, wo das Mikrophon denn reingehört.

Also normalerweise ist es der rote. Wenn du mehr hast, musst du entweder im Handbuch nachschlagen, oder du schaust selber nach. Normalerweise sind da so kleine Symbole, die dir zeigen sollen, wofür der Anschluss ist. Beim Mikrophon düfte also ein kleines Mikrophon sein. Unter folgendem Link ist auch ein Bildchen dazu, allerdings scheint das auch eine Anleitung zu sein, die du insgesamt ganz nützlich finden könntest:

supportnet.de/faqsthread/2332128

Hast du denn in den Einstellungen in Windows das Mikrophon ausgewählt? Hast du es in Audacity ausgewählt? Oft haben Programme, die damit arbeiten, nochmal einzelne Einstellungen.

Hast du schon mal ein anderes Mikro ausprobiert oder versucht, das Mikro bei einem Freund anzuschliessen? Sollte ein anderes Mikro auch nicht funktionieren, wird wohl der Anschluss kaputt sein und wenn das Mikro woanders nicht klappt kannst du wohl davon ausgehen, dass das Mikro kaputt ist (es sei denn, die Soundeinstellungen sind der Grund).
An Windows XP dürfte es eigentlich nicht liegen, das Mikro da alleine aufzunehmen ist kein Problem. Nur zusammen mit Ingamesound oder was anderem was zwei Tonspuren benötigen würde, würde das Probleme bereiten, aber das ist ja nicht deine Absicht.

Ansonsten probier mal den No23 Recorder (chip.de/downloads/No23-Recorder_13011558.html) aus. Da kannst du zumindestens leichter einstellen, was genau du aufnehmen willst, weil du da nicht noch suchen musst. Und wenn gar nichts geht lass halt mal probeweise etwas über den Windows Media Player laufen um zu sehen, ob du überhaupt dein Mikrofon aufnimmst oder deinen Computer.

Was die Soundeinstellungen angeht kann ich dir leider nicht helfen, da ich Windows 7 besitze. Such vielleicht mal ein wenig darin herum, vielleicht findest du da ja per Zufall was, was dir hilft.