Во многих программах по разгону в конфиге стоит опция Thrash Hold (защита сбоя), то-бишь прописаны все допустимые частоты для видюх и ограничение на возгорание. Либо нужно по опциям шарить, либо конфиг файл править и снимать эту опцию.
Но сам понимаешь, не мы такие умные, и защита стоит не зря !
Весь прикол в том, что в данную минуту у тебя память еле теплая, но при обработке данных при помощи например OpenGL у тебя возрастет тепловыделение ! И хуже того, память то холодная, но процессор на видюхе греется !
Авторы программ учли это и поставили барьеры. И еще, гониться не только память, но еще и разрядность ядра, не забудь про него...

Для начала что у тебя за программа, а потом можно в Яндексе написать такую тему и поискать готовые профессиональные ответы.
Настоятельно рекомендую залезть на

http://www.overclockers.ru

там сайт целиком посвящен разгону...

А вообще я бы тебе не советовал гнать оборудование. Хочешь его добить разгоняй, хочешь чтоб работало стабильно лучше не трогай ! Частоты для твоей видеокарты в 600Mhz и так хватит, GeForce 6800GT все-равно не догонишь !