Git guarda todos los cambios realizados en el directorio .git de la carpeta donde se el repositorio. Para eliminarlo simplemente hay que borrar esa carpeta.
cd carpeta/
rm -rf .git
Documentación de Git: http://git-scm.com/documentation
Fuente:
http://polemicus.com
Muchisimas gracias, me ayudo para remover por fin mi repositorio creado en el Escritorio con git init sin querer !!!