Kan man gemme sin ConfigurationManager.AppSetting

Jeg har lavet en form som indlæser mine settings fra App.Config.
Jeg har nogle if sætning som undersøger for ændringer når en bruger trykker OK. Nu skal de nye værdier gemmes. Men hvordan?

if (ConfigurationManager.AppSettings["From"] != tbFromEmail.Text)
                ConfigurationManager.AppSettings.Set("From", tbFromEmail.Text);

            if (ConfigurationManager.AppSettings["SMTP"] != tbSmtp.Text)
                ConfigurationManager.AppSettings.Set("SMTP", tbSmtp.Text);

            if (ConfigurationManager.AppSettings["Server"] != tbServer.Text)
                ConfigurationManager.AppSettings.Set("Server", tbServer.Text);

Jeg kan ikke se at det virker. Når man åbner filen, App.Config efter kan man ikke se nogle ændringer.

Kan i hjælpe?