Java: panels

Jeg har lavet denne lille eksempelkode, som er et udpluk fra et program:

import javax.swing.*;
import javax.swing.border.*;
import java.awt.*;
import java.awt.event.*;

public class Client {
   
    private Color bgColor = new Color(250,250,250);
    private JPanel panel;
   
    public Client() {
        JFrame frame = new JFrame("Test");
       
        panel = new JPanel(new FlowLayout(FlowLayout.LEFT));
        frame.add(panel, BorderLayout.CENTER);
       
        JPanel bottomPanel = new JPanel(new FlowLayout(FlowLayout.RIGHT));
        frame.add(bottomPanel, BorderLayout.SOUTH);
       
        JButton randomButton = new JButton("Random");
        bottomPanel.add(randomButton);
        randomButton.addActionListener(new ActionListener() {
            public void actionPerformed(ActionEvent e) {
                updateGame();
            }
        });
       
        updateGame();
       
        frame.pack();
        frame.setVisible(true);
    }
   
    private void updateGame() {
        JPanel boxPanel = new JPanel();
        boxPanel.setLayout(new BoxLayout(boxPanel,BoxLayout.Y_AXIS));
        JLabel gameTitleLabel = new JLabel(""+Math.random());
        boxPanel.add(gameTitleLabel);

        panel.removeAll();
        panel.add(boxPanel);
    }
   
    public static void main(String[] args) {
        Client client = new Client();
    }
   
}

Mit problem er, at når jeg trykker random, så bliver forandringen ikke vist, før end jeg f.eks. resizer vinduet i runtime.
Nogen der kan fortælle mig, hvorfor?

I behøver ikke undrer jer over, hvorfor jeg konstant tilføjer/fjerner et panel, istedet for bare at opdatere teksten hver gang - det er der en naturlig grund til, men det kan ikke ses ud af dette eksempel.