Итак, давайте сначала посмотрим, как выглядит окно без перегрузки.

Окно как окно. А теперь перегружаем, появятся две функции.

BOOL CTestPaintDlg::OnNcActivate(BOOL bActive) 
{
	// TODO: Add your message handler code here and/or call default
	return CDialog::OnNcActivate(bActive);
}

void CTestPaintDlg::OnNcPaint() 
{
	// TODO: Add your message handler code here
	// Do not call CDialog::OnNcPaint() for painting messages
}

Давайте запустим:

Диалоговое окно без оформления. Но элементы заголовка окна Вы все равно сможете увидеть, если будете его таскать, например, или снимать активизацию. Это срабатывает CDialog::OnNcActivate(bActive), уберите вызов этой функции и попробуйте снова.

BOOL CTestPaintDlg::OnNcActivate(BOOL bActive) 
{
	// TODO: Add your message handler code here and/or call default
	//return CDialog::OnNcActivate(bActive);
	return TRUE;
}

Теперь все нормально. Да, уберите флаг диалога System Menu.