Для начала нужна библиотека типов.

Эта библиотека типов даст нам классы. Первый класс, который нас интересует это соединение. Его нужно создавать первым. Вот так:

Private Sub Command1_Click()
Dim adoConnect As ADODB.Connection
Set adoConnect = New ADODB.Connection
' Код
Set adoConnect = Nothing
End Sub

У класса Connection есть хороший метод Open, который открывает соединение. Ему нужно сообщить в качестве параметров строку инициализации, имя и пароль.

С именем и паролем понятно куда идти ? К администратору... А вот строку соединения нужно создать. Самое простое - это использовать ADO Data Control для ее генерации, как в шаге "Шаг 35 - Настройка ADO для доступа к SQL Server" и оттуда ее содрать в свой код.

Private Sub Command1_Click()
Dim adoConnect As ADODB.Connection
Set adoConnect = New ADODB.Connection
Dim strConnect As String
strConnect = "Provider=SQLOLEDB;Persist Security Info=False;User ID=sa;Initial Catalog=test;Data Source=Servers"
adoConnect.Open strConnect, "sa", "123"
Set adoConnect = Nothing
End Sub

Можно сделать и по-другому, строку соединения указать в ConnectionString.