Генерация корневой пары ключ-сертификат:

openssl genrsa -out rootCA.key 2048
openssl req -x509 -new -key rootCA.key -days 10000 -out rootCA.crt

обязательно заполнить
Organizational Unit Name (eg, section) []:3221 CA
и указать сервер
Common Name (e. g. server FQDN or YOUR name) []:dc.3221.ru

Генерация приватного ключа и сертификата, подписанного корневым сертификатом:

openssl genrsa -out dc.3221.ru.key 2048
openssl req -new -key dc.3221.ru.key -out dc.3221.ru.csr

обязательно заполнить и указать ОТЛИЧНЫМ от предыдущего
Organizational Unit Name (eg, section) []:3221 AD
и указать сервер (в большинстве случаев тот же самый)
Common Name (e. g. server FQDN or YOUR name) []:dc.3221.ru

Далее

openssl x509 -req -in dc.3221.ru.csr -CA rootCA.crt -CAkey rootCA.key -CAcreateserial -out dc.3221.ru.crt -days 5000

и копируем в папку самбы

cp dc.3221.ru.crt dc.3221.ru.key rootCA.crt /var/lib/samba/private/tls/

рестартим самбу

systemctl restart samba

файлик rootCA.crt закинуть на виндовые машины и поместить в доверенные корневые центры сертификации

результат работы под виндой можно проверить с помощью утилиты ldp (указать имя сервера, порт 636, поставить SSL)