SSLの設定をおこない「 https 」から始まるアドレスでサイトを開けるようになった後も、「 http 」から始まるアドレスでサイトを開くことができます。
リダイレクト(自動転送)の設定をおこなう事で、常に「 https 」から始まるアドレスでサイトが開くようになります。

※ 設定ファイルを直に編集するので誤りの無いようご注意ください。
対応は自己責任の上でお願いいたします。

.htaccessファイルに記述を追加

WordPressの設置ディレクトリ直下にある「.htaccess」ファイルを開き、いちばん上の行に以下の記述を追加します。

<ifmodule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTPS} off
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
</ifmodule>

記述の追加場所に注意を

.htaccessファイルには、WordPressで使用する設定があらかじめ記述されています。
(「# BEGIN WordPress」と「# END WordPress」の間)

また、使用プラグインに関係する記述が追加されている場合があります。
http → https リダイレクト(自動転送)用の記述は、それらの記述の前に追加します。

# BEGIN WordPress
〜
# END WordPress

.htaccessファイルを開く方法

通常、FTPソフトを使ってサーバーにアクセスしダウンロードした.htaccessファイルを編集します。編集が終わったら再度サーバーにアップロードします。

ロリポップなどのレンタルサーバーでは、FTPソフトを使わなくても管理画面上で直接ファイルの編集などがおこなえる機能を備えている場合があります。

ロリポップ！FTPについて｜ロリポップ・マニュアル »

プラグインを使った対応について

「Really Simple SSL」などのプラグインを使用すると、.htaccessファイルの編集をしなくても簡単に http → https リダイレクト(自動転送)の設定が可能です。

ただし、何らかの理由でプラグインが正常に機能しなくなると表示に支障が及ぶことがあるので、できれば.htaccessファイルに記述を追加しての対応をおすすめします。