Как исправить кириллицу в psql

В статье пойдёт речь о том, как добиться корректного вывода кириллицы в «консоли» Windows (cmd.exe).

Описание проблемы

В дистрибутив PostgreSQL, помимо всего прочего, для работы с СУБД входит:

• приложение с графическим интерфейсом pgAdmin;
• консольная утилита psql.

При работе с psql в среде Windows пользователи всегда довольно часто сталкиваются с проблемой вывода кириллицы. Например, при отображении результатов запроса к таблице, в полях которых хранятся строковые данные на русском языке.

Ну и зачем тогда работать с psql, кому нужно долбить клавиатурой в консольке, когда можно всё сделать красиво и быстро в pgAdmin? Ну, не всегда pgAdmin доступен, особенно если речь идёт об удалённой машине. Кроме того, выполнение SQL-запросов в текстовом режиме консоли — это +10 к хакирству.

Решение проблемы

Версии ПО:

• MS Windows 7 SP1 x64;
• PostgreSQL 8.4.12 x32.

На сервере имеется БД, созданная в кодировке UTF8.

Суть

Суть проблемы в том, что cmd.exe работает (и так будет до скончания времён) в кодировке CP866, а сама Windows — в WIN1251, о чём psql предупреждает при начале работы:

WARNING: Console code page (866) differs from Windows code page (1251)
         8-bit characters might not work correctly. See psql reference
         page "Notes for Windows users" for details.

Значит, надо как-то добиться, чтобы кодировка была одна.

В разных источниках встречаются разные рецепты, включая правку реестра и подмену файлов в системных папках Windows. Ничего этого делать не нужно, достаточно всего трёх шагов:

1. сменить шрифт у cmd.exe;
2. сменить текущую кодовую страницу cmd.exe;
3. сменить кодировку на стороне клиента в psql.

Конкретные действия

Супер быстро и просто

Запускаете cmd.exe, оттуда psql:

psql -d ВАШАБАЗА -U ВАШЛОГИН

Далее:

psql ! chcp 1251

Быстро и просто

Запускаете cmd.exe, оттуда psql:

psql -d ВАШАБАЗА -U ВАШЛОГИН

Вводите пароль (если установлен) и выполняете команду:

set client_encoding='WIN866';

И всё. Теперь результаты запроса, содержащие кириллицу, будут отображаться нормально. Но есть небольшой косяк:

Потому предлагаем ещё способ, который этого недостатка лишён.

Посложнее и подольше

Запустить cmd.exe, нажать мышью в правом левом верхнем углу окна, там Свойства — Шрифт — выбрать Lucida Console. Нажать ОК.

Выполнить команду:

chcp 1251

В ответ выведет:

Текущая кодовая страница: 1251

Запустить psql;

psql -d ВАШАБАЗА -U ВАШЛОГИН

Кстати, обратите внимание — теперь предупреждения о несовпадении кодировок нет.

Выполнить:

set client_encoding='win1251';

Он выведет:

SET

Всё, теперь кириллица будет нормально отображаться.

Проверяем:

Работаю в windows 10, в файле находится INSERT в с данными в базу postgresql, часть данных кириллицей написана. При импорте данных через cmd

user>psql -U postgres test < C:/Users/Documents/sql/data.sql

происходит корректное отображение данных в таблице psql (id 2, 3 таблицы). Но когда тот же самый файл импортирую через оболочку psql

# psql -U postgres test < i C:/Users/Documents/sql/data.sql;

кириллические символы отображаются в psql уже как кракозябры (id 1, 4).

# select * from test_table_one;
 id |       name       | price |  description
----+------------------+-------+----------------
  1 | сосисоны |  15.6 | йцукенъ
  2 | сосисоны         |  15.6 | йцукенъ
  3 | сосисоны         |  15.6 | йцукенъ
  4 | сосисоны |  15.6 | йцукенъ

кодировка базы такая:

# l
      Список баз данных
    Имя   | Владелец | Кодировка |     LC_COLLATE     |     LC_CTYPE        |
----------+----------+-----------+--------------------+---------------------
test      | postgres | UTF8      | Russian_Russia.1251| Russian_Russia.1251 |

psql encoding:

# SHOW client_encoding;
 client_encoding
-----------------
 WIN1251
(1 строка)

есть предположение, что это из-за локаля. Но как поменять его не знаю. Пробовал при создании базы указывать LC_COLLATE='Russian_Russia.UTF8' или LC_COLLATE='ru_RU.UTF8', но psql таких значений не принимает, только Russian_Russia.1251 или Russian_Russia.866.

Подскажите, пожалуйста, как брать данные из файла, находясь в psql, чтобы кириллица корректно отображалась.

Я так понимаю, что где-то неправильная кодировка, но не пойму где именно.

Важно: кракозябры только в дампе. Приложение, в котором у меня используется эта база данных, отображает кириллицу как надо.

База, которую нужно перенести, содержит кодировку UTF8 и локаль russian_Russia.1251
client_encoding — WIN1251
server_encoding — UTF8

Дамп создаю так:

pg_dump -U postgres -W -E UTF8 -d dbname > dbname.sql

Эксперимента ради, создала другую базу с локалью ru_RU.UTF8.
В дампе те же самые кракозябры, вот такого вида:
h%*h%�%d%h%%h%�%d%h%

Пробовала сделать SET CLIENT_ENCODING TO UTF8 , дамп всё тот же.

При этом, я пытаюсь перенести базу с Windows на Linux и в Linux с помощью file проверила кодировку получившегося дампа — UTF-16. Хотя я при его создании явно указываю уже UTF8.

Дополню:
Системная локаль у меня в линуксе:

$ locale
LANG=en_US.UTF-8
LANGUAGE=en_US
LC_CTYPE="en_US.UTF-8"
LC_NUMERIC=ru_UA.UTF-8
LC_TIME=ru_UA.UTF-8
LC_COLLATE="en_US.UTF-8"
LC_MONETARY=ru_UA.UTF-8
LC_MESSAGES="en_US.UTF-8"
LC_PAPER=ru_UA.UTF-8
LC_NAME=ru_UA.UTF-8
LC_ADDRESS=ru_UA.UTF-8
LC_TELEPHONE=ru_UA.UTF-8
LC_MEASUREMENT=ru_UA.UTF-8
LC_IDENTIFICATION=ru_UA.UTF-8
LC_ALL=

Список баз с кодировками и локалями там же:

Какие манипуляции делала с уже готовым дампом:

Восстанавливаю данные из дампа в предварительно созданную базу
$ psql -U valen running_events < events.sql
ERROR: invalid byte sequence for encoding «UTF8»: 0xff

При этом если открыть файл дампа в редакторе кода, вижу:
SET client_encoding = ‘UTF8’;

Проверяю кодировку дампа:
$ file events.sql
events.sql: Little-endian UTF-16 Unicode text, with CRLF line terminators
Конвертирую:
$ iconv -f UTF-16 -t UTF-8 events.sql -o events2.sql
файл создался

Вторая попытка восстановить данные уже из конвертированного дампа:
$ psql -U valen running_events < events2.sql
данные записались

Проверяю вывод таблиц из базы:
running_events=# dt
List of relations
Schema | Name | Type | Owner
———-+———-+——-+———-
public | events | table | postgres
(1 row)

Действительно всё записалось. Но:
running_events=# SELECT * FROM events WHERE id = 1;

Снова кириллица некорректно отображается. Несмотря на то, что у базы running_events русская локаль.

Ещё один момент:
В Windows (т. е. там же, где делаю дамп) происходит та же история. Из дампа данные в базу не записываются.

Ещё дополнение:
Решила проделать всю операцию от начала и до конца в Ubuntu. То есть, я создала базу с кодировкой UTF8 и локалью ru_RU.UTF8, вставила в неё одну запись, содержащую в одном из полей русский текст, потом сделала её дамп. Открыла в редакторе кода — вообще никаких некорректных символов, кириллица тоже отображается.
Восстановила данные из дампа в свежесозданную базу — всё записалось с первого раза. Проверила в psql — на запрос SELECT вижу ту единственную запись, кириллица отображается верно.

И всё же пока не понятно, почему в Windows так упорно не хочет создаваться нормальный дамп…

Файлы дампов на гитхабе:
https://github.com/composercoder/running-events/tr…

В этой директории есть три .sql файла.

• events_dump.sql — дамп основной базы из винды, которую я пытаюсь перенести
• events_dump_converted_to_utf8.sq — тот же, конвертированный в utf8
• events_linux_dump.sql — дамп такой же базы, созданной в убунту, с такой же таблицей, но всего одной записью

В общем-то, это не сама статья, а только ссылка на неё.

В своё время столкнувшись с проблемой отображения кириллицы в psql под Windows, я был удивлён разнообразием и бесполезностью решений, как это реализовать. В основном, предлагается править реестр и прибегать к иным шаманским приёмам.

На самом деле всё гораздо проще и быстрее, и рассказывается об этом здесь: http://iu5bmstu.ru/index.php?title=PostgreSQL_-_Кириллица_в_psql_под_Windows — это вики-портал одного студенческого сообщества. Опуская вступление и шуточки автора, вся суть находится в разделе Конкретные действия.

Этот пост я написал здесь по рекомендации посетителя, оставившего запись в обсуждении упомянутой страницы.