Как исправить csv файл

Время на прочтение
5 мин

Количество просмотров 201K

Продукты HFLabs в промышленных объемах обрабатывают данные: адреса, ФИО, реквизиты компаний и еще вагон всего. Естественно, тестировщики ежедневно с этими данными имеют дело: обновляют тест-кейсы, изучают результаты очистки. Часто заказчики дают «живую» базу, чтобы тестировщик настроил сервис под нее.

Первое, чему мы учим новых QA — сохранять данные в первозданном виде. Все по заветам: «Не навреди». В статье я расскажу, как аккуратно работать с CSV-файлами в Excel и Open Office. Советы помогут ничего не испортить, сохранить информацию после редактирования и в целом чувствовать себя увереннее.

Материал базовый, профессионалы совершенно точно заскучают.

Что такое CSV-файлы

Формат CSV используют, чтобы хранить таблицы в текстовых файлах. Данные очень часто упаковывают именно в таблицы, поэтому CSV-файлы очень популярны.

_{CSV-файл состоит из строк с данными и разделителей, которые обозначают границы столбцов}

CSV расшифровывается как comma-separated values — «значения, разделенные запятыми». Но пусть название вас не обманет: разделителями столбцов в CSV-файле могут служить и точки с запятой, и знаки табуляции. Это все равно будет CSV-файл.

У CSV куча плюсов перед тем же форматом Excel: текстовые файлы просты как пуговица, открываются быстро, читаются на любом устройстве и в любой среде без дополнительных инструментов.

Из-за своих преимуществ CSV — сверхпопулярный формат обмена данными, хотя ему уже лет 40. CSV используют прикладные промышленные программы, в него выгружают данные из баз.

Одна беда — текстового редактора для работы с CSV мало. Еще ничего, если таблица простая: в первом поле ID одной длины, во втором дата одного формата, а в третьем какой-нибудь адрес. Но когда поля разной длины и их больше трех, начинаются мучения.

_{Следить за разделителями и столбцами — глаза сломаешь}

Еще хуже с анализом данных — попробуй «Блокнотом» хотя бы сложить все числа в столбце. Я уж не говорю о красивых графиках.

Поэтому CSV-файлы анализируют и редактируют в Excel и аналогах: Open Office, LibreOffice и прочих.

Ветеранам, которые все же дочитали: ребята, мы знаем об анализе непосредственно в БД c помощью SQL, знаем о Tableau и Talend Open Studio. Это статья для начинающих, а на базовом уровне и небольшом объеме данных Excel с аналогами хватает.

Как Excel портит данные: из классики

Все бы ничего, но Excel, едва открыв CSV-файл, начинает свои лукавые выкрутасы. Он без спроса меняет данные так, что те приходят в негодность. Причем делает это совершенно незаметно. Из-за этого в свое время мы схватили ворох проблем.

Большинство казусов связано с тем, что программа без спроса преобразует строки с набором цифр в числа.

Округляет. Например, в исходной ячейке два телефона хранятся через запятую без пробелов: «5235834,5235835». Что сделает Excel? Лихо превратит номера́ в одно число и округлит до двух цифр после запятой: «5235834,52». Так мы потеряем второй телефон.

Приводит к экспоненциальной форме. Excel заботливо преобразует «123456789012345» в число «1,2E+15». Исходное значение потеряем напрочь.

Проблема актуальна для длинных, символов по пятнадцать, цифровых строк. Например, КЛАДР-кодов (это такой государственный идентификатор адресного объекта: го́рода, у́лицы, до́ма).

Удаляет лидирующие плюсы. Excel считает, что плюс в начале строки с цифрами — совершенно лишний символ. Мол, и так ясно, что число положительное, коль перед ним не стоит минус. Поэтому лидирующий плюс в номере «+74955235834» будет отброшен за ненадобностью — получится «74955235834». (В реальности номер пострадает еще сильнее, но для наглядности обойдусь плюсом).

Потеря плюса критична, например, если данные пойдут в стороннюю систему, а та при импорте жестко проверяет формат.

Разбивает по три цифры. Цифровую строку длиннее трех символов Excel, добрая душа, аккуратно разберет. Например, «8 495 5235834» превратит в «84 955 235 834».

Форматирование важно как минимум для телефонных номеров: пробелы отделяют коды страны и города от остального номера и друг от друга. Excel запросто нарушает правильное членение телефона.

Удаляет лидирующие нули. Строку «00523446» Excel превратит в «523446».
А в ИНН, например, первые две цифры — это код региона. Для Республики Алтай он начинается с нуля — «04». Без нуля смысл номера исказится, а проверку формата ИНН вообще не пройдет.

Меняет даты под локальные настройки. Excel с удовольствием исправит номер дома «1/2» на «01.фев». Потому что Windows подсказал, что в таком виде вам удобнее считывать даты.

Побеждаем порчу данных правильным импортом

Если серьезно, в бедах виноват не Excel целиком, а неочевидный способ импорта данных в программу.

По умолчанию Excel применяет к данным в загруженном CSV-файле тип «General» — общий. Из-за него программа распознает цифровые строки как числа. Такой порядок можно победить, используя встроенный инструмент импорта.

Запускаю встроенный в Excel механизм импорта. В меню это «Data → Get External Data → From Text».

Выбираю CSV-файл с данными, открывается диалог. В диалоге кликаю на тип файла Delimited (с разделителями). Кодировка — та, что в файле, обычно определяется автоматом. Если первая строка файла — шапка, отмечаю «My Data Has Headers».

Перехожу ко второму шагу диалога. Выбираю разделитель полей (обычно это точка с запятой — semicolon). Отключаю «Treat consecutive delimiters as one», а «Text qualifier» выставляю в «{none}». (Text qualifier — это символ начала и конца текста. Если разделитель в CSV — запятая, то text qualifier нужен, чтобы отличать запятые внутри текста от запятых-разделителей.)

На третьем шаге выбираю формат полей, ради него все и затевалось. Для всех столбцов выставляю тип «Text». Кстати, если кликнуть на первую колонку, зажать шифт и кликнуть на последнюю, выделятся сразу все столбцы. Удобно.

Дальше Excel спросит, куда вставлять данные из CSV — можно просто нажать «OK», и данные появятся в открытом листе.

_{Перед импортом придется создать в Excel новый workbook}

Но! Если я планирую добавлять данные в CSV через Excel, придется сделать еще кое-что.

После импорта нужно принудительно привести все-все ячейки на листе к формату «Text». Иначе новые поля приобретут все тот же тип «General».

• Нажимаю два раза Ctrl+A, Excel выбирает все ячейки на листе;
• кликаю правой кнопкой мыши;
• выбираю в контекстном меню «Format Cells»;
• в открывшемся диалоге выбираю слева тип данных «Text».

_{Чтобы выделить все ячейки, нужно нажать Ctrl+A два раза. Именно два, это не шутка, попробуйте}

После этого, если повезет, Excel оставит исходные данные в покое. Но это не самая твердая гарантия, поэтому мы после сохранения обязательно проверяем файл через текстовый просмотрщик.

Альтернатива: Open Office Calc

Для работы с CSV-файлами я использую именно Calc. Он не то чтобы совсем не считает цифровые данные строками, но хотя бы не применяет к ним переформатирование в соответствии с региональными настройками Windows. Да и импорт попроще.

Конечно, понадобится пакет Open Office (OO). При установке он предложит переназначить на себя файлы MS Office. Не рекомендую: хоть OO достаточно функционален, он не до конца понимает хитрое микрософтовское форматирование документов.

А вот назначить OO программой по умолчанию для CSV-файлов — вполне разумно. Сделать это можно после установки пакета.

Итак, запускаем импорт данных из CSV. После двойного клика на файле Open Office показывает диалог.

_{Заметьте, в OO не нужно создавать новый воркбук и принудительно запускать импорт, все само}

1. Кодировка — как в файле.
2. «Разделитель» — точка с запятой. Естественно, если в файле разделителем выступает именно она.
3. «Разделитель текста» — пустой (все то же, что в Excel).
4. В разделе «Поля» кликаю в левый-верхний квадрат таблицы, подсвечиваются все колонки. Указываю тип «Текст».

Штука, которая испортила немало крови: если по ошибке выбрать несколько разделителей полей или не тот разделитесь текста, файл может правильно открыться, но неправильно сохраниться.

Помимо Calc у нас в HFLabs популярен libreOffice, особенно под «Линуксом». И то, и другое для CSV применяют активнее, чем Excel.

Бонус-трек: проблемы при сохранении из Calc в .xlsx

Если сохраняете данные из Calc в экселевский формат .xlsx, имейте в виду — OO порой необъяснимо и масштабно теряет данные.

_{Белая пустошь, раскинувшаяся посередине, в оригинальном CSV-файле богато заполнена данными}

Поэтому после сохранения я еще раз открываю файл и убеждаюсь, что данные на месте.

Если что-то потерялись, лечение — пересохранить из CSV в .xlsx. Или, если установлен Windows, импортнуть из CSV в Excel и сохранить оттуда.

После пересохранения обязательно еще раз проверяю, что все данные на месте и нет лишних пустых строк.

Если интересно работать с данными, посмотрите на наши вакансии. HFLabs почти всегда нужны аналитики, тестировщики, инженеры по внедрению, разработчики. Данными обеспечим так, что мало не покажется

Как я могу восстановить поврежденные файлы CSV?

1. Используйте кодировку Unicode UTF-8
2. Используйте другое программное обеспечение, чтобы открыть файл CSV или импортировать и восстановить в Excel .
3. Конкретные решения
4. Используйте Блокнот или Excel, чтобы создать файл CSV и восстановить его
5. Восстановить с помощью функции автоматического восстановления
6. Восстановить, используя файл TMP
7. Восстановить поврежденный файл CSV из предыдущей версии

Поврежденный CSV-файл вызван несколькими факторами, включая недопустимое форматирование, использование недопустимых символов, разрывы строк внутри полей и другие.

Файл CSV, также известный как файл значений, разделенных запятыми, представляет собой формат, в котором хранятся данные буквенно-цифровой табличной структуры, но в текстовом формате.

Такие файлы имеют записи данных, каждый из которых представляет собой набор из по меньшей мере двух (или более) полей, разделенных запятыми. Их можно импортировать или экспортировать из программ, таких как Excel или Open Office Calc, которые хранят данные в структуре столбцов строк.

Среди причин повреждения CSV-файла:

• Контрольные символы ASCII в конце строки, которые не могут быть напечатаны
• Разделитель символов в тексте файлов CSV
• Разрывы строк в полях, в которых нет двойных кавычек
• Использование недопустимых символов, таких как -, (),.,:, * И другие
• Пустые строки в конце поврежденного файла CSV с разделителем
• Длинные числа с начальными нулями
• Неверный формат файла CSV
• Файл CSV, не использующий UTS (кодировка

Чтобы исправить поврежденный файл CSV, ниже приведен список решений, которые помогут вам восстановить документ в исправном формате.

Исправить поврежденные проблемы с CSV-файлами

1. Используйте кодировку Unicode UTF-8

• Откройте файл CSV
• Нажмите Файл> Сохранить как
• Введите имя файла
• Выберите Сохранить как тип файла CSV из выпадающего
• Нажмите Инструменты> перейти к параметрам Web
• Перейдите к Кодировке в разделе Сохранить этот документ
• Выберите Юникод (UTF-8)

2. Используйте другое программное обеспечение, чтобы открыть файл CSV или Импорт и восстановление в Excel

Если числа не отображаются должным образом, не сохраняйте файл CSV. Вы можете использовать другое программное обеспечение, чтобы открыть файл CSV, или использовать шаги ниже, чтобы импортировать поврежденный файл CSV в Excel и восстановить его.

• Open Excel – новая рабочая книга
• Нажмите вкладку Данные
• Выбрать из текста в разделе «Получить внешние данные»
  
• Просмотрите поврежденный файл CSV
• Нажмите Импорт
• Выберите разделитель> Далее
• Выберите запятую и нажмите Далее
• Щелкните столбец с номерами> нажмите «Текст».
• Повторите шаги для всех столбцов с номерами> нажмите кнопку ОК

– СВЯЗАННО: Excel не открывает файлы, вместо этого отображается белый экран? Вы можете это исправить

Примечание. Делайте это каждый раз при открытии файла в Excel.

Используйте FileViewer Plus

Если вам нужно открыть файлы .csv (или другие файлы электронных таблиц) в Windows 10, и вы не можете этого сделать, вы всегда можете использовать сторонние решения. Мы рекомендуем FileViewer Plus, универсальный просмотрщик файлов для Windows, который может открывать и отображать более 300 различных типов файлов, включая различные типы презентаций, такие как файлы .csv.

• Получить сейчас FileViewer Plus 3

3. Конкретные решения

• Если иностранные символы повреждены или отсутствуют, используйте листы Google или приложения Open Office, Libre Office, Notepad ++ advance для восстановления поврежденного файла CSV
• Если вы получаете сообщение об ошибке импорта, говорящее «строка 1 имеет слишком много столбцов…», создайте новый файл CSV с данными в 14 столбцах, используя Excel, Notepad ++ или другие приложения для восстановления данных CSV

Если проблема связана с использованием элемента управления ASCII, специальных или дополнительных символов-разделителей, выполните следующие действия:

• Удалить пробелы в конце файла
• Исправьте лишние запятые в поврежденном файле CSV, удалив дополнительные символы-разделители, которые разделяют поля обработчика и извлекают данные файла

4. Используйте Блокнот или Excel, чтобы создать файл CSV и восстановить его

Использование блокнота

• Введите текстовые данные в файл с каждым из полей, разделенных запятой
• Разделите каждую строку новой строкой
• Сохраните файл, используя расширение .csv

Использовать электронную таблицу Excel

• Введите данные в таблицу Excel
• Нажмите Файл
• Выберите Сохранить как
• Выберите Сохранить как тип
• Выберите CSV (через запятую)

5.Восстановление с помощью функции автоматического восстановления

Эту функцию можно найти в Excel. Откройте электронную таблицу и найдите окно автоматического восстановления (обычно в левой части окна). На экране есть список, из которого вы можете выбрать файл CSV. Работает с несохраненными файлами.

– СВЯЗАННЫЕ: 11 лучших инструментов для восстановления поврежденных файлов в Windows 10

6. Восстановите, используя файл TMP

Windows обычно создает временный (TMP) файл, который может помочь вам восстановить файл CSV, если он недоступен или поврежден. Сделать это:

• Перейдите туда, где находится папка временного файла: C: UsersAppDataLocalMicrosoftOfficeUnsavedFiles .
  
• Поиск в файлах Excel с расширением .TMP
• Выберите правильный, проверив данные
• Скопируйте и вставьте или сохраните его в другом месте, используя расширение .CSV .

7. Восстановите поврежденный файл CSV из предыдущей версии.

Это исправление полезно, когда файлы CSV сохраняются или заменяются. Сделать это:

• Перейдите к поврежденному файлу CSV и щелкните по нему правой кнопкой мыши.
• Выберите Свойства
• Нажмите Предыдущие версии
• Выберите последнюю версию перед сохранением/заменой
• Нажмите Восстановить (убедитесь, что точки восстановления включены)

Удалось ли вам найти решение среди перечисленных здесь? Дайте нам знать, какой из них работал для вас, оставив комментарий в разделе ниже.

CSV – популярное расширение файлов, которые используются, в основном, для обмена данными между различными компьютерными программами. Чаще всего необходимости в открытии и редактировании таких документов нет. Однако в некоторых случаях перед пользователями может встать такая задача. Программа Excel позволяет это сделать, но в отличие от стандартных файлов в формате XLS и XLSX, простое открытие документа двойным щелчком мыши не всегда дает качественный результат, что может выражаться в некорректном отображении информации. Давайте посмотрим, каким образом можно открыть файлы с расширением CSV в Экселе.

Для начала давайте разберемся, что из себя представляют документы в данном формате.

CSV – аббревиатура, которая расшифровывается как “Comma-Separated Values” (на русском языке означает “значения, разделенные запятыми”).

Как следует из названия, в таких документах используются разделители:

• запятая – в англоязычных версиях;
• точка с запятой – в русскоязычных версиях программы.

Во время открытия документа в Excel основная задача (проблема) заключается в выборе способа кодировки, примененного при сохранении файла. Если будет выбрана не та кодировка, скорее всего, пользователь увидит множество нечитаемых символов, и полезность информации будет сведена к минимуму. Помимо этого, ключевое значение имеет используемый разделитель. Например, если документ был сохранен в англоязычной версии, а затем его пытаются открыть в русскоязычной, скорее всего, качество отображаемой информации пострадает. Причина, как мы ранее отметили, заключается в том, что в разных версиях используются разные разделители. Давайте посмотрим, как избежать этих проблем и как правильно открывать файлы CSV.

Прежде, чем приступить к более сложным методам, давайте рассмотрим самый простой. Он применим только в тех случаях, когда файл был создан/сохранен и открывается в одной и той же версии программы, а значит, проблем с кодировкой и разделителями быть не должно. Здесь возможно два варианта, опишем их ниже.

Excel установлена как программа по умолчанию для открытия CSV-файлов

Если это так, открыть документ можно как и любой другой файл – достаточно просто дважды щелкнуть по нему.

Для открытия CSV-фалов назначена другая программа или не назначена вовсе

Алгоритм действия в таких ситуациях следующий (на примере Windows 10):

1. Щелкаем правой кнопкой мыши по файлу и в открывшемся контекстном меню останавливаемся на команде “Открыть с помощью”.
2. Во вспомогательном меню система может сразу предложить программу Excel. В этом случае кликаем по ней, в результате чего файл откроется (как и при двойном щелчке по нему). Если нужной нам программы нет в списке, кликаем по пункту “Выбрать другое приложение”.
3. Появится окно, в котором мы можем выбрать программу (чтобы раскрыть весь список доступных вариантов, требуется нажать кнопку “Еще приложения”), с помощью которой требуется открыть документ. Ищем то, что нам нужно и жмем OK. Чтобы назначить Excel приложением по умолчанию для данного типа файлов, предварительно ставим соответствующую галочку.
4. В некоторых случаях, когда и в этом окошке не удается найти Эксель, щелкаем по кнопке “Найти другое приложение на этом компьютере” в конце списка.
5. На экране отобразится окно, в котором мы переходим к расположению программы на ПК, отмечаем исполняемый файл с расширением EXE и жмем кнопку “Открыть”.

Независимо от того, какой из описанных выше способов был выбран, результатом будет открытие CSV-файла. Как мы упомянули выше, корректно отображаться содержимое будет только при соответствии кодировки и разделителей.

В остальных случаях может показываться нечто подобное:

Поэтому описанный метод подходит не всегда, и мы переходим к следующим.

Метод 2: применяем Мастер текстов

Воспользуемся интегрированным в программу инструментом – Мастером текстов:

1. Открыв программу и создав новый лист, чтобы получить доступ ко всем функциям и инструментам рабочей среды, переключаемся во вкладку “Данные”, где щелкаем по кнопке “Получение внешних данных”. Среди раскрывшихся вариантов выбираем “Из текста”.
2. Откроется окно, в котором нам нужно перейти к расположению файла, который требуется импортировать. Отметив его жмем кнопку “Импорт”.
3. Появится Мастер текстов. Проверяем, чтобы была выбрана опция “с разделителями” для параметра “Формат данных”. Выбор формата зависит от кодировки, которая была использована при его сохранении. Среди самых популярных форматов можно отметить “Кириллицу (DOS)” и “Юникод (UTF-8)”. Понять, что сделан правильный выбор можно, ориентируясь на предварительный просмотр содержимого в нижней части окна. В нашем случае подходит “Юникод (UTF-8)”. Остальные параметры чаще всего не требует настройки, поэтому жмем копку “Далее”.
4. Следующим шагом определяемся с символом, который служит в качестве разделителя. Так как наш документ был создан/сохранен в русскоязычной версии программы, выбираем “точку с запятой”. Здесь у нас, как и в случае с выбором кодировки, есть возможность попробовать различные варианты, оценивая результат в области предпросмотра (можно, в том числе, указать свой собственный символ, выбрав опцию “другой”). Задав требуемые настройки снова нажимаем кнопку “Далее”.
5. В последнем окне, чаще всего, вносить какие-либо изменения в стандартные настройки не нужно. Но если требуется изменить формат какого-то столбца, сначала кликаем по нему в нижней части окна (поле “Образец”), после чего выбираем подходящий вариант. По готовности жмем “Готово”.
6. Появится окошко, в котором выбираем способ импорта данных (на имеющемся или на новом листе) и жмем OK.
7. Все готово, нам удалось импортировать данные CSV-файла. В отличие от первого метода, мы можем заметить, что была соблюдена ширина столбцов с учетом содержимого ячеек.

И последний метод, которым можно воспользоваться заключается в следующем:

1. Запустив программу выбираем пункт “Отрыть”.Если программа уже ранее была открыта и ведется работа на определенном листе,  переходим в меню “Файл”.Щелкаем по команде “Открыть” в списк команд.
2. Жмем кнопку “Обзор”, чтобы перейти к окну Проводника.
3. Выбираем формат “Все файлы”, переходим к месту хранения нашего документа, отмечаем его и щелкаем кнопку “Открыть”.
4. На экране появится уже знакомый нам Мастер импорта текстов. Далее руководствуемся шагами, описанными в Методе 2.

Заключение

Таким образом, несмотря на кажущуюся сложность, программа Эксель вполне позволяет открывать и работать с файлами в формате CSV. Главное – определиться с методом реализации. Если при обычном открытии документа (двойным щелчком мыши или через контекстное меню) его содержимое содержит непонятные символы, можно воспользоваться Мастером текста, который позволяет выбрать подходящую кодировку и знак разделителя, что напрямую влияет на корректность отображаемой информации.