Чем открыть sql файл большого размера

Чем редактировать большой файл?

Проблема: Есть большой файл (порядка 500 мегов). По сути это SQL дамп базы данных. Необходимо просто открыть его и поменять в заголовке парочку слов(кодировку). Все хорошо, но любимый vim почему-то не хочет открывать такой большой файл? Тупит по долгу, а когда все-таки откроет тормозит безбожно.

Подскажите, пожалуйста, чем можно редактировать большие текстовые файлы?

anonymous
01.07.08 10:33:24 MSD

iRunix ★★★★
( 01.07.08 10:40:10 MSD )
~~sdio~~ ★★★★★
( 01.07.08 10:41:03 MSD )
Ответ на: комментарий от iRunix 01.07.08 10:40:10 MSD

К сожалению, это лишь для чтения, а мне нужно редактирование.

anonymous
( 01.07.08 10:41:07 MSD )
Ответ на: комментарий от anonymous 01.07.08 10:41:07 MSD

echo для чтения? man

iRunix ★★★★
( 01.07.08 10:41:42 MSD )

емаксом попробуй =) я 300-метровый дамп емаксом открывал.

Komintern ★★★★★
( 01.07.08 10:43:07 MSD )

dd if=somefile.sql of=head.sql bs=1M count=сколько-надо dd if=somefile.sql of=tail.sql bs=1M skip=сколько-надо vim head.sql cat head.sql tail.sql > somefile.sql

З.Ы. может открыть его в vi? (именно в vi а не в vim)

Nao ★★★★★
( 01.07.08 11:07:47 MSD )
Ответ на: комментарий от sdio 01.07.08 10:41:03 MSD

sed’ом получилось. Спасибо!

Использовал команду: sed -i ‘1,15s/SET NAMES utf8/SET NAMES cp1251/’ dump.bk

но вот в чем вопрос: хотя и указал что меня интересуют как максимум первые 15 строчек — все равно sed прочитал весь файл (ощутимо по времени). Что было не верно?

anonymous
( 01.07.08 11:14:50 MSD )

Поменять пару слов? Присоединяюсь к sdio — sed.

Laz ★★★★★
( 01.07.08 11:15:39 MSD )
Ответ на: комментарий от anonymous 01.07.08 11:14:50 MSD

sed — stream editor.

Он редактирует в потоке, т.е. читает файл по кускам, изменяет и записывает заново. Поскольку совпадение может быть в любом месте файла, то и прочитать его надо весь.

Редактирование в потоке — та вещь, которую в вантузе недооценивают: зачем-то ищут редакторы, способные сожрать весь файл сразу, когда в потоке можно редактировать файлы неограниченной длины.

annoynimous ★★★★★
( 01.07.08 11:21:09 MSD )
Ответ на: комментарий от anonymous 01.07.08 11:14:50 MSD

есть команда q
можно было бы дать команду 16q
но я не уверен что будет результатом, возможно от файла останутся только первые 15 строк 🙂
надо проверить

Подскажите, чем можно открыть большой дамп базы данных?

Если у кого есть опыт по работе с большими файлами, готов выслушать ваши советы. Заранее благодарен.

На сайте с 10.04.2008
21 сентября 2010, 10:15

DyaDya:
Возникла следующая проблема. Есть старый бекап базы данных Mysql. Нужно его восстановить. Но при заливке dumper-ом, пишет, что

Во-первых, не понятно, как же тогда сделан бекап, если при восстановлении выкидывает такую ошибочку? Но сделать новый бекап возможности уже нет.
Во-вторых, файл весит более 150 мегов. Не знаю, чем бы его открыть, чтобы можно было комфортно с ним работать, вносить правки, удалять дубли и т.п. Пробовал несколькими текстовыми редакторами (Notepad, HomeSite), но все они жутко подвисают.

Если у кого есть опыт по работе с большими файлами, готов выслушать ваши советы. Заранее благодарен.

phpexperteditor либо бесплатный notepad++ хорошо такие файлы открывает вроде.

21 сентября 2010, 10:24
DyaDya:
Пробовал несколькими текстовыми редакторами (Notepad, HomeSite), но все они жутко подвисают.

Нотепад (родной виндовый) забыть как страшный сон! (я серьёзно). И использовать любой правильный блокнот (желательно с подсветкой синтаксиса и сворачиванием блоков)

Notepad++, AcelPad (с плагинами для кодеров), PsPad и мн других.

Но 150 метров.. не легко придётся 🙂

На сайте с 11.04.2007
21 сентября 2010, 10:31
SeoNizator:
Notepad++

пробую его, родименького. Но тоже, еле дышит(.

DyaDya добавил 21.09.2010 в 14:35

Подумываю снять с поля таблицы «Уникальный ключ», залить дамп в базу.

Потом выборку сделать и поудалять дубли.

На сайте с 25.05.2008
21 сентября 2010, 10:36

Может, попробовать очистить базу перед заливкой дампа? 🙂

Лог в помощь!
На сайте с 24.12.2007
21 сентября 2010, 10:37

DyaDya, обычно такая ошибка возникает при наличии нуля в автоинкрементном поле:

Я бы на вашем месте пробежался скриптом по этому файлу и заменил к чертям «INSERT INTO» на «INSERT IGNORE INTO». Хотя, зависит от того, что вам дальше делать с этим дампом. Если просто выдрать некоторые данные — по фигу, а вот если восстанавливать работоспособность сайта целиком — тогда могут грабли какие-нибудь вылезти.

На сайте с 11.04.2007
21 сентября 2010, 10:44
[umka:
]Может, попробовать очистить базу перед заливкой дампа?

В этом и прикол. Что дамп делается уже с дублями. Как такое выходит, не знаю.

В дампе, конечно же, есть перед каждой табличкой типа:

DROP TABLE IF EXISTS `имя таблицы`;

Поэтому дубли не из-за того, что она изначально не пустая). Пробовал уже, чистил. Не помогает).

На сайте с 06.05.2007
21 сентября 2010, 10:54
Но при заливке dumper-ом

1.дамп мог сделаться нормально, даже если нарушена целостность индексов.

ну или sypex этот налажал. Это же не программа из дистрибутива прошедшая контроль качества и разрабатываемая годами, а обычный пшп-скрипт украинских шабашников.

И сколько ж там дублей? Если достаточно много, то дело не в случайном сбое.

2.любой нормальный редактор БЕЗ раскраски. хоть и FAR старенький без плагинов.

Кнопка вызова админа ( )
На сайте с 25.11.2006
21 сентября 2010, 11:00

Я большие файлы открываю стареньким Bred 3.0.3E

Он махом работает с такими файлами.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Размещение статей СНГ и Бурж: https://getmanylinks.ru/

На сайте с 11.04.2007
21 сентября 2010, 12:10
LEOnidUKG:
Я большие файлы открываю стареньким Bred 3.0.3E

Попробовал этот Бред, при попытке открыть файл пишет: «Недостаточно памяти для завершения операции.»

p.s. На всяк случай, оперативки 4 гига.

DyaDya добавил 21.09.2010 в 17:00

Удалось, доковыряться с Notepad++:

1. Старался делать меньше лишних движений). Нашёл табличку с дублями кеев. Снял с поля id автоинкремент и праймери кей

2. Затем спокойно залил базу.

3. Одним запросом нашёл все записи с одинаковыми id (получилось штук 9 всего). Пришлось их удалить нафиг.

4. Затем через пхпмайадмин спокойно добавил нужные автоинкремент и праймери кей на поле id. Всё прокатило и почти без потерь 😉

Но шустрого редактора для таких файлов так и не нашёл. Комп и хард, видимо, медленные).

DyaDya добавил 21.09.2010 в 21:15

Опана. Несмотря на то, что уже сделал. Решил запробовать AcelPad в действии. Отлично летает. Со 150 мегами легко работает. Тормозов не заметил. Респект за прогу.

p.s. только кодировку что-то не могу подобрать).

DyaDya добавил 21.09.2010 в 21:16

Надо будет статейку по этому поводу забацать.

DyaDya добавил 21.09.2010 в 21:20

Вопрос не в тему, кто подскажет? Почему свою мессагу я не могу отредактировать?

Просмотр SQL онлайн

Открывайте и просматривайте файлы SQL онлайн используя бесплатное приложение для просмотра файлов SQL.

Загружая файлы или используя наш сервис, вы соглашаетесь с нашими Условиями использования. и Политикой конфиденциальности.

Мы уже обработали 8 592 496 файлов общим размером 12 920 562 МБ.

О приложении просмотра

Современные компьютерные приложения хранят информацию в файлах разных типов. Для обработки файлов определенного типа зачастую необходимо специализированное программное обеспечение, занимающее много места, а иногда и требующее оплаты. Однако вы не станете устанавливать программный пакет, занимающий десять или более гигабайт, да еще и платить за это, чтобы просмотреть один файл. Кроме того, вы можете получить файл на мобильный телефон, а многие программные пакеты не имеют мобильных версий. Конечно, вы можете добраться до компьютера, но иногда это займет много времени, да и на компьютере может не быть необходимого программного обеспечения.

GroupDocs.Viewer — быстрый и эффективный API для рендеринга файлов более чем 170 различных форматов. Работая на высокопроизводительном облачном сервере GroupDocs, он отображает файлы SQL в браузере. Технологии GroupDocs.Viewer позволяют добиться идеального и идентичного отображения документа на любой платформе.

Это бесплатное онлайн-приложение на базе GroupDocs.Viewer API отображает файлы SQL на вашем устройстве. Мы сохраняем вашу конфиденциальность, файл виден только вам. Вы можете распечатать просматриваемый файл прямо из браузера. Вы также можете загрузить файл PDF, чтобы поделиться с кем-то или просмотреть его позже. Приложение работает на любом устройстве, включая смартфоны.

Возможности приложения для просмотра

Приложение Viewer — это бесплатное онлайн-приложение, позволяющее просматривать файлы более чем в 170 форматах, от широко распространенного Microsoft Office до узкоспециализированных CorelDRAW, Adobe Illustrator или AutoCAD.
Используйте это приложение для открытия файлов, навигации по страницам и преобразования файлов в формат PDF.
Онлайн-приложение не требует установки. Запустите браузер, откройте страницу приложения и просмотрите файлы.
Ограничений нет. Просмотр любого количества файлов в день абсолютно бесплатно.

Как открыть .mdf файл

Программа Recovery Toolbox for SQL Server для просмотра mdf файлов может быть установлена на любой компьютер, использующий любую версию ОС Windows. Процедура доступа к mdf файлам с помощью Recovery Toolbox for SQL Server выглядит следующим образом:

Пошаговая инструкция, как открыть mdf файл

Скачайте программу по ссылке: https://recoverytoolbox.com/download/RecoveryToolboxForSQLServerInstall.exe
Установите и запустите программу для просмотра mdf файлов
Выберите файл *.mdf формата на вашем жестком диске
Дождитесь окончания обработки выбранного mdf файла
Начните просмотр mdf файла

Программа поддерживает следующие опции, с учетом того, что она позволяет просматривать информацию и сохранять файлы баз данных (последняя опция платная):

Использует встроенные средства просмотра неповрежденных MDF файлов
Использует встроенные средства просмотра испорченных MDF файлов
Бесплатный просмотр информации, которая хранится в MDF файлах
Защищает структуру БД при открытии mdf файла и его восстановлении
Работает с MDF и NDF файлами, поддерживаемыми данными версиями SQL Server: 2000 — 2019
Открывает .mdf файлы любого размера, даже более чем 16 Тб
Использует высокоэффективные алгоритмы собственной разработки для просмотра и восстановления mdf файлов
Читает таблицы, колонки, ключи, триггеры, классы, индексы и т.д.
Восстанавливает данные, функции, типы данных, триггеры, хранимые процедуры и представления
Поддерживает Unicode
Сохраняет данные в существующую базу данных или подготавливает набор sql скриптов
Ридер mdf файлов ведет подробный лог обработки mdf файла
Не требует доступа к Microsoft SQL Server и SQL Server Express
Определяет используемую версию SQL Server
Позволяет просматривать данные, удаленные из БД
Предоставляет все необходимые инструкции, как открывать mdf файлы