Мастера DELPHI (документация, исходники, скачать)

Основная («Начинающим»)/ Базы / WinAPI / Компоненты / Сети / Media / Игры / Corba и COM / KOL / FreePascal / .Net / Прочее / RSDN.ORG

« предыдущая ветвь | форум | следующая ветвь »

Как правильно закачивать в базу большие объемы данных?

Страницы: 1 2 3 >
Defunct © (2005-08-04 05:14:00)
обычный insert into (..) жутко медленно работает ~1k записей в сек.. Транзакцию закрываю через каждые 5k записей. В качестве исходных данных - текстовые файлы, объемом всреднем по ~500mb, чувствую если заливаться данные в базу будут как сейчас, то уйдет несколько недель.. Подскажите пож. способы ускорения работы insert'a

БД - IB6.5/FB1.5

Defunct (2005-08-29 00:43:00) [1]
> 3DxFantastika
> Андрей Жук

Большое спасибо, возьму на вооружение!
Сорри, что тянул с ответом так долго, просто считал задачу решенной, и не заглядывал в эту ветку.

Anatoly Podgoretsky (2005-08-08 11:07:00) [2]
Иностранные языки запрещены правилами.

Андрей Жук (2005-08-08 10:55:00) [3]
/* * Program type: API Interface * * Description: * This program creates a new database, given an SQL statement * string. The newly created database is accessed after its * creation, and a sample table is added. * * The SQLCODE is extracted from the status vector and is used * to check whether the database already exists. * The contents of this file are subject to the Interbase Public * License Version 1.0 (the "License"); you may not use this file * except in compliance with the License. You may obtain a copy * of the License at http://www.Inprise.com/IPL.html * * Software distributed under the License is distributed on an * "AS IS" basis, WITHOUT WARRANTY OF ANY KIND, either express * or implied. See the License for the specific language governing * rights and limitations under the License. * * The Original Code was created by Inprise Corporation * and its predecessors. Portions created by Inprise Corporation are * Copyright (C) Inprise Corporation. * * All Rights Reserved. * Contributor(s): ______________________________________. */ #include #include #include #include "example.h" #include int pr_error (long *, char *); static char *create_tbl = "CREATE TABLE dbinfo (when_created DATE)"; static char *insert_date = "INSERT INTO dbinfo VALUES ('NOW')"; int main (ARG(int, argc), ARG(char **, argv)) ARGLIST(int argc) ARGLIST(char **argv) { isc_db_handle newdb = NULL; /* database handle */ isc_tr_handle trans = NULL; /* transaction handle */ ISC_STATUS_ARRAY status; /* status vector */ long sqlcode; /* SQLCODE */ char create_db[160]; /* 'create database' statement */ char new_dbname[128]; if (argc > 1) strcpy(new_dbname, argv[1]); else strcpy(new_dbname, "new.fdb"); /* * Construct a 'create database' statement. * The database name could have been passed as a parameter. */ sprintf(create_db, "CREATE DATABASE '%s'", new_dbname); /* * Create a new database. * The database handle is zero. */ if (isc_dsql_execute_immediate(status, &newdb, &trans, 0, create_db, 1, NULL)) { /* Extract SQLCODE from the status vector. */ sqlcode = isc_sqlcode(status); /* Print a descriptive message based on the SQLCODE. */ if (sqlcode == -902) { printf("\nDatabase already exists.\n"); printf("Remove %s before running this program.\n\n", new_dbname); } /* In addition, print a standard error message. */ if (pr_error(status, "create database")) return 1; } isc_commit_transaction(status, &trans); printf("Created database '%s'.\n\n", new_dbname); /* * Connect to the new database and create a sample table. */ /* newdb will be set to null on success */ isc_detach_database(status, &newdb); if (isc_attach_database(status, 0, new_dbname, &newdb, 0, NULL)) if (pr_error(status, "attach database")) return 1; /* Create a sample table. */ isc_start_transaction(status, &trans, 1, &newdb, 0, NULL); if (isc_dsql_execute_immediate(status, &newdb, &trans, 0, create_tbl, 1, NULL)) if (pr_error(status, "create table")) return 1; isc_commit_transaction(status, &trans); /* Insert 1 row into the new table. */ isc_start_transaction(status, &trans, 1, &newdb, 0, NULL); if (isc_dsql_execute_immediate(status, &newdb, &trans, 0, insert_date, 1, NULL)) if (pr_error(status, "insert into")) return 1; isc_commit_transaction(status, &trans); printf("Successfully accessed the newly created database.\n\n"); isc_detach_database(status, &newdb); return 0; } /* * Print the status, the SQLCODE, and exit. * Also, indicate which operation the error occured on. */ int pr_error (ARG(long *, status), ARG(char *, operation)) ARGLIST(long * status) ARGLIST(char * operation) { printf("[\n"); printf("PROBLEM ON \"%s\".\n", operation); isc_print_status(status); printf("SQLCODE:%d\n", isc_sqlcode(status)); printf("]\n"); return 1; }

3DxFantastika (2005-08-07 20:49:00) [4]
на MySQL очень помогают вставки типа:

INSERT INTO `pp` VALUES ('3.0.0.0', '4.17.142.255', 50331648, 68259583, 'US', 'United States'), ('4.17.143.0', '4.17.143.15', 68259584, 68259599, 'CA', 'Canada'), ('4.17.143.16', '4.18.32.71', 68259600, 68296775, 'US', 'United States'), ('4.18.32.72', '4.18.32.79', 68296776, 68296783, 'MX', 'Mexico'), ('4.18.32.80', '4.18.65.255', 68296784, 68305407, 'US', 'United States');

P.N.P. (2005-08-06 10:56:00) [5]
>Джо © (06.08.05 05:44) [41]
Так в FB тоже есть такое понятие как External File.
Но в данной ситуации это, наверное, неподойдет..

Джо (2005-08-06 05:44:00) [6]
Эх, вот жеж мучаются люди с ИБ... А в Постгресе есть даже комманда специальная COPY <tablename> FROM <filename>. Формируешь заранее файл с данными и наслаждаешься - инсертится так, что быстрее только кошки родятся ;0) Жаль только, что в пределах одной транзакции.
Сорри за оффтоп, но уж больно впечатлен был мучениями в этой ветке :0(

y-soft (2005-08-05 23:07:00) [7]
>Defunct © (05.08.05 21:21) [39]

при TCP соединении

Если есть возможность работать с базой монопольно, попробуйте локальное соединение - скорость еще увеличится...

Defunct (2005-08-05 21:21:00) [8]
В общем выжал все что можно.
3.5k записей в секунду (при TCP соединении).
IBSQL
SDSQL
параметрические запросы.

Попробовал IBScript - в два с половиной раза медленней - 1.4k записей в секунду.

> Sam Stone © (05.08.05 13:44) [34]
это не будет работать вообще. только IBScript и IBupdateSQL(возможно?) такое позволяют, но работают медленнее чем IBSQL/SDSQL.

> Digitman
Да оптимизировать больше нечего. но и так не плохо, уже не несколько недель заливать придется, а всего несколько дней. Спасибо за совет с отключением индексации.

alex_*** (2005-08-05 17:08:00) [9]
а смысл... ситуации это не исправит. только потерянное время.

Digitman (2005-08-05 17:04:00) [10]
Удалено модератором
Примечание: дубль

Digitman (2005-08-05 17:01:00) [11]

> Андрей Жук © (04.08.05 16:08) [24]

> Оптимизацию тут нужно проводить совсем не в языковых средствах

Оптимизацию можно и нужно проводить в том числе ив языковых средствах, когда речь идет о достижении максимально возможной при тех или иных условиях производительности

Я прекрасно понимаю, что львиная доля "тормозов" в дан.случае приходится на неоптимальную и неэффективную логику работы с СУБД, но ведь и оставшуяся малую часть "тормозов" тоже не будет лишним устранить !

ANB (2005-08-05 14:52:00) [12]

> Sam Stone © (05.08.05 13:44) [34]

И будет быстрее парсить ?

Sam Stone (2005-08-05 13:44:00) [13]
А если вставлять так:
IQuery.SQL.text:=' begin insert into...; ... insert into...; end;'
?

ANB (2005-08-05 09:43:00) [14]

> P.N.P. © (05.08.05 09:35) [32]
- больше времени на парсинг такого запроса уйдет, чем на собственно вставку.

P.N.P. (2005-08-05 09:35:00) [15]
>Defunct © (04.08.05 23:47) [31]
Да

Defunct (2005-08-04 23:47:00) [16]
P.N.P. © (04.08.05 23:26) [29]

Скрипт - имеется в виду список статических запросов вида
insert ....(field1, field2 и т.п.) value(X, Y и т.п.)?

Defunct (2005-08-04 23:38:00) [17]
Полная логика вставки такова:

while not LogReader.Eof do begin hrec := LogReader.ReadHttpRecord; DataModule.AddHttpRecord( hrec ); end;

Процедура AddHttpRecord описана в 2. Цикл выполняется для 3M записей (~500mb файл) 2 часа (загрузка проца после оптимизации - 5-7%).
Сам по себе парсинг происходит достаточно быстро, если закоментировать
// DataModule.AddHttpRecord( hrec );
то загрузка проца - 100% и парсится за 2 минуты.

P.N.P. (2005-08-04 23:26:00) [18]
>Defunct © (04.08.05 23:00) [28]
Использование IBScript будет на порядки быстрее.
Т.е. сначала генерим скрипт, загоняем его в
IBScript и выполняем. Проциями по 1к инсертов вполне нормально должно прокатить.
У меня, к примеру, ~300к записей за 15-20 минут принимаются на PIII,
причем через процедуру, с недецкими вычислениями, в таблицу с множеством индексов и т.п.

Defunct (2005-08-04 23:00:00) [19]
sniknik © (04.08.05 08:51) [5]
ЮЮ © (04.08.05 08:52) [6]
Digitman © (04.08.05 10:59) [9]

ковырял весь день, ваши советы очень помогли, спасибо!
Отключение индексации в три раза ускорило добавление данных. но все равно медленно. Для сравнения выборка по 3M записей выполняется ~10 сек, добавление 3M записей - 2 часа.

ЮЮ © (04.08.05 08:52) [6]
> 2) select * все=таки одна инструкция серверу :)

Нет ли способа групповой заливки данных? Так чтобы тоже одной командой ;>

>ANB © (04.08.05 10:31) [8]
> 3) Если основная загрузка - на сервере, то код у тебя почти оптимален, скорее всего ты не все запостил.

Запостил все как есть... Я же не враг себе чтобы что-то скрывать.

> Андрей Жук © (04.08.05 11:55) [11]
> Вставка через IBQuery???
Нет просто экземпляр, назвал так IQuery - inserting query.
В программе имеют место еще UQuery для апдейтов, SQuery и VQuery для селекта и визуализации. На момент вставки работает только IQuery.

> Ни в коем случае не IBQuery.
IQuery : TSDSQL;

> Андрей Жук © (04.08.05 16:08) [24]
> Использование IB API даст прирост в 1000%.
Подскажите пожалуйста как это сделать (я никогда не работал с IB API). Очень актуально для решения задачи. Поскольку похоже тормозит здесь TCP.

> Виталий Панасенко (04.08.05 15:25) [21]
Где можно почитать про это?

ANB (2005-08-04 16:19:00) [20]
Так автор же написал, что у него не клиент жрет ресурсы, а процесс сервера. Когда будет наоборот - надо будет оптимизить клиента.

Страницы: 1 2 3 >

Наверх

	« предыдущая ветвь \| форум \| следующая ветвь »