Структура БД

[SLIM]

Существует некий набор данных, имеющий структуру

Дата, КодПозиции, КодМагазина, Количество, Оборот, Остаток

Ну, всем давно известная структура, магазин например такую как правило имеет.
Это довольно большая база за год в моей фирме (порядка 10ТРб).Есть серия неких запросов, они однотипные и, в основном, только на выборку. Но выбирать с такой базы не очень удобно, при таких условиях. Поэтому я решил выгружать данные предварительно в другую табличку, и уже оттуда отбирать (что повысит скорость, не будет тормозить сервер, так как таких запросов может быть до 30 в день).

Чтобы выгружать данные, я придумал некую систему, которая выгружает с Excel коды и даты в некие первичные таблицы
1. Коды магазинов (поля ID, Код)
2. Коды позиций (поля ID, код)
3. Даты (поля ID, ДатаСтрат, ДатаФиниш)!!!!!!!!!!!!!!
4. Справочник запросов (поля ID, Время запроса, Имя запроса, СтатусВыполнения)

После того как данные залиты, то настраивается сервер на постоянную отборку в соответствии с данными. Т.е. в job-е находится наиболее ранний запрос, узнается его ID и вытаскиваются данные.

Но вот в чем проблема. Есть у меня табличка, которая уж слишком затруднят мне жизнь. Эта табличка помечена знаками воклицания. Каждый запрос становится путанным и я не могу его оптимизировать. "Сотни" inner-ов притормаживают выполнение. Бывает гораздо проще выгрузить дату начала и дату конца в отдельные переменные и ставить условие по ним, чем цеплять табличку. Тогда зачем табличка?
Я было хотел переместить поля дат в табличку с кодами магазинов или кодам позиций, но мне показалось что это криво, хоть и удобнее юзать.

Скажите, какая самая оптимальная структура при данных условиях?

[alibek]

Выгружать 10Тб в Excel? Это новогодняя шутка?

[FireFenix]

Выгружать 10Тб в Excel? Это новогодняя шутка?

Это новый вид спорта

Выгрузка контента за пределы СУБД будет ещё медленней чем выборка из неё..... уж лучше программно в СУБД создавать временные таблицы

Скажите, какая самая оптимальная структура при данных условиях?

Самое оптимальное оптимизировать.... если не запросы, то строение БД или связь элементов
К примеру выделить таблицу в которой хранится дневная информация и после окончания дня - атачить к таблице архива

Каждый запрос становится путанным и я не могу его оптимизировать. "Сотни" inner-ов притормаживают выполнение.

100 Inner Join в одном запросе?
Как показала практика - в БД выборка выполняется быстрее одним жирным запросом, чем пачка подзапросов

Опиши подробнее структуру БД и как реализуются запросы...

[SLIM]

Выгружать 10Тб в Excel? Это новогодняя шутка?

Нет конечно.

Обычно это как происходит. Отбираются в отдельную табличку записи из одной огромной и это выгружается.
Какие записи нужно выгружать известно заранее. Например сегодня может быть известно что нужно будет выгружать 05.01.2010.
Можно было бы выгружать из этой большой таблицы, но когда начинаются агригаты, сразу притормаживать начинает. По
тому агригаты лучше считать по меньшей в объеме таблице. Вот ее то я и хочу создать. И так, чтобы данные в нее выгружались постепенно и автоматически.

Это все я нагружу на job, но саму систему выгрузки продумать не могу точно.
Примерно так
1. В таблице справочников запросов отбирается запись с наименьшим ID
2. Проверяется валидность дат, т.е. есть ли что выгружать за этот период
3. Выгружаем из огромной таблицы подвязав при этом
- Таблицу с датами
- Таблицу с кодами позиций
- Таблицу с кодами магазинов
- связав три таблицы по ID и ограничив ID нашим избранным (самым ранним)
Причем если таблицы с кодам я подцеплю код-->код, то таблицу с датами я подцеплю только по ID к другим моим таблицам, что весьма запутывает. Например по проверкам, если таким образом составить запрос, но скорость раз в 15 падает чем при явном указании дат в between. Если бы например было так что даты в таблице с кодами позиций, то я просто подвязал бы по код-->код и ограничил ID...
Но это бы ничего. В пункте два придется проверять наличие данных. А тут есть отдельная таблица (чтобы не цеплять большую), в которой есть данные Код магазина, Дата. Так вот еще и там проблемы будут, так как там нужно будет левое соединение.
4. Удаляем данные из таблиц с кодами и датами данного ID
5. Ставим статус "выгружено" в справочнике запросов

Выгрузка контента за пределы СУБД будет ещё медленней чем выборка из неё..... уж лучше программно в СУБД создавать временные таблицы

Читать не умеешь? Я же сказал что хочу выгружать в отдельную табличку.

Самое оптимальное оптимизировать.... если не запросы, то строение БД или связь элементов
К примеру выделить таблицу в которой хранится дневная информация и после окончания дня - атачить к таблице архива

БД оптимизирована достаточно.
По поводу выделения таблицы, я это и хочу сделать.
Оптимизация состоит только в системе таблиц, которые я хочу сделать.

100 Inner Join в одном запросе?
Как показала практика - в БД выборка выполняется быстрее одним жирным запросом, чем пачка подзапросов

Я не зря взял слово "сто" в кавычки. Это образно.
Понятно что например для выборки из большой таблицы нужно
1. Одно внутреннее соединение для кодов магазинов по коду
2. Одно внутреннее для кодов позиций по коду
3. Одно внутреннее по ID
4. Еще одно внутреннее по ID скорее всего. Одно Магазины-->Коды позиций, второе Коды позиций-->даты, ну или как-то так.