Нужен совет по поводу хранения данных

[Citius]

Здравствуйте, мне необходим Ваш совет.
У меня есть набор данных "Сайт", "поисковая система", "дата", "поисковый запрос", так вот как мне их сохранять в каком формате, какие технологии использовать.
Стоит так же учесть, что все эти данные должны быть доступными и легко находимыми, так как буду не только лежать мертвым грузом, как архив, но и активно использоваться, редактироваться, анализироваться.

Жду красивого обоснованного ответа с примерами.

[VVitafresh]

Сначала красиво и обоснованно расшифруй, что ты продразумеваешь под

набор данных "Сайт", "поисковая система", "дата", "поисковый запрос"

[Citius]

VVitafresh
Так что же здесь непонятного? Сайт - название сайта, позицию которого необходимо найти в поисковой системе по поисковому запросу, зафиксировать дату поиска и сохранить, а в дальнейшем эта информация будет использоваться для построения графиков и анализа.

[Хакер]

Хеад:
DWORD - Кол-записей
DWORD - Смещение основной таблицы
DWORD - смещение кучи строк
DWORD - размер записи в основной таблице (на случай модификации формата).
DWORD - размер кучи строк

Основная таблица:
DWORD - RVA строки "сайт"
DWORD - RVA строки "поисковая система"
DWORD - RVA строки "поисковой запрос"
QWORD - Дата/вреия

Куча строк:
сJoin-нные 0-символом вместе строки.


З.Ы. Чую, XML-щики готовят ответный удар

[VVitafresh]

Citius, т.е. у тебя обычная таблица и ты не знаешь как её хранить?

MS Access, Excel для твоих целей подходит?
Если да, то информации по работе с ними на этом форуме предостаточно (напр. через ADO).

А если хочешь чего-то экзотического, то это по части Хакера

[Хакер]

PE-, PAK-, ZIP-, BMP-, WAV-форматы - оказывается крайне экзотические вещи...

[VVitafresh]

Эти форматы не экзотика (и их использование тоже). Экзотикой для меня является разработка своего собственного формата.

[Хакер]

Не надо его разрабатывать. Я его уже разработал. См. мой первый пост.

[dr.MIG]

Как уже говорил Хакер - я бы выбрал XML, так как данные будут представлены в более 'наглядном' виде + возможность построения отчётов, используя XSLT + готовые инструменты для работы с XML.

[Citius]

Я наверное остановлюсь на Excel хотя скорее это не особо целесообразно

И все же интересно Хакер то что ты написал в первом посте это из какой оперы???

[Citius]

Как уже говорил Хакер - я бы выбрал XML, так как данные будут представлены в более 'наглядном' виде + возможность построения отчётов, используя XSLT + готовые инструменты для работы с XML.

Интересный момент думаю я пересмотрю свое первое решение

[Хакер]

И все же интересно Хакер то что ты написал в первом посте это из какой оперы???

Из оперы элементарных базовых знаний.

[FaKk2]

PE-, PAK-, ZIP-, BMP-, WAV-форматы - оказывается крайне экзотические вещи...

Да только ниодин из них не используется в качестве контейнера для хранения и обработки текстовых данных.

[Twister]

Да только ниодин из них не используется в качестве контейнера для хранения и обработки текстовых данных.

Да, они используются для хранения двоичных данных. А чем текстовые отличаются от вышеназванных? Тем что содержат только печатные символы + Chr(13) + Chr(10). Следовательно, Хакер предложил универсальный вариант.

Еще: для бысторого поиска относительно большие блоки данных можно (и нужно) хранить в двусвязных списках.

я бы выбрал XML

Если важна скорость обработки данных, то не стоит.

[dr.MIG]

Скорость? В данном случае объём информации явно невелик. ИМХО, даже на моём пк (проц. 1200 МГц) разительного отличия не будет, не говоря уже о современных машинах. Для меня бы первостепенным было удобство дальнейшей работы - построение отчётов и лёгкость изменения их внешнего вида даже без изменения кода программы.

[VVitafresh]

Citius, вот тебе очень простой пример для работы с твоей таблицей через ADO. Никаких проверок правильности ввода и обработок ошибок нет, это уже сам как-нибудь (если остановишь свой выбор на mdb).

Преимущества: очевидная простота кода; большое количество инфы по работе с ADO; возможность выборки данных из таблицы посредством SQL.
О недостатках пусть скажут Хакер и Twister

Да, и хотелось бы такого же небольшого примерчика по работе с собственным форматом от них. Просто для сравнения.

[Хакер]

О недостатках пусть скажут Хакер и Twister :twisted:

Да на здоровье:
1) Требует знания объектной модели ADO.
2) Требует знания SQL.
3) Данный код просто потому что используется дата-линкинг (удел ламеров, которым лень и которые не умеют писать код и главное, которым это не доставляет удовольствия) и дата-грид (ужаснейший контрол. Даже скроллинг - и тот кривой.).
4) Дополнительно к п.1 - это требует не только знания ОМ ADO, это требует ещё и знание принципов и методик объёма с базами данных. Например, надо знать что такое "рекорд-сет".
5) Простота (а на самом деле - псевдо простота) перечёркивается юзанием грамоздкой технологии, отжирающей скорость и ресурсы.

А теперь, пожалуйста, аналогичный список для моего метода. Только не надо переносить описанное мною на мой же метод. Скажем довод "Требует знания Open, Get, Put, Close" я не буду принимать.

[VVitafresh]

Да на здоровье:
1) Требует знания объектной модели ADO.
2) Требует знания SQL.
4) ...

Эти знания никогда не будут лишними. Рано или поздно программисту придется иметь дело с БД.

3) Данный код просто потому что используется дата-линкинг (удел ламеров, которым лень и которые не умеют писать код и главное, которым это не доставляет удовольствия) и дата-грид (ужаснейший контрол. Даже скроллинг - и тот кривой.).

С этим частично согласен. Но для простейшей задачи сгодится и дата-линкинг. Ну а грид, конечно, желательно заменить на какой-то более приглядный, не из стандартной поставки VB.

5) Простота (а на самом деле - псевдо простота) перечёркивается юзанием грамоздкой технологии, отжирающей скорость и ресурсы.

И тем не менее при небольшом изучении технологии это не cтолько простое но и универсальное решение.

А теперь, пожалуйста, аналогичный список для моего метода. Только не надо переносить описанное мною на мой же метод. Скажем довод "Требует знания Open, Get, Put, Close" я не буду принимать.

Пока воздержусь, хочу все-таки увидеть небольной рабочий примерчик, чтобы не быть голословным (хотя не исключаю возможности, что ты меня убедишь ).

[Хакер]

Примерчик -- от меня? Примерчик работы с данным моим способом?

[VVitafresh]

Ну да, работа с собственным форматом, типа там: "Добавить, удалить запись, показать все записи". В общем что-то несложное.

[Хакер]

А устроит пример без ГУИ? Т.е. некий конечный класс, предоставляющий методы Add, Remove, Delete, Load,Save и тд?

[VVitafresh]

С ГУИ, конечно, веселей
Ну давай класс, мне всегда нравились хорошие (удобные) классы.

[Citius]

И все же интересно Хакер то что ты написал в первом посте это из какой оперы???

Из оперы элементарных базовых знаний.

К сожалению у меня этих знаний нет , а где их почерпнуть можно?

[Хакер]

Сейчас я освобожусь и сяду за изготовление примера.

[keks-n]

Народ - возмите мой KSDAT(что из кирпичей). Там над ним надстройку небольшую(склеивающую и расклеивающую строки в/из запись) написать и готово. В итоге даже со сжатием данных.

[Хакер]

[offtopic]
А KSDAT не будет переименован?
[/offtopic]

[keks-n]

[offtop]
Если будет написана новая шутрая и функциональная(хотя бы на уровне структурированного хранилища) версия на C++ с опциональным использованием zlib или собственной сжималки.
В любом случае это будет после 14-15-го числа, т. к. через три часа я уматываю на море
[/offtop]

[FaKk2]

Да только ниодин из них не используется в качестве контейнера для хранения и обработки текстовых данных.

Да, они используются для хранения двоичных данных. А чем текстовые отличаются от вышеназванных? Тем что содержат только печатные символы + Chr(13) + Chr(10). Следовательно, Хакер предложил универсальный вариант.

Обьясни тогда зачем городить огород с XML если есть такой замечательный универсальный способ Хакера?

Это сродни аналогии с чисткой зубов: можно в принципе и не чистить, и вреда особого не наблюдается. Но все таки люди зубы чистят - наверно в этом что-то есть.

В принципе можно и в двухсвязных списках хранить инфу, но почему же тогда прогресс развился до реляционных баз?

[Twister]

Да, и хотелось бы такого же небольшого примерчика по работе с собственным форматом от них

Тот гипотетический формат что мы привели продиктован структурой PE-файлов. Соответственно, пример - виндовый загрузчик. Код можете посмотреть в IDA...

VVitafresh
Мое мнение - твой вариант не плох. Но если б я писал для себя, программку, обрабатывающую одномерный массив данных, я бы сделал так, как сказал.

Обьясни тогда зачем городить огород с XML

А нафига городить огород с .NET, если процессор прекрасно выполняет обычный код? Политика...

В принципе можно и в двухсвязных списках хранить инфу, но почему же тогда прогресс развился до реляционных баз?

Если бы ты немного лучше знал устройство винды изнутри, ты бы этого не написал. Не сравнивай палец и ж**у. Базы данных требуются для хранения огромного кол-ва инфы. Двусвязные списки (активно использующиеся ядром) нужны немного для другого...

[Twister]

Добавлю:

Обьясни тогда зачем городить огород с XML если есть такой замечательный универсальный способ Хакера?

Видел ли ты где-нибудь крупную корпоративную базу данных на XML? И вряд-ли увидишь. Заглядывал внутрь того же mdb HIEW-ом? Какова его структура? Нет, не двусвязные списки, кое что по-эффективней, но ни какими тегами аля XML и не пахнет. Все разбито на блоки двоичных данных, имеются заголовки таблиц и прочая инфа для ускоренного поиска. А XML, имхо - просто универсальный способ хранения небольшого кол-ва инфы в структурированном и удобочитаемом виде...