А кто-нибудь пробовал написать СУБД?

[SLIM]

Интересно кто-нибудь пробовал написать СУБД вообще?
>>>После того как кто-то ответит>>>а возможно ли на VB?

Достаточно интересная область знаний. Интересно всетки, может кто-нибудь задавался идеей? М?

[MIT]

Написать полноценное СУБД - проблема, причем большая. А сделать свою систему еще и конкурентноспособной почти нереально. Однако я переодически сталкиваюсь с задачами хранения бинарных данных, и обычно под каждую задачу пишу систему хранения. Последнее время использую одну, периодически "прикручивая" к ней новые возможности.

[Хакер]

Никто не пытался, и правильно, что не пытался.

[Williams]

Пробовать можно, но имхо без требуемого уровня знаний в данной области быстродействие будет убогое. Проще обойтись файловой системой - да и зачем изобретать велосипед.

[SLIM]

Написать полноценное СУБД - проблема, причем большая. А сделать свою систему еще и конкурентноспособной почти нереально. Однако я переодически сталкиваюсь с задачами хранения бинарных данных, и обычно под каждую задачу пишу систему хранения. Последнее время использую одну, периодически "прикручивая" к ней новые возможности.

Эх....

Никто не пытался, и правильно, что не пытался.
Никто не пытался, и правильно, что не пытался.

Это еще почему? Считаешь утопичным?

Пробовать можно, но имхо без требуемого уровня знаний в данной области быстродействие будет убогое. Проще обойтись файловой системой - да и зачем изобретать велосипед.

Ну и какой уровень знаний нужен по-твоему?
На мой взгляд:
1. Отлично знать язык на котором пишешь
2. Отлично знать систему под которой будет работать СУБД
3. Отлчино знать основы посторения хотя бы одного вида БД, например реляционной модели. Знать основы реляционной алгебры (исчисления)(есть много трудов по этому поводу, самый знаменитый из них (теоретически конечно) труд Кодда и насколько знаю этот труд реализован сейчас во всех СУБД в разной степени). Владеть особыми математическими понятиями как например множества и т.д. Возможно что-то еще.

Для чего? Да просто надоедает иногда смотреть например на знаменитые бух. программы автоматизации (такие деньги грести непонятно за что).
Есть (есть!!!!) еще рыцари на белом свете. Например почему бы и не попробовать. Допустим у меня возникла идея о создании СУБД (хотя бы самой простой) для написания в последующем дипломного проекта. Так как это будет через 5 лет только- времени у меня достаточно. Накупить книжек по данному вопросу + интернет + голова + возможные братья по идее + кто-то подскажет/поможет. Всем миром как говорится....
Ну как-то ведь создавали СУБД-шки? Они ведь не с самого начала были супер пупер быстрые и крутые. Тот же Oracle - одна из первых СУБД, но какая ужасная была по началу, а теперь вон самая дорогая....Да куча примеров.
А вспомним знакомого многим Линуса Торвальдса, который начитался Эндрю Таненбаума, занялся разработкой ядра ОС, а когда немного хоть что-то сделал появилось это:

Я делаю (бесплатную) операционную систему (это всего лишь хобби, и она
не будет большой и профессиональной как gnu) для клонов 386(486) AT.
Работа над ней началась в апреле и скоро будет закончена. Я бы хотел
получить отзывы о том, что людям нравится/не нравится в миниксе, ибо
моя ОС на неё похожа (такое же устройство файловой системы
(из практических соображений) среди всего прочего).

Я уже перенёс bash(1.08) и gcc(1.40), и всё, кажется, работает.
Подразумевается, что практические вещи у меня появятся через несколько
месяцев, и я хотел бы узнать, каких особенностей хотелось бы большинству.
Любые предложения принимаются, но я не обещаю, что реализую их

Линус (torvalds@kruuna.helsinki.fi)

PS. Да, у неё нет никакого миниксовского кода, и у неё есть многопоточная
фс. Она НЕ переносима (применяет переключение задач 386-го, и т. д.), и,
вероятно, никогда не будет поддерживать ничего, кроме жёстких дисков
AT, т.к. это всё, что у меня есть .

Вот так появился Линукс. А ведь Он был всего лишь студентом....
Да я не притендую на такую высокую степень, но всеж попробовать всегда стоит....главное как говорится плечо саратников по делу

[alibek]

SLIM, ты хотя бы парсер SQL-запросов напиши, а потом уже будешь думать о написании СУБД.

[tyomitch]

Всякий проект имхо должен начинаться с мысли: а зачем?

Если есть какая-то свежая мысль, ещё не пришедшая в голову писателям существующих СУБД, то грех не попробовать её реализовать. Хоть на VB, хоть на чём, только чтоб впаривать (разработчикам, рецензентам диплома, инвесторам, etc) не абстрактные рассуждения, а работоспособный пример.

Если просто руки чешутся написать что-нибудь эдакое, "такое же как у всех, только другое", то это конечно лучше других способов убить время, но ненамного плодотворнее. Хотя проведение досуга -- дело личное, "каждый ...чит как он хочет" (ц)

[Debugger]

Я, помню, писал ДБ для обращений к текстовой базе на удаленном компьютере (о как!). Чисто из интереса. Не дописал. Однако что-то получилось - http://www.vbstreets.ru/VB/Sources/66452.aspx

[SLIM]

SLIM, ты хотя бы парсер SQL-запросов напиши, а потом уже будешь думать о написании СУБД.

А что, интересная мысль. Почему бы и нет. Может угостишь линком для начала?

Если просто руки чешутся написать что-нибудь эдакое, "такое же как у всех, только другое", то это конечно лучше других способов убить время, но ненамного плодотворнее. Хотя проведение досуга -- дело личное, "каждый ...чит как он хочет" (ц)

Ну откуда у меня свежие идеи? Я ведь имею очень поверхностное представление обо всем этом, просто заинтересовался.
Помнится подпись у меня была такая помните (было что-то типа) :"Все знают что то-то и то-то невозможно. Но находятся чудаки которые этого не знают - вот они и делают открытие. А.Эйнштэйн"
Тем более что я программистом пока не работаю, работой меня не нагружают. Что лучше - писать что-то или не писать ничего....))))

[tyomitch]

Ну откуда у меня свежие идеи? Я ведь имею очень поверхностное представление обо всем этом, просто заинтересовался.
Помнится подпись у меня была такая помните (было что-то типа) :"Все знают что то-то и то-то невозможно. Но находятся чудаки которые этого не знают - вот они и делают открытие. А.Эйнштэйн"

Если ты не имеешь в теме никакого представления, то как ты сделаешь открытие? Наткнёшься на него и даже не заметишь.

Тем более что я программистом пока не работаю, работой меня не нагружают. Что лучше - писать что-то или не писать ничего....))))

Лучше писать осмысленное, чем бессмысленное

Т.е. начать с того, чтобы разобраться, что именно ты собрался писать.
Линукс ведь не так получился, что сел человек писать абы-что и вдруг у него вышла ОС.

[SLIM]

Если ты не имеешь в теме никакого представления, то как ты сделаешь открытие? Наткнёшься на него и даже не заметишь.

Эх...да не собираюсь я открытия делать. Просто для того чтобы придумать что-то новое, нужно досконально знать старое.

Лучше писать осмысленное, чем бессмысленное

Т.е. начать с того, чтобы разобраться, что именно ты собрался писать.
Линукс ведь не так получился, что сел человек писать абы-что и вдруг у него вышла ОС.

Таки да.....
Остановимся пока на том что предложил большой человек. На SQL-парсер.
Я тут погуглил погуглил - так и не вкурил практического применения. Для чего? Просто проверка синтаксиса и выявление ошибок? В этом будет весь функционал парсера?

[Добавлено ] Кто участник форума "На исходниках" пожалуста скачайте мне файлик с топика http://forum.sources.ru/index.php?showtopic=118797 , а то регистрироваться не хочется

[Antonariy]

Т.е. начать с того, чтобы разобраться, что именно ты собрался писать.
Линукс ведь не так получился, что сел человек писать абы-что и вдруг у него вышла ОС.

В определенном смысле именно так и получилось. Он начал писать bbs-клиента, который грузился с дискеты. Сначала была только система ввода-вывода (клавиатура, дисплей) и доступ к сети, потом появился доступ к дискам и прочие перламутровые пуговицы типа работы с портами, и оказалось, что функционала накопилось достаточно для операционной системы.

Однако, да, писал он не абы что, а конкретный инструмент конкретно для себя для конкретной работы.

[SLIM]

Ну расскажите мне лучше (грубо говоря поставьте задачу (гы руки чешутся)) про прасер SQL. Что он делать должен то?

[iGrok]

Ну расскажите мне лучше (грубо говоря поставьте задачу (гы руки чешутся)) про прасер SQL. Что он делать должен то?

Для начала хотя бы просто разбирать SQL-запрос. Что выбрать, откуда выбрать, с какими условиями выбрать. Ну или что, куда, и с какими условиями вставлять/удалять/обновлять. Если будет нормальный парсер - уже не так уж и трудно будет прикрутить к нему свой формат хранения данных.
На полдиплома(а где-то и на целый) в принципе потянет. =)

Начать можно вообще только с SELECT ... FROM ... WHERE ... ORDER BY. Потом всякие там JOIN'ы, DISTINCTы..

[Antonariy]

"Что, откуда" — это когда уже есть ядро. Сначала нужно сделать так, чтобы не прокатывали конструкции типа select * from Table1 from where x=y

[jangle]

Остановимся пока на том что предложил большой человек. На SQL-парсер.
Я тут погуглил погуглил - так и не вкурил практического применения. Для чего? Просто проверка синтаксиса и выявление ошибок? В этом будет весь функционал парсера?

SQL парсер уже крайне сложная задача, на реализацию с нуля могут уйти недели и даже месяцы напряженной работы.
Поэтому лучше взять готовый, например GoldParser - http://www.devincook.com/goldparser/index.htm
Подключается к VB проекту, в виде ActiveX DLL, доступны исходники и готовая грамматика для ANSI SQL
http://www.devincook.com/goldparser/grammars/index.htm

[SLIM]

Все ясно. Спасибо. Приступлю к работе....

[Хакер]

Делать нечего.

[SLIM]

Делать нечего.

По сути да

[Andrey Fedorov]

SQL парсер уже крайне сложная задача, на реализацию с нуля могут уйти недели и даже месяцы напряженной работы.
Поэтому лучше взять готовый, например...

А почему тогда сразу не тот-же бесплатный SQL-Express? Нет уж - с нуля так с нуля. И со своим синтаксисом

[Matew]

SLIM, если уж писать, то что-то вроде:
http://ru.wikipedia.org/wiki/Tutorial_D

[arechemist]

Хы ) как успехи у афтора? )

[SLIM]

Хы ) как успехи у афтора? )

Успехи следующие.
С приходом сессии всем стала нужна программа для решения lim, integral, diff.
Скооперировавшись с одногрупниками мы решили написать программу для вычисления пошагово сабжа. Парсер с меня.
Поэтому у меня зародилась идея универсального парсера.
Вот как только напишу парсер под мат., сразу присяду за универсальный.

Кстати саму программу можно будет лицезреть, но позже

[MIT]

Имхо математических парсеров и так целая куча, не думаю, что есть смысл писать тоже самое еще раз. Кстати, а что ты подразумеваешь под универсальностью?

[Williams]

С приходом сессии всем стала нужна программа
Скооперировавшись с одногрупниками мы решили написать с меня.
как только мат., сразу присяду
можно будет лицезреть, но позже

"От сессии до сессии студенты живут весело" ©

[SLIM]

Имхо математических парсеров и так целая куча, не думаю, что есть смысл писать тоже самое еще раз

Это да, но раз уж возникла идея написать парсер почему бы самому не наступить тысячу раз на грабли и сделать это самому. Пусть есть. Будет еще один...

Кстати, а что ты подразумеваешь под универсальностью?

А вот под уиниверсальностью я понимаю следующее - зачем писать парсер под определенные нужды каждый раз...сегодня математический, завтра SQL, послезавтра XML....можно ведь сделать универсальный....

Идея на данном этапе (данный этап является нулевым конечно же) заключается в следующем. Универсальный парсер может создавать некую БД токенов. Там же оговариваются условия "токенизации". Например: в инструкции SQL оговорены токены Select,All, From, Where. Ну это например. Туда же добавляем токены "(", "(", ",". ";","." . Оговариваем условия что типа: "Перед Select нет ни одного токена, а после него идет либо два произвольных слова разделенные точкой, либо токен All, либо "*" либо просто произвольный токен....что если после токена Where стоит токен "(", то после очереди токенов должен обязательно стоять токен ")"......ну и так далее ".

Таким образои распишем где и что должно стоять на местах. Далее идет стандартная процедура разбиения на токены и анализ.

Подобные парсеры тоже существуют. Даже больше скажу,думаю что у Хакера и Темыча они есть. Вспомним хотя бы Хакерский second hend и ту самую библу. Это по-видимому часть пусть и не универсального, но парсера, которую можно применить к универсальному парсеру....


Правильно говорят - если что-то делаешь, то задайся вопросом зачем.....но вот подумайте граждане, что еще не сделано? Да помоему уже все есть. Так что просто учимся делать сами....

"От сессии до сессии студенты живут весело" ©

Даа.....чуть позже я подробно в блоге напишу про эту незабываемую сессию....ужас. Мой универ занимает 26 место по России, а учат.......пипец просто чему

[Хакер]

Идея на данном этапе (данный этап является нулевым конечно же) заключается в следующем. Универсальный парсер может создавать некую БД токенов. Там же оговариваются условия "токенизации". Например: в инструкции SQL оговорены токены Select,All, From, Where. Ну это например. Туда же добавляем токены "(", "(", ",". ";","." . Оговариваем условия что типа: "Перед Select нет ни одного токена, а после него идет либо два произвольных слова разделенные точкой, либо токен All, либо "*" либо просто произвольный токен....что если после токена Where стоит токен "(", то после очереди токенов должен обязательно стоять токен ")"......ну и так далее ".

Дело в том, что многие языки настолько сложны (в плане грамматики), что не могут быть описаны такими вот правилами. А то, что описываешь ты, по сути — регулярные выражения.

Вот твой пример:

Перед Select нет ни одного токена, а после него идет либо два произвольных слова разделенные точкой, либо токен All, либо "*"

и вот он же в виде регулярного выражения:

Код: Выделить всё

^select (all|\*|\w+\.\w+)

Но на деле же оказывается, что большинство языков нельзя разобрать используя regexp-ы. Более того, то, что ты сейчас написал, вызывает подозрение о неполном знании SQL (это не упрек, я его, например, тоже не досканально знаю).

У тебя получается может быть либо select all, либо select *, либо select table1.field1?
А [select distinct ...] ?
А [select database1.table1.* ...] ?
А [select count(somefield) ...] ?
А [select (field1 + field2) / field3 ...] ?
А [select (database1.table2.field3 / (select `course` from `courses_of_exchange` where `c_from` = 'EUR' and `c_to` = 'RUR')) as `price_in_roubles` ...] ?

И это только селект.

Таким образои распишем где и что должно стоять на местах. Далее идет стандартная процедура разбиения на токены и анализ.

Разбиение — это очень сложно. Чтобы правильно разбить, нужно обработать полностью.

Вот например VB-код. Чтобы разбить его на statement-ы, нельзя просто взять и сделать Split(..., vbCrLf). Во-первых, vbCrLf не всегда означает конец statement-а, если перед CRLF стоит символ _ , то данный CRLF не является концом Statement-а. Во-вторых, Statement заканчивается не только на CRLF, а ещё двоеточие может разделять statement-ы.

Предположим, у нас VB-шный сплит понимал бы рег. выражения. Но мы всё равно не могли бы заюзать (\r\n|:) в качестве разделителя. Потому что двоеточике не всегда однозначно делит два statement-а. Оно может быть элементом конструкции := (при передачи некоторых именованых аргументов), оно может быть концом метки, не говоря уже о том, что оно может находиться внутри строки.

Возвращаясь к CRLF, то там символ _ будет подавлять CRLF только в том случае, если это отдельный символ, а не часть идентификатора (например CallMe_ ).

Я это к тому, что разобрать код, написанный на каком-то языке, не так просто, как кажется. А сделать универсальный разборщик — втройне.

Подобные парсеры тоже существуют. Даже больше скажу,думаю что у Хакера и Темыча они есть.

Насчёт Тёмыча не знаю, но у Хакера парсер работает совсем не так.

Вспомним хотя бы Хакерский second hend и ту самую библу.

Та библа — уналая фигня, по сравнению с тем, что имеет (т.е. во что развил ту идею) Хакер сейчас. Его парсер (это и парсером-то назвать сложно) это скорее машина Тьюринга, что-то похожее на виртуальный процессор, способный выполнять код (т.е. набор инструкций). В качестве этого кода выступают входные данные, причём они могут быть любыми, и в качестве инструкций могут выступать не только символы (байты), а произвольный кусски данных, вплоть до отдельных битов. Правила, по которым входящие данные (они же — код, для виртуального процессора) будут "выполняться" задаются вначале и могут перестраиваться по ходу работы.

Таким образом, можно обрабатывать любые последовательные данные с нечеткой структурой, такие как обычный текст, код программы, исполняемый код, любым образом. Имея большой словарь, можно так выстроить правила, что входящие слова будут интерпретироваться как код, заставляющий виртуальный процессор молниеносно перемещаться по этому словарю, отыскивая таким образом в нём слово (которое испльзуется как выходные данные). И вот именно этот частный случай применения этой технологии и реализован в той библе, которая "секонд-хенд".) Можно построить правила выполнения так, что входящие данные будут использоваться для построения списка токенов. Тогда подавая на вход некий код (например VB-код), мой "парсер" будет, исполняя его (не по законам VB исполняя, естественно), строить список токенов, т.е. по сути — будет разбирать VB-код на токены.

Можно задать свои правила и для разбора x86-native-кода, и таким образом получить дизассемблер x86-кода (что я и сделал благополучно). Стоит сейчас его чуть-чуть переделать (вместо составления списка x86-инструкций — выполнять их), и мы получим эмулятор x86-процессора.

А можно задать очень простые правила (всего 4 штуки, для 4 букв U, L, R, D) и мой "парсер" (парсер ли?) будет управлять движением черепашки на экране, принимая в качестве входных данных примерно такой поток: "RURURUDDDDDDULULURRRRRRRRRRR" (черепашка нарисует стрелочку).

[tyomitch]

Кстати, а что ты подразумеваешь под универсальностью?

А вот под уиниверсальностью я понимаю следующее - зачем писать парсер под определенные нужды каждый раз...сегодня математический, завтра SQL, послезавтра XML....можно ведь сделать универсальный....

Идея на данном этапе (данный этап является нулевым конечно же) заключается в следующем. Универсальный парсер может создавать некую БД токенов. Там же оговариваются условия "токенизации". Например: в инструкции SQL оговорены токены Select,All, From, Where. Ну это например. Туда же добавляем токены "(", "(", ",". ";","." . Оговариваем условия что типа: "Перед Select нет ни одного токена, а после него идет либо два произвольных слова разделенные точкой, либо токен All, либо "*" либо просто произвольный токен....что если после токена Where стоит токен "(", то после очереди токенов должен обязательно стоять токен ")"......ну и так далее ".

Таким образои распишем где и что должно стоять на местах. Далее идет стандартная процедура разбиения на токены и анализ.

Гениально. Такое описание языка называется грамматикой. (Она может быть рекурсивной и в этом принципиально сложнее регэкспа.)
Для грамматик есть стандартные форматы, и есть "общепринятые" тулзы, которые по грамматике генерируют парсер.

Подобные парсеры тоже существуют. Даже больше скажу,думаю что у Хакера и Темыча они есть. Вспомним хотя бы Хакерский second hend и ту самую библу. Это по-видимому часть пусть и не универсального, но парсера, которую можно применить к универсальному парсеру....

Я свой "универсальный парсер", слава богу, не писал. Взял готовый с полки, когда писал недо-компилятор недо-бейсика.
Тем не менее, курс парсинга у меня за плечами есть, и как примерно работают такие парсеры, -- я представляю себе.
Уверяю, там всё гораздо интереснее, чем в типичных дилетантских поделках из Split/Mid, вороха условий, и рулона изоленты, чтобы всё не развалилось.
Это я к тому, что написание парсера стоит начинать с теории.

Правильно говорят - если что-то делаешь, то задайся вопросом зачем.....но вот подумайте граждане, что еще не сделано? Да помоему уже все есть. Так что просто учимся делать сами....

Нормального "универсального парсера" на VB6 (и генерирующего чистый VB6-код) я не встречал.
Подтверждаю, что написание такой тулзы было бы осмысленно.


Cсылки по теме:
viewtopic.php?t=28930
viewtopic.php?t=20283

[MIT]

Тема плавно перетекла из одной мега глобальной - СУБД в другую, не менее мега глобальную - супер-парсер.
Не думаю, что идея с универсальным парсеров вообще состоятельна, тем более одному ее очень сложно реализовать. К тому же от разных парсеров разные задачи требуется выполнять и разными путями (причем не только на уровне различия синтаксиса преобразования, а на уровне входных/выходных данных). Так что истино универсальности, думаю, добиться нереально. Направленной универсальности (например, компилятор для разных языков - входные и выходные данные аналогичны, меняется только действия преобразования) создать думаю можно, но все равно, дело это не одного дня и не для одного умельца.

Может где и не прав, переубедите.

[tyomitch]

Не думаю, что идея с универсальным парсеров вообще состоятельна, тем более одному ее очень сложно реализовать. К тому же от разных парсеров разные задачи требуется выполнять и разными путями (причем не только на уровне различия синтаксиса преобразования, а на уровне входных/выходных данных). Так что истино универсальности, думаю, добиться нереально.

Видел классических lex/bison?