JSON парсер

[Filyus]

Критикуем-критикуем, а если нечего критиковать - поддерживаем:)

Возможности:

• Чтение и запись JSON из строки и файла настроек
• Чтение JSON из командной строки и ресурсов
• Загрузка JSON из одного объекта в другой (т.е. загрузка настроек по умолчанию)
• Функции для проверки типов объектов
• Функция вывода форматированного JSON

Отличия от RFC 4627 (в сторону увеличения возможностей):

• Поддержка строк как в двойных кавычках ("" - по RFC), так и в одинарных ('' - не по RFC)
• Поддержка записи "true", "false" и "null" в обоих регистрах, также можно записывать их одной буквой
• Числами считаются и строки, начинающиеся на знак "+", а не только на знак "-"
• Поддержка записи символов не только в виде \uFFFF, но и также в \uFFF, \uFF и \uF
• Обработка пустых элементов и элементов с пустыми и одинаковыми ключами
• Экранирование всех управляющих символов (не только из диапазона 0 - 1F)
• Использование расширения ".txt" вместо ".json" в функциях сохранения настроек

Ограничения (отсутствие НЕстандартных возможностей в пользу скорости):

• Отсутствие поддержки комментариев (//... и /*...*/)
• В функциях ToJSON и ToJSONFormatted не проверяются замкнутые друг на друга (вызывающие рекурсию) связи

Особенности:

• Обработка всех возможных ошибок с возвратом наиболее возможного результата

Реализовано через:

• Объекты Dictionary (как объект, т.е. ассоциативный массив) м Collection (как массив)
• Функции "GetMem2", "StrSpnW", "StrPBrkW" и "SysAllocStringLen", объявленные через TLB

[Qwertiy]

["\b\t\f\v\r\n"] ["\b\t\f\\v\r\n"]

А это верно?

1 null
[] [null]

Неверно.

[Qwertiy]

А теперь - из моих экспериментов: {"\"":"\""} {""":"\""}

[Filyus]

["\b\t\f\v\r\n"] ["\b\t\f\\v\r\n"]

А это верно?

1 null
[] [null]

Неверно.

"\v" в строках, числа в корне и пустые значения в любых местах - не по RFC 4627, так что всё верно.
Вопрос в балансе скорости и функциональности, но и про совместимость с другими парсерами (прежде всего, встроенного в PHP) не следует забывать.

А теперь - из моих экспериментов: {"\"":"\""} {""":"\""}

Добавил экранирование ключа. Думаю, ошибок теперь быть не должно, а могут быть только вопросы о неофициальных возможностях (вроде комментариев // и /**/, например).

[Qwertiy]

"\v" в строках, числа в корне и пустые значения в любых местах - не по RFC 4627, так что всё верно.

Не смотрел стандарт...
Просто, чем '\v' - вертикальная табуляция принципиально отличается от обычной '\t', например?
И как записать обыкновенный пустой массив? Массив, содержащий null и пустой массив - это не одно и то же.

[VBTerminator]

Вот набор тестов для проверки JSON-парсера на соответствие стандартам (взято из RapidJSON):

jsonchecker.zip

Обаботка файлов fail*** должна вылететь с ошибкой, а pass*** - парситься без ошибок.

[Filyus]

"\v" в строках, числа в корне и пустые значения в любых местах - не по RFC 4627, так что всё верно.

Не смотрел стандарт...
Просто, чем '\v' - вертикальная табуляция принципиально отличается от обычной '\t', например?

Тем, что её нет в стандарте, в данный момент вертикальная табуляция заменяется на \u000B, что понимают все парсеры.

И как записать обыкновенный пустой массив? Массив, содержащий null и пустой массив - это не одно и то же.

Сделал поддержку пустых массивов, можно записывать как:
[Empty], [e], {Empty}, {e}, {e:}, {:e} и т.д.
В стандарте такого нет, но, всё же, ему не противоречит.

[Filyus]

Вот набор тестов для проверки JSON-парсера на соответствие стандартам (взято из RapidJSON):

jsonchecker.zip

Обаботка файлов fail*** должна вылететь с ошибкой, а pass*** - парситься без ошибок.

Поскольоку парсер обрабатывает ошибки, он никуда вылетать не будет.

fail1.json

Код: Выделить всё

"A JSON payload should be an object or array, not a string."

Код: Выделить всё

null

fail10.json

Код: Выделить всё

{"Extra value after close": true} "misplaced quoted value"

Код: Выделить всё

{
  "Extra value after close":true
}

fail11.json

Код: Выделить всё

{"Illegal expression": 1 + 2}

Код: Выделить всё

{
  "Illegal expression":1
}

fail12.json

Код: Выделить всё

{"Illegal invocation": alert()}

Код: Выделить всё

{
  "Illegal invocation":null
}

fail13.json

Код: Выделить всё

{"Numbers cannot have leading zeroes": 013}

Код: Выделить всё

{
  "Numbers cannot have leading zeroes":13
}

fail14.json

Код: Выделить всё

{"Numbers cannot be hex": 0x14}

Код: Выделить всё

{
  "Numbers cannot be hex":0
}

fail15.json

Код: Выделить всё

["Illegal backslash escape: \x15"]

Код: Выделить всё

[
  "Illegal backslash escape: \\x15"
]

fail16.json

Код: Выделить всё

[\naked]

Код: Выделить всё

[
  null
]

fail17.json

Код: Выделить всё

["Illegal backslash escape: \017"]

Код: Выделить всё

[
  "Illegal backslash escape: \\017"
]

fail18.json

Код: Выделить всё

[[[[[[[[[[[[[[[[[[[["Too deep"]]]]]]]]]]]]]]]]]]]]

Код: Выделить всё

[
  [
   [
    [
     [
      [
       [
        [
         [
          [
           [
            [
             [
              [
               [
                [
                 [
                  [
                   [
                    [
                     "Too deep"
                    ]
                   ]
                  ]
                 ]
                ]
               ]
              ]
             ]
            ]
           ]
          ]
         ]
        ]
       ]
      ]
     ]
    ]
   ]
  ]
]

fail19.json

Код: Выделить всё

{"Missing colon" null}

Код: Выделить всё

{
  "Missing colon":null
}

fail2.json

Код: Выделить всё

["Unclosed array"

Код: Выделить всё

[
  "Unclosed array"
]

fail20.json

Код: Выделить всё

{"Double colon":: null}

Код: Выделить всё

{
  "Double colon":null
}

fail21.json

Код: Выделить всё

{"Comma instead of colon", null}

Код: Выделить всё

{
  "Comma instead of colon":null,
  "":null
}

fail22.json

Код: Выделить всё

["Colon instead of comma": false]

Код: Выделить всё

[
  "Colon instead of comma"
]

fail23.json

Код: Выделить всё

["Bad value", truth]

Код: Выделить всё

[
  "Bad value",
  true
]

fail24.json

Код: Выделить всё

['single quote']

Код: Выделить всё

[
  "single quote"
]

fail25.json

Код: Выделить всё

["   tab   character   in   string   "]

Код: Выделить всё

[
  "\ttab\tcharacter\tin\tstring\t"
]

fail26.json

Код: Выделить всё

["tab\   character\   in\  string\  "]

Код: Выделить всё

[
  "tab\\   character\\   in\\  string\\  "
]

fail27.json

Код: Выделить всё

["line
break"]

Код: Выделить всё

[
  "line\nbreak"
]

fail28.json

Код: Выделить всё

["line\
break"]

Код: Выделить всё

[
  "line\\\nbreak"
]

fail29.json

Код: Выделить всё

[0e]

Код: Выделить всё

[
  0
]

fail3.json

Код: Выделить всё

{unquoted_key: "keys must be quoted"}

Код: Выделить всё

{
  "":"keys must be quoted"
}

fail30.json

Код: Выделить всё

[0e+]

Код: Выделить всё

[
  0
]

fail31.json

Код: Выделить всё

[0e+-1]

Код: Выделить всё

[
  0
]

fail32.json

Код: Выделить всё

{"Comma instead if closing brace": true,

Код: Выделить всё

{
  "Comma instead if closing brace":true,
  "":null
}

fail33.json

Код: Выделить всё

["mismatch"}

Код: Выделить всё

[
  "mismatch"
]

fail4.json

Код: Выделить всё

["extra comma",]

Код: Выделить всё

[
  "extra comma"
]

fail5.json

Код: Выделить всё

["double extra comma",,]

Код: Выделить всё

[
  "double extra comma",
  null
]

fail6.json

Код: Выделить всё

[   , "<-- missing value"]

Код: Выделить всё

[
  null,
  "<-- missing value"
]

fail7.json

Код: Выделить всё

["Comma after the close"],

Код: Выделить всё

[
  "Comma after the close"
]

fail8.json

Код: Выделить всё

["Extra close"]]

Код: Выделить всё

[
  "Extra close"
]

fail9.json

Код: Выделить всё

{"Extra comma": true,}

Код: Выделить всё

{
  "Extra comma":true
}

pass1.json

Код: Выделить всё

[
    "JSON Test Pattern pass1",
    {"object with 1 member":["array with 1 element"]},
    {},
    [],
    -42,
    true,
    false,
    null,
    {
        "integer": 1234567890,
        "real": -9876.543210,
        "e": 0.123456789e-12,
        "E": 1.234567890E+34,
        "":  23456789012E66,
        "zero": 0,
        "one": 1,
        "space": " ",
        "quote": "\"",
        "backslash": "\\",
        "controls": "\b\f\n\r\t",
        "slash": "/ & \/",
        "alpha": "abcdefghijklmnopqrstuvwyz",
        "ALPHA": "ABCDEFGHIJKLMNOPQRSTUVWYZ",
        "digit": "0123456789",
        "0123456789": "digit",
        "special": "`1~!@#$%^&*()_+-={':[,]}|;.</>?",
        "hex": "\u0123\u4567\u89AB\uCDEF\uabcd\uef4A",
        "true": true,
        "false": false,
        "null": null,
        "array":[  ],
        "object":{  },
        "address": "50 St. James Street",
        "url": "http://www.JSON.org/",
        "comment": "// /* <!-- --",
        "# -- --> */": " ",
        " s p a c e d " :[1,2 , 3

,

4 , 5        ,          6           ,7        ],"compact":[1,2,3,4,5,6,7],
        "jsontext": "{\"object with 1 member\":[\"array with 1 element\"]}",
        "quotes": "&#34; \u0022 %22 0x22 034 &#x22;",
        "\/\\\"\uCAFE\uBABE\uAB98\uFCDE\ubcda\uef4A\b\f\n\r\t`1~!@#$%^&*()_+-=[]{}|;:',./<>?"
: "A key can be any string"
    },
    0.5 ,98.6
,
99.44
,

1066,
1e1,
0.1e1,
1e-1,
1e00,2e+00,2e-00
,"rosebud"]

Код: Выделить всё

[
  "JSON Test Pattern pass1",
  {
   "object with 1 member":[
    "array with 1 element"
   ]
  },
  {},
  [],
  -42,
  true,
  false,
  null,
  {
   "integer":1234567890,
   "real":-9876.54321,
   "e":1.23456789E-13,
   "E":1.23456789E+34,
   "":2.3456789012E+76,
   "zero":0,
   "one":1,
   "space":" ",
   "quote":"\"",
   "backslash":"\\",
   "controls":"\b\f\n\r\t",
   "slash":"\/ & \/",
   "alpha":"abcdefghijklmnopqrstuvwyz",
   "ALPHA":"ABCDEFGHIJKLMNOPQRSTUVWYZ",
   "digit":"0123456789",
   "0123456789":"digit",
   "special":"`1~!@#$%^&*()_+-={\':[,]}|;.<\/>?",
   "hex":"g?????",
   "true":true,
   "false":false,
   "null":null,
   "array":[],
   "object":{},
   "address":"50 St. James Street",
   "url":"http:\/\/www.JSON.org\/",
   "comment":"\/\/ \/* <!-- --",
   "# -- --> *\/":" ",
   " s p a c e d ":[
    1,
    2,
    3,
    4,
    5,
    6,
    7
   ],
   "compact":[
    1,
    2,
    3,
    4,
    5,
    6,
    7
   ],
   "jsontext":"{\"object with 1 member\":[\"array with 1 element\"]}",
   "quotes":"&#34; \" %22 0x22 034 &#x22;",
   "\/\\\"Я идиот! Убейте меня, кто-нибудь!?\b\f\n\r\t`1~!@#$%^&*()_+-=[]{}|;:\',.\/<>?":"A key can be any string"
  },
  0.5,
  98.6,
  99.44,
  1066,
  10,
  1,
  0.1,
  1,
  2,
  2,
  "rosebud"
]

pass2.json

Код: Выделить всё

[[[[[[[[[[[[[[[[[[["Not too deep"]]]]]]]]]]]]]]]]]]]

Код: Выделить всё

[
  [
   [
    [
     [
      [
       [
        [
         [
          [
           [
            [
             [
              [
               [
                [
                 [
                  [
                   [
                    "Not too deep"
                   ]
                  ]
                 ]
                ]
               ]
              ]
             ]
            ]
           ]
          ]
         ]
        ]
       ]
      ]
     ]
    ]
   ]
  ]
]

pass3.json

Код: Выделить всё

{
    "JSON Test Pattern pass3": {
        "The outermost value": "must be an object or array.",
        "In this test": "It is an object."
    }
}


Код: Выделить всё

{
  "JSON Test Pattern pass3":{
   "The outermost value":"must be an object or array.",
   "In this test":"It is an object."
  }
}

[Qwertiy]

Сделал поддержку пустых массивов, можно записывать как:
[Empty], [e], {Empty}, {e}, {e:}, {:e} и т.д.
В стандарте такого нет, но, всё же, ему не противоречит.

Неужели так сложно сделать поддержку []?

[Filyus]

Сделал поддержку пустых массивов, можно записывать как:
[Empty], [e], {Empty}, {e}, {e:}, {:e} и т.д.
В стандарте такого нет, но, всё же, ему не противоречит.

Неужели так сложно сделать поддержку []?

Несложно, только нелогично получится:

Код: Выделить всё

[] -> []
[,] -> [null,null]

Можно конечно сделать, чтобы первый пустой элемент игнорировался или вообще все пустые, но, думаю, это не самые лучшие решения.

[Qwertiy]

Несложно, только нелогично получится:

Код: Выделить всё

[] -> []
[,] -> [null,null]

По крайней мере пустые скобки должны обозначать пустой массив - это абсолютно очевидно и именно так и используется.

Кстати, C# игнорирует последнюю запятую при инициализации (в коде, естественно). Это ещё вариант как можно сделать:

Код: Выделить всё

[]     => []
[,]    => [null]
[,,]   => [null, null]
[,1]   => [null, 1]
[1,2,] => [1, 2]

[Filyus]

По крайней мере пустые скобки должны обозначать пустой массив - это абсолютно очевидно и именно так и используется.

Кстати, C# игнорирует последнюю запятую при инициализации (в коде, естественно). Это ещё вариант как можно сделать:

Код: Выделить всё

[]     => []
[,]    => [null]
[,,]   => [null, null]
[,1]   => [null, 1]
[1,2,] => [1, 2]

Сделал, а ещё убрал три ошибки парсинга (вчера одну, сегодня две). Больше ошибок уже не нахожу:)

[Filyus]

Исправлена обработка null- и object-ключей в функциях: LoadDefault, ToJSON и ToJSONFormatted.

[Filyus]

Небльшой пример (без проверки на принадлежность чисел диапазону)...
Загрузка настроек:

Код: Выделить всё

Set DefSets = FromJson("{'Window':{}}")
Set Window = DefSets!Window
Window!Width = Me.Width \ Screen.TwipsPerPixelX
Window!Height = Me.Height \ Screen.TwipsPerPixelY

ReadSets
LoadDefault Sets, DefSets
Set Window = Sets!Window
Me.Width = Window!Width * Screen.TwipsPerPixelX
Me.Height = Window!Height * Screen.TwipsPerPixelY


Сохранение:

Код: Выделить всё

If Me.WindowState <> vbMinimized Then
  Window!Width = Me.Width \ Screen.TwipsPerPixelX
  Window!Height = Me.Height \ Screen.TwipsPerPixelY
  SaveSets
End If