jsonpickle Documentation¶
jsonpickle is a Python library for serialization and deserialization of complex Python objects to and from JSON. The standard Python libraries for encoding Python into JSON, such as the stdlib’s json, simplejson, and demjson, can only handle Python primitives that have a direct JSON equivalent (e.g. dicts, lists, strings, ints, etc.). jsonpickle builds on top of these libraries and allows more complex data structures to be serialized to JSON. jsonpickle is highly configurable and extendable–allowing the user to choose the JSON backend and add additional backends.
jsonpickle Usage¶
Python library for serializing any arbitrary object graph into JSON.
The jsonpickle module is not secure. Only unpickle data you trust.
It is possible to construct malicious pickle data which will execute arbitrary code during unpickling. Never unpickle data that could have come from an untrusted source, or that could have been tampered with.
Consider signing data with an HMAC if you need to ensure that it has not been tampered with.
Safer deserialization approaches, such as reading the raw JSON directly, may be more appropriate if you are processing untrusted data.
jsonpickle can take almost any Python object and turn the object into JSON. Additionally, it can reconstitute the object back into Python.
The object must be accessible globally via a module and must inherit from object (AKA new-style classes).
class Thing(object): def __init__(self, name): self.name = name obj = Thing('Awesome')
Use jsonpickle to transform the object into a JSON string:
import jsonpickle frozen = jsonpickle.encode(obj)
Use jsonpickle to recreate a Python object from a JSON string:
thawed = jsonpickle.decode(frozen)
The new object has the same type and data, but essentially is now a copy of the original.
assert obj.name == thawed.name
If you will never need to load (regenerate the Python class from JSON), you can pass in the keyword unpicklable=False to prevent extra information from being added to JSON:
oneway = jsonpickle.encode(obj, unpicklable=False) result = jsonpickle.decode(oneway) assert obj.name == result['name'] == 'Awesome'
Please see the note in the jsonpickle – High Level API when serializing dictionaries that contain non-string dictionary keys.
Download & Install¶
The easiest way to get jsonpickle is via PyPi with pip:
jsonpickle has no required dependencies (it uses the standard library’s json module by default).
You can also download or checkout the latest code and install from source:
API Reference¶
jsonpickle Documentation¶
jsonpickle is a Python library for serialization and deserialization of complex Python objects to and from JSON. The standard Python libraries for encoding Python into JSON, such as the stdlib’s json, simplejson, and demjson, can only handle Python primitives that have a direct JSON equivalent (e.g. dicts, lists, strings, ints, etc.). jsonpickle builds on top of these libraries and allows more complex data structures to be serialized to JSON. jsonpickle is highly configurable and extendable–allowing the user to choose the JSON backend and add additional backends.
jsonpickle Usage¶
Please see the note in the jsonpickle – High Level API when serializing dictionaries that contain non-string dictionary keys.
Python library for serializing any arbitrary object graph into JSON.
jsonpickle can execute arbitrary Python code. Do not load jsonpickles from untrusted / unauthenticated sources.
jsonpickle can take almost any Python object and turn the object into JSON. Additionally, it can reconstitute the object back into Python.
The object must be accessible globally via a module and must inherit from object (AKA new-style classes).
class Thing(object): def __init__(self, name): self.name = name obj = Thing('Awesome')
Use jsonpickle to transform the object into a JSON string:
import jsonpickle frozen = jsonpickle.encode(obj)
Use jsonpickle to recreate a Python object from a JSON string:
thawed = jsonpickle.decode(frozen)
The new object has the same type and data, but essentially is now a copy of the original.
assert obj.name == thawed.name
If you will never need to load (regenerate the Python class from JSON), you can pass in the keyword unpicklable=False to prevent extra information from being added to JSON:
oneway = jsonpickle.encode(obj, unpicklable=False) result = jsonpickle.decode(oneway) assert obj.name == result['name'] == 'Awesome'
Download & Install¶
The easiest way to get jsonpickle is via PyPi with pip:
jsonpickle has no required dependencies (it uses the standard library’s json module by default).
You can also download or checkout the latest code and install from source:
API Reference¶
Модули Python для ускоренной обработки JSON
Разработка ПО неизбежно сопряжена с парсингом JSON. Если вы взаимодействуете с API, передаете сообщения между хостами или собираете данные, то, вероятнее всего, используете JSON. Python поставляется со стандартной библиотекой json . Ее возможностей хватает для большинства случаев. Однако некоторые сценарии требуют более гибких и быстрых решений.
При создании приложения или библиотеки, интенсивно работающей с JSON, следует обзавестись более функциональным модулем. В статье мы рассмотрим ряд отличных модулей, позволяющих парсить JSON с такой легкостью, о которой базовые аналоги могут только мечтать. Некоторые из них значительно превосходят библиотеку json в скорости выполнения задач.
1. orjson
Модуль orjson предназначен для работы с большим объемом сложных объектов JSON и молниеносного выполнения операций. Он быстрее стандартной библиотеки Python json и способен обрабатывать множество разных типов данных, включая NumPy .
Главные преимущества этой библиотеки — скорость и производительность. Кроме того, она обладает довольно впечатляющими статистическими показателями.
- Сериализует экземпляры dataclass в 40–50 раз быстрее, чем другие библиотеки.
- Сериализует экземпляры datetime , date и time в формат RFC 3339, например «1970-01-01T00:00:00+00:00».
- Сериализует экземпляры numpy.ndarray в 4-12 раз быстрее при 0,3-кратном использовании памяти по сравнению с другими библиотеками.
- Выводит данные в 10–20 раз быстрее стандартной библиотеки.
- Сериализует в bytes , а не в str , т.е. не является прямой заменой.
- Сериализует str без экранирования Unicode в ASCII, например «好», а не «\\u597d».
- Сериализует float в 10 раз быстрее, а десериализует в 2 раза быстрее других библиотек.
- Нативно сериализует подклассы str , int , list и dict , требуя default для указания способов сериализации других типов.
- Сериализует произвольные типы с помощью хука default .
- Придерживается строгого соответствия UTF-8, отличается большей точность по сравнению со стандартной библиотекой.
- Строго соответствует JSON, не поддерживая Nan / Infinity / -Infinity .
- Соблюдает соответствие JSON в отношении 53-битных целых чисел с предустановленной поддержкой 64-битных.
- Не предоставляет функции load() и dump() для считывания из/записи в объекты наподобие файлов.
Несмотря на то, что orjson не является непосредственной заменой модуля json , преимущества в скорости и производительности позволяют эффективно применять его в конвейерах данных. Модуль orjson поможет решить все проблемы с парсингом.
2. tortilla
Tortilla — настолько потрясающий модуль, что в пору воскликнуть: “Где же ты был всю мою жизнь?!”. Он берет практически любой API и оборачивает его особым образом, позволяя использовать его как обычный набор методов Python. А теперь самое главное преимущество: результаты хранятся как обыкновенные атрибуты, так что к ним можно получить доступ без вынужденных манипуляций с необработанными данными JSON.
Данный модуль творит чудеса. Если вы раз за разом вручную создавали собственную логику парсинга API на стороне клиента, то пора остановиться, сделать шаг назад и попробовать поработать с этим модулем прямо сейчас.
Убедитесь на примере, как легко Tortilla взаимодействует с API JSONPlaceholder:
import tortilla api = tortilla.wrap(‘https://jsonplaceholder.typicode.com’) todo = api.todos(1).get() print(todo)>>>
Нужно лишь предоставить модулю Tortilla базовый URL, и он автоматически его обернет. Совсем как настоящая тортилья!
3. jsonpickle
Это действительно отличный модуль. Он делает сериализацию объектов Python более читаемой. Большинство других подобных библиотек хранят сериализованные данные в нечитаемом формате. Достаточно открыть один из таких сериализованных файлов, как вы увидите хаотичные и бессодержательные данные.
Модуль jsonpickle хранит сериализованные объекты Python в удобном для чтения формате JSON. Вы спокойно их открываете и считываете, не боясь увидеть нечто непонятное.
Например, создадим следующий класс и объект:
class Foo:
self.bar = 1
foo = Foo()
С помощью jsonpickle этот базовый объект легко сериализуется в JSON:
import jsonpickle
jsonpickle.dumps(foo)
>>> ''
Данный подход очень удобен при сериализации объектов, которые должны оставаться удобочитаемыми для внешних процессов, индексатора и человека.
4. jsondiff
Допустим, вам поступает большой blob -объект JSON, который нужно сравнить с другим вновь полученным blob -объектом и выявить различия между ними. Можно самостоятельно просмотреть содержимое и попытаться найти отличия или воспользоваться более разумным подходом в виде модуля jsondiff .
Данный модуль позволяет быстро найти отличия между двумя разными объектами JSON. Сравним два blob -объекта JSON:
Отличие между ними очевидно, но пусть его найдет модуль jsondiff :
import jsondiff
jsondiff.diff(blob_1, blob_2)
>>>
А теперь представьте, что такую операцию нужно выполнить применительно к blob -объекту, содержащему тысячи символов и тонны вложенных объектов. Без модуля jsondiff это будет похоже на поиски иголки в стоге сена. Еще одно преимущество данного модуля состоит в том, что он позволяет программно искать различия и перехватывать ошибки API до того, как они попадут в продакшн.
5. GenSON
При работе с большим количеством данных JSON может потребоваться настройка специального форматирования и типизации для blob -объектов JSON. Одно из решений заключается в создании схемы JSON. С ее помощью вы указываете типы полей, требования и другие атрибуты для общей структуры JSON.
Модуль GenSON — это превосходная библиотека для создания схем JSON в Python. Он позволяет их конструировать с помощью понятного синтаксиса построения. Создадим простую схему:
from genson import SchemaBuilder schema_builder = SchemaBuilder() schema_builder.add_schema(>) schema_builder.add_object() schema_builder.to_schema() >>> http://json-schema.org/schema#', 'type': 'object', 'properties': >, 'required': ['my_obj']>
Получилась хоть и небольшая, но все-таки схема. Она содержит такую базовую информацию, как ссылку на схему и сведения о типах для связанных объектов.
Процесс построения схемы JSON может оказаться довольно сложным. Более подробная информация о типах и требованиях к созданию схем содержится в официальной документации JSON Schema.