Единица времени и isAdjustedToUTC в Parquet timestamp
После экспорта телеметрии даты сдвинулись либо оказались далеко от ожидаемого периода. Возможная причина находится в единице и семантике timestamp. Для хозяйства нужно сохранить, передаётся ли UTC момент или локальное календарное представление. Одинаковый числовой тип не позволяет угадать этот смысл по внешнему виду нескольких привычных записей.
Прочитать логический тип
Apache Parquet определяет TIMESTAMP с единицей и isAdjustedToUTC. (Apache Parquet — Logical Types) Сохраните эти признаки из фактической схемы файла, а не только из настроек экспортёра. Миллисекунды, микросекунды и наносекунды нельзя подменять друг другом без явного корректного преобразования и проверки поддерживаемого диапазона конкретного читателя.
Уточните происхождение времени в исходной телеметрии. Время измерения и серверного поступления остаются разными полями даже при одинаковом формате хранения. Если устройство не знает точный момент события, это ограничение не устраняется выбором более подробной единицы или добавлением нескольких нулей в числовое представление.
Разделить UTC и календарное отображение
Не объявляйте локальное представление UTC моментом без соответствующего исходного контекста. Признак логического типа должен соответствовать фактической модели данных. Зона отображения пользователя применяется отдельным этапом и не должна молча перезаписывать исходные серверные отметки либо менять эксплуатационный календарь уже работающего отчёта хозяйства.
Увеличить схему
Для периода с неоднозначным местным временем нужен подтверждённый способ интерпретации, если такой сценарий относится к источнику. Нельзя восстановить недостающий контекст одной догадкой читателя. Когда исходные сведения недостаточны, сохраняйте неопределённость вместо придуманной точной хронологии, которая выглядит убедительно только после автоматического форматирования даты.
Проверить проход туда и обратно
Подготовьте собственные известные моменты и локальные значения по контракту. Запишите их рабочим экспортёром, прочитайте реальным потребителем и сравните точный смысл. Отдельно проверьте границу секунды и доступную дробную часть. Визуальное совпадение округлённой подписи не доказывает сохранение всей требуемой точности данных после преобразования.
Добавьте пустое и недостоверное время согласно схеме. Отсутствующая отметка не должна автоматически превращаться в начало эпохи и попадать на график как настоящее наблюдение. Если библиотека выполняет собственную коррекцию зоны, это поведение должно быть известно и отключено либо согласовано поддерживаемым способом конкретного клиента.
Сохранить совместимость истории
В реестре выгрузок укажите схему и версии писателя с читателем. После обновления повторите контрольный набор. Не переинтерпретируйте весь старый архив по текущему предположению только потому, что новая библиотека выбирает другие значения по умолчанию и успешно возвращает объект своего внутреннего типа даты.
Для хозяйства приёмка подтверждает сохранение временного смысла, единицы и качества. Это помогает сопоставлять наблюдения с другими каналами без скрытого сдвига. Точность числа, UTC семантика и удобная местная подпись остаются отдельными условиями, каждое из которых проверяется на фактическом маршруте архивной выгрузки.
