Make full regression reproducible with isolated legacy fixtures
This commit is contained in:
@@ -1,10 +1,10 @@
|
|||||||
.PHONY: test build-example validate-example
|
.PHONY: test build-example validate-example
|
||||||
|
|
||||||
test:
|
test:
|
||||||
PYTHONPATH=src python -m unittest discover -s tests -v
|
PYTHONPATH=src python scripts/run_regression.py
|
||||||
|
|
||||||
validate-example:
|
validate-example:
|
||||||
PYTHONPATH=src python -m site_engine.cli validate examples/studio-site
|
PYTHONPATH=src python -m site_engine.cli validate examples/site-studio
|
||||||
|
|
||||||
build-example:
|
build-example:
|
||||||
PYTHONPATH=src python -m site_engine.cli build examples/studio-site --out /tmp/studio-dist
|
PYTHONPATH=src python -m site_engine.cli build examples/site-studio --out /tmp/site-studio-dist
|
||||||
|
|||||||
@@ -0,0 +1,74 @@
|
|||||||
|
"""Run the full suite with an isolated, migrated historical studio-site fixture.
|
||||||
|
|
||||||
|
Requires the Git history containing BASELINE. Does not restore examples in the checkout.
|
||||||
|
"""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import io
|
||||||
|
import subprocess
|
||||||
|
import sys
|
||||||
|
import tarfile
|
||||||
|
import tempfile
|
||||||
|
import unittest
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
from site_engine.parsing.yamlio import dump_yaml, load_yaml
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
BASELINE = "231490b"
|
||||||
|
|
||||||
|
|
||||||
|
def main() -> int:
|
||||||
|
sys.path.insert(0, str(ROOT / "tests"))
|
||||||
|
import helpers
|
||||||
|
|
||||||
|
try:
|
||||||
|
archive = subprocess.run(
|
||||||
|
["git", "archive", BASELINE, "examples/studio-site"],
|
||||||
|
cwd=ROOT,
|
||||||
|
check=True,
|
||||||
|
capture_output=True,
|
||||||
|
).stdout
|
||||||
|
except (OSError, subprocess.CalledProcessError):
|
||||||
|
print(
|
||||||
|
f"Cannot read the regression fixture from Git {BASELINE}. "
|
||||||
|
"Run from a checkout with this history (fetch history for shallow clones).",
|
||||||
|
file=sys.stderr,
|
||||||
|
)
|
||||||
|
return 2
|
||||||
|
|
||||||
|
original_example = helpers.EXAMPLE
|
||||||
|
with tempfile.TemporaryDirectory(prefix="site-engine-regression-") as tmp:
|
||||||
|
with tarfile.open(fileobj=io.BytesIO(archive)) as bundle:
|
||||||
|
bundle.extractall(tmp, filter="data")
|
||||||
|
site = Path(tmp) / "examples/studio-site"
|
||||||
|
config = load_yaml((site / "site.yaml").read_text(encoding="utf-8"))
|
||||||
|
tokens = config["theme"]["tokens"]
|
||||||
|
config["theme"] = {"file": "theme.yaml"}
|
||||||
|
(site / "site.yaml").write_text(dump_yaml(config), encoding="utf-8")
|
||||||
|
# The old dark token was a custom brand color, not a semantic preset color.
|
||||||
|
# Font tokens follow minimal@1 in this migrated regression baseline.
|
||||||
|
(site / "theme.yaml").write_text(
|
||||||
|
dump_yaml({
|
||||||
|
"schema": 1,
|
||||||
|
"preset": "minimal",
|
||||||
|
"preset_version": 1,
|
||||||
|
"overrides": {
|
||||||
|
"colors": {"primary": tokens["color.primary"]},
|
||||||
|
"custom_colors": {"hero_dark": tokens["color.dark"]},
|
||||||
|
},
|
||||||
|
}),
|
||||||
|
encoding="utf-8",
|
||||||
|
)
|
||||||
|
helpers.EXAMPLE = site
|
||||||
|
try:
|
||||||
|
suite = unittest.defaultTestLoader.discover(str(ROOT / "tests"))
|
||||||
|
result = unittest.TextTestRunner(verbosity=2).run(suite)
|
||||||
|
finally:
|
||||||
|
helpers.EXAMPLE = original_example
|
||||||
|
return 0 if result.wasSuccessful() else 1
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
raise SystemExit(main())
|
||||||
@@ -0,0 +1,104 @@
|
|||||||
|
# Расширенная регрессия перед коммитами
|
||||||
|
|
||||||
|
Дата: 2026-11-17. Проверены текущие реализации Content Editor и Publication,
|
||||||
|
исправление загрузки Publication через htmx и общие изменения редактора/preview.
|
||||||
|
Результаты ниже относятся к локальному FastAPI и Chromium на временных сайтах.
|
||||||
|
Пользовательская визуальная приёмка этапа 5 остаётся отдельным шагом.
|
||||||
|
|
||||||
|
## Полный набор серверных тестов
|
||||||
|
|
||||||
|
**401 тест — OK**, без пропусков. Повторный прогон через добавленный
|
||||||
|
`scripts/run_regression.py` также завершился успешно: 401 тест за 190 секунд.
|
||||||
|
Включены Content Editor, Publication, фоновый редактор, темы, авторизация,
|
||||||
|
ошибки API, CAS, история, renderer, сборка и упаковка ресурсов.
|
||||||
|
|
||||||
|
Старые тесты зависят от удалённого `examples/studio-site`. Runner извлекает только
|
||||||
|
его данные из Git-коммита `231490b` во временный каталог, переносит inline theme
|
||||||
|
в файловую тему minimal@1 и устанавливает `tests/helpers.EXAMPLE` до discovery.
|
||||||
|
Код движка и тестов берётся из текущего checkout. Удалённые примеры в рабочее
|
||||||
|
дерево не возвращаются; новые UI-тесты используют собственные фикстуры.
|
||||||
|
Зависимость от вспомогательных файлов предыдущих проверок в `/tmp` устранена.
|
||||||
|
|
||||||
|
Воспроизведение после установки `.[server,dev]`:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
make test
|
||||||
|
# Эквивалентно:
|
||||||
|
PYTHONPATH=src python scripts/run_regression.py
|
||||||
|
```
|
||||||
|
|
||||||
|
Нужны Git и история с указанным коммитом; shallow clone должен получить эту
|
||||||
|
историю. Обычный `unittest discover`/`pytest` пока не готовит старую фикстуру.
|
||||||
|
Перенос оставшихся старых тестов на независимые предметные фикстуры остаётся
|
||||||
|
техническим долгом. Для отдельных новых модулей discovery работает напрямую.
|
||||||
|
|
||||||
|
## Браузер
|
||||||
|
|
||||||
|
Все перечисленные сценарии используют настоящий FastAPI и временный Site Studio.
|
||||||
|
В специально проверяемых отказах 409/422/500 и обрывах сети подтверждаются
|
||||||
|
видимые сообщения, request ID и сохранность данных; ожидаемые traceback в этих
|
||||||
|
сценариях не являются падениями тестового прогона.
|
||||||
|
|
||||||
|
| Проверка | Результат |
|
||||||
|
|---|---|
|
||||||
|
| `qa_content_001.py` | 25 групп в двух конфигурациях preview; поля, связи, usages, check, duplicate/delete, CAS, Expert, отсутствие автосохранения; сравнение с оригинальным дизайном |
|
||||||
|
| `qa_editor_updates.py` | 26 групп в двух конфигурациях; один update, сохранение input/iframe, задержанные ответы, более новый ввод, конфликт вкладок, восстановление после ошибок |
|
||||||
|
| `qa_publication_navigation_001.py` | 14 групп: реальные htmx-клики из Pages/Entry/Page Editor, повторный вход, Back/Forward и reload; 1440/390 px |
|
||||||
|
| `qa_publication_001.py` | Полный workflow в обеих конфигурациях preview: 25 групп и 12 визуальных наборов; validate/build без активации, точный кандидат, diff/preview, публикация, устаревший кандидат, rollback, ошибки и восстановление |
|
||||||
|
| `qa_shell_001.py` | 12 сравнений геометрии с исходником и 6 сценариев; поиск, меню, фокус, реальная публикация и выход |
|
||||||
|
| `qa_001.py` | 8 экранов, 60 проверок ширины |
|
||||||
|
| `qa_theme_manager_002.py` | 9 групп и 96 сравнений с оригиналом: шесть ширин, четыре шага, пресеты, overlay, CAS, ошибки, Save и мастер |
|
||||||
|
| `qa_errors_001.py` | 6 сценариев намеренных отказов публикации/сохранения/сети с проверкой уведомлений, журнала и восстановления |
|
||||||
|
|
||||||
|
Непредвиденных JavaScript-ошибок и нативных диалогов в этих прогонах нет.
|
||||||
|
Проверены отдельно обычный и выделенный preview origin. Preview Publication
|
||||||
|
остаётся пассивным и в конфигурации с интерактивным preview редактора.
|
||||||
|
Скриншоты навигации Publication и Content на 1440/390 px дополнительно просмотрены.
|
||||||
|
|
||||||
|
```bash
|
||||||
|
PYTHONPATH=src python scripts/qa_content_001.py
|
||||||
|
PYTHONPATH=src python scripts/qa_editor_updates.py
|
||||||
|
PYTHONPATH=src python scripts/qa_publication_navigation_001.py
|
||||||
|
PYTHONPATH=src python scripts/qa_publication_001.py
|
||||||
|
PYTHONPATH=src python scripts/qa_shell_001.py
|
||||||
|
PYTHONPATH=src python scripts/qa_001.py --out /tmp/site-engine-broad-general
|
||||||
|
PYTHONPATH=src python scripts/qa_errors_001.py
|
||||||
|
PYTHONPATH=src python scripts/qa_theme_manager_002.py --out /tmp/site-engine-broad-theme
|
||||||
|
```
|
||||||
|
|
||||||
|
Для браузерных проверок нужны Playwright и системный Chromium. В этом окружении
|
||||||
|
использован `/tmp/flexly-cms-htmx-check/bin/python`, Chromium без proxy.
|
||||||
|
Firefox/WebKit и рабочий удалённый сервер этим прогоном не проверялись.
|
||||||
|
|
||||||
|
## Пакет, контракт и сборка
|
||||||
|
|
||||||
|
- `scripts/verify_package_001.py --site examples/site-studio`: wheel собран и
|
||||||
|
установлен вне checkout, без `design/`. Проверены ресурсы, темы, Content Editor,
|
||||||
|
кандидат/preview/активация Publication, API и отдельный preview origin.
|
||||||
|
- `site-engine validate examples/site-studio`: 0 ошибок, 0 предупреждений.
|
||||||
|
- `site-engine build examples/site-studio --out /tmp/flexly-broad-site-dist`:
|
||||||
|
13 страниц; рабочий `data/` не используется.
|
||||||
|
- Команда preview из быстрого старта README выполнена успешно.
|
||||||
|
- Экспорт OpenAPI текущего приложения побайтово совпадает с
|
||||||
|
`specs/001-antirion-admin/openapi.json`.
|
||||||
|
- Ruff для всех 30 изменённых/новых Python-файлов, `node --check` изменённых JS,
|
||||||
|
оба генератора Content/Publication с `--check` и `git diff --check` — OK.
|
||||||
|
- Локальные ссылки в BRANCHING, MCP-документе и README проверены. MCP-документ
|
||||||
|
сохранён в `docs/extends/`; ссылки исправлены с учётом переноса.
|
||||||
|
|
||||||
|
## Артефакты и границы
|
||||||
|
|
||||||
|
Журналы текущего прогона: `/tmp/flexly-{full-regression,full-reproducible,content-broad,
|
||||||
|
editor-broad,navigation-broad,publication-broad,shell-broad,general-broad,
|
||||||
|
errors-broad,theme-broad,package-broad}.log`.
|
||||||
|
JSON и скриншоты: `/tmp/site-engine-content-001/`,
|
||||||
|
`/tmp/site-engine-editor-updates/`, `/tmp/site-engine-publication-navigation-001/`,
|
||||||
|
`/tmp/site-engine-publication-001/`, `/tmp/site-engine-shell-001/`,
|
||||||
|
`/tmp/site-engine-broad-general/`, `/tmp/site-engine-broad-theme/`.
|
||||||
|
Это временные артефакты, они не включаются в Git.
|
||||||
|
|
||||||
|
Не выполнялись нагрузочные/длительные испытания и аварийное завершение процесса
|
||||||
|
между несколькими служебными записями. Ограничения workflow описаны в
|
||||||
|
[publication-backend.md](publication-backend.md). Исходники дизайна, рабочие
|
||||||
|
данные, секреты и Docker-конфигурация в этом прогоне не менялись. Развёртывание
|
||||||
|
контейнера не входит в эту проверку.
|
||||||
@@ -45,12 +45,12 @@ class EnvExampleTest(unittest.TestCase):
|
|||||||
|
|
||||||
def test_filled_env_example_works_exactly_as_docker_reads_it(self):
|
def test_filled_env_example_works_exactly_as_docker_reads_it(self):
|
||||||
text = (ROOT / ".env.example").read_text(encoding="utf-8")
|
text = (ROOT / ".env.example").read_text(encoding="utf-8")
|
||||||
text = text.replace("SITE_ADMIN_PASSWORD_HASH=", f"SITE_ADMIN_PASSWORD_HASH={GOOD_HASH}")
|
text = re.sub(r"^SITE_ADMIN_PASSWORD_HASH=.*$", f"SITE_ADMIN_PASSWORD_HASH={GOOD_HASH}", text, flags=re.MULTILINE)
|
||||||
text = text.replace("SITE_SECRET_KEY=", "SITE_SECRET_KEY=" + "k" * 43)
|
text = re.sub(r"^SITE_SECRET_KEY=.*$", "SITE_SECRET_KEY=" + "k" * 43, text, flags=re.MULTILINE)
|
||||||
env = parse_docker_env_file(text)
|
env = parse_docker_env_file(text)
|
||||||
cfg = AuthConfig.from_env(env)
|
cfg = AuthConfig.from_env(env)
|
||||||
self.assertEqual((cfg.login, cfg.cookie_secure, cfg.session_hours), ("admin", True, 8.0))
|
self.assertEqual((cfg.login, cfg.cookie_secure, cfg.session_hours), ("admin", True, 8.0))
|
||||||
self.assertEqual(SitePaths.from_env({**{"SITE_ROOT": "/data/site", "SITE_DIST": "/data/dist"}, **env}).relative, ())
|
self.assertEqual(SitePaths.from_env({"SITE_ROOT": "/data/site", "SITE_DIST": "/data/dist", **env}).relative, ())
|
||||||
|
|
||||||
def test_old_env_example_would_have_failed_loudly_instead_of_silently(self):
|
def test_old_env_example_would_have_failed_loudly_instead_of_silently(self):
|
||||||
text = OLD_ENV_EXAMPLE.replace("SITE_ADMIN_PASSWORD_HASH= #", f"SITE_ADMIN_PASSWORD_HASH={GOOD_HASH} #")
|
text = OLD_ENV_EXAMPLE.replace("SITE_ADMIN_PASSWORD_HASH= #", f"SITE_ADMIN_PASSWORD_HASH={GOOD_HASH} #")
|
||||||
@@ -82,10 +82,10 @@ class IgnoreRulesTest(unittest.TestCase):
|
|||||||
subprocess.run(["git", "init", "-q", tmp], check=True)
|
subprocess.run(["git", "init", "-q", tmp], check=True)
|
||||||
shutil.copy(ROOT / ".gitignore", Path(tmp) / ".gitignore")
|
shutil.copy(ROOT / ".gitignore", Path(tmp) / ".gitignore")
|
||||||
for rel in self.PACKAGE_FILES:
|
for rel in self.PACKAGE_FILES:
|
||||||
result = subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel])
|
result = subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel], check=False)
|
||||||
self.assertEqual(result.returncode, 1, f"{rel} игнорируется git")
|
self.assertEqual(result.returncode, 1, f"{rel} игнорируется git")
|
||||||
for rel in ("build/lib/x.py", "dist/current/index.html"):
|
for rel in ("build/lib/x.py", "dist/current/index.html"):
|
||||||
self.assertEqual(subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel]).returncode, 0, rel)
|
self.assertEqual(subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel], check=False).returncode, 0, rel)
|
||||||
|
|
||||||
|
|
||||||
class DockerfileTest(unittest.TestCase):
|
class DockerfileTest(unittest.TestCase):
|
||||||
@@ -95,7 +95,7 @@ class DockerfileTest(unittest.TestCase):
|
|||||||
def test_all_paths_point_inside_one_data_volume(self):
|
def test_all_paths_point_inside_one_data_volume(self):
|
||||||
for pair in ("SITE_ROOT=/data/site", "SITE_DIST=/data/dist", "SITE_STATE_DIR=/data/state"):
|
for pair in ("SITE_ROOT=/data/site", "SITE_DIST=/data/dist", "SITE_STATE_DIR=/data/state"):
|
||||||
self.assertIn(pair, self.text)
|
self.assertIn(pair, self.text)
|
||||||
self.assertEqual(re.findall(r"^VOLUME .*$", self.text, re.M), ['VOLUME ["/data"]'])
|
self.assertEqual(re.findall(r"^VOLUME .*$", self.text, re.MULTILINE), ['VOLUME ["/data"]'])
|
||||||
|
|
||||||
def test_env_file_is_never_copied_into_the_image(self):
|
def test_env_file_is_never_copied_into_the_image(self):
|
||||||
self.assertIn(".env", (ROOT / ".dockerignore").read_text(encoding="utf-8").splitlines())
|
self.assertIn(".env", (ROOT / ".dockerignore").read_text(encoding="utf-8").splitlines())
|
||||||
|
|||||||
Reference in New Issue
Block a user