diff --git a/Makefile b/Makefile index 4a1a829..1293e07 100644 --- a/Makefile +++ b/Makefile @@ -1,10 +1,10 @@ .PHONY: test build-example validate-example test: - PYTHONPATH=src python -m unittest discover -s tests -v + PYTHONPATH=src python scripts/run_regression.py validate-example: - PYTHONPATH=src python -m site_engine.cli validate examples/studio-site + PYTHONPATH=src python -m site_engine.cli validate examples/site-studio build-example: - PYTHONPATH=src python -m site_engine.cli build examples/studio-site --out /tmp/studio-dist + PYTHONPATH=src python -m site_engine.cli build examples/site-studio --out /tmp/site-studio-dist diff --git a/scripts/run_regression.py b/scripts/run_regression.py new file mode 100644 index 0000000..c82f443 --- /dev/null +++ b/scripts/run_regression.py @@ -0,0 +1,74 @@ +"""Run the full suite with an isolated, migrated historical studio-site fixture. + +Requires the Git history containing BASELINE. Does not restore examples in the checkout. +""" + +from __future__ import annotations + +import io +import subprocess +import sys +import tarfile +import tempfile +import unittest +from pathlib import Path + +from site_engine.parsing.yamlio import dump_yaml, load_yaml + +ROOT = Path(__file__).resolve().parents[1] +BASELINE = "231490b" + + +def main() -> int: + sys.path.insert(0, str(ROOT / "tests")) + import helpers + + try: + archive = subprocess.run( + ["git", "archive", BASELINE, "examples/studio-site"], + cwd=ROOT, + check=True, + capture_output=True, + ).stdout + except (OSError, subprocess.CalledProcessError): + print( + f"Cannot read the regression fixture from Git {BASELINE}. " + "Run from a checkout with this history (fetch history for shallow clones).", + file=sys.stderr, + ) + return 2 + + original_example = helpers.EXAMPLE + with tempfile.TemporaryDirectory(prefix="site-engine-regression-") as tmp: + with tarfile.open(fileobj=io.BytesIO(archive)) as bundle: + bundle.extractall(tmp, filter="data") + site = Path(tmp) / "examples/studio-site" + config = load_yaml((site / "site.yaml").read_text(encoding="utf-8")) + tokens = config["theme"]["tokens"] + config["theme"] = {"file": "theme.yaml"} + (site / "site.yaml").write_text(dump_yaml(config), encoding="utf-8") + # The old dark token was a custom brand color, not a semantic preset color. + # Font tokens follow minimal@1 in this migrated regression baseline. + (site / "theme.yaml").write_text( + dump_yaml({ + "schema": 1, + "preset": "minimal", + "preset_version": 1, + "overrides": { + "colors": {"primary": tokens["color.primary"]}, + "custom_colors": {"hero_dark": tokens["color.dark"]}, + }, + }), + encoding="utf-8", + ) + helpers.EXAMPLE = site + try: + suite = unittest.defaultTestLoader.discover(str(ROOT / "tests")) + result = unittest.TextTestRunner(verbosity=2).run(suite) + finally: + helpers.EXAMPLE = original_example + return 0 if result.wasSuccessful() else 1 + + +if __name__ == "__main__": + raise SystemExit(main()) diff --git a/specs/001-antirion-admin/verification-regression.md b/specs/001-antirion-admin/verification-regression.md new file mode 100644 index 0000000..53001f4 --- /dev/null +++ b/specs/001-antirion-admin/verification-regression.md @@ -0,0 +1,104 @@ +# Расширенная регрессия перед коммитами + +Дата: 2026-11-17. Проверены текущие реализации Content Editor и Publication, +исправление загрузки Publication через htmx и общие изменения редактора/preview. +Результаты ниже относятся к локальному FastAPI и Chromium на временных сайтах. +Пользовательская визуальная приёмка этапа 5 остаётся отдельным шагом. + +## Полный набор серверных тестов + +**401 тест — OK**, без пропусков. Повторный прогон через добавленный +`scripts/run_regression.py` также завершился успешно: 401 тест за 190 секунд. +Включены Content Editor, Publication, фоновый редактор, темы, авторизация, +ошибки API, CAS, история, renderer, сборка и упаковка ресурсов. + +Старые тесты зависят от удалённого `examples/studio-site`. Runner извлекает только +его данные из Git-коммита `231490b` во временный каталог, переносит inline theme +в файловую тему minimal@1 и устанавливает `tests/helpers.EXAMPLE` до discovery. +Код движка и тестов берётся из текущего checkout. Удалённые примеры в рабочее +дерево не возвращаются; новые UI-тесты используют собственные фикстуры. +Зависимость от вспомогательных файлов предыдущих проверок в `/tmp` устранена. + +Воспроизведение после установки `.[server,dev]`: + +```bash +make test +# Эквивалентно: +PYTHONPATH=src python scripts/run_regression.py +``` + +Нужны Git и история с указанным коммитом; shallow clone должен получить эту +историю. Обычный `unittest discover`/`pytest` пока не готовит старую фикстуру. +Перенос оставшихся старых тестов на независимые предметные фикстуры остаётся +техническим долгом. Для отдельных новых модулей discovery работает напрямую. + +## Браузер + +Все перечисленные сценарии используют настоящий FastAPI и временный Site Studio. +В специально проверяемых отказах 409/422/500 и обрывах сети подтверждаются +видимые сообщения, request ID и сохранность данных; ожидаемые traceback в этих +сценариях не являются падениями тестового прогона. + +| Проверка | Результат | +|---|---| +| `qa_content_001.py` | 25 групп в двух конфигурациях preview; поля, связи, usages, check, duplicate/delete, CAS, Expert, отсутствие автосохранения; сравнение с оригинальным дизайном | +| `qa_editor_updates.py` | 26 групп в двух конфигурациях; один update, сохранение input/iframe, задержанные ответы, более новый ввод, конфликт вкладок, восстановление после ошибок | +| `qa_publication_navigation_001.py` | 14 групп: реальные htmx-клики из Pages/Entry/Page Editor, повторный вход, Back/Forward и reload; 1440/390 px | +| `qa_publication_001.py` | Полный workflow в обеих конфигурациях preview: 25 групп и 12 визуальных наборов; validate/build без активации, точный кандидат, diff/preview, публикация, устаревший кандидат, rollback, ошибки и восстановление | +| `qa_shell_001.py` | 12 сравнений геометрии с исходником и 6 сценариев; поиск, меню, фокус, реальная публикация и выход | +| `qa_001.py` | 8 экранов, 60 проверок ширины | +| `qa_theme_manager_002.py` | 9 групп и 96 сравнений с оригиналом: шесть ширин, четыре шага, пресеты, overlay, CAS, ошибки, Save и мастер | +| `qa_errors_001.py` | 6 сценариев намеренных отказов публикации/сохранения/сети с проверкой уведомлений, журнала и восстановления | + +Непредвиденных JavaScript-ошибок и нативных диалогов в этих прогонах нет. +Проверены отдельно обычный и выделенный preview origin. Preview Publication +остаётся пассивным и в конфигурации с интерактивным preview редактора. +Скриншоты навигации Publication и Content на 1440/390 px дополнительно просмотрены. + +```bash +PYTHONPATH=src python scripts/qa_content_001.py +PYTHONPATH=src python scripts/qa_editor_updates.py +PYTHONPATH=src python scripts/qa_publication_navigation_001.py +PYTHONPATH=src python scripts/qa_publication_001.py +PYTHONPATH=src python scripts/qa_shell_001.py +PYTHONPATH=src python scripts/qa_001.py --out /tmp/site-engine-broad-general +PYTHONPATH=src python scripts/qa_errors_001.py +PYTHONPATH=src python scripts/qa_theme_manager_002.py --out /tmp/site-engine-broad-theme +``` + +Для браузерных проверок нужны Playwright и системный Chromium. В этом окружении +использован `/tmp/flexly-cms-htmx-check/bin/python`, Chromium без proxy. +Firefox/WebKit и рабочий удалённый сервер этим прогоном не проверялись. + +## Пакет, контракт и сборка + +- `scripts/verify_package_001.py --site examples/site-studio`: wheel собран и + установлен вне checkout, без `design/`. Проверены ресурсы, темы, Content Editor, + кандидат/preview/активация Publication, API и отдельный preview origin. +- `site-engine validate examples/site-studio`: 0 ошибок, 0 предупреждений. +- `site-engine build examples/site-studio --out /tmp/flexly-broad-site-dist`: + 13 страниц; рабочий `data/` не используется. +- Команда preview из быстрого старта README выполнена успешно. +- Экспорт OpenAPI текущего приложения побайтово совпадает с + `specs/001-antirion-admin/openapi.json`. +- Ruff для всех 30 изменённых/новых Python-файлов, `node --check` изменённых JS, + оба генератора Content/Publication с `--check` и `git diff --check` — OK. +- Локальные ссылки в BRANCHING, MCP-документе и README проверены. MCP-документ + сохранён в `docs/extends/`; ссылки исправлены с учётом переноса. + +## Артефакты и границы + +Журналы текущего прогона: `/tmp/flexly-{full-regression,full-reproducible,content-broad, +editor-broad,navigation-broad,publication-broad,shell-broad,general-broad, +errors-broad,theme-broad,package-broad}.log`. +JSON и скриншоты: `/tmp/site-engine-content-001/`, +`/tmp/site-engine-editor-updates/`, `/tmp/site-engine-publication-navigation-001/`, +`/tmp/site-engine-publication-001/`, `/tmp/site-engine-shell-001/`, +`/tmp/site-engine-broad-general/`, `/tmp/site-engine-broad-theme/`. +Это временные артефакты, они не включаются в Git. + +Не выполнялись нагрузочные/длительные испытания и аварийное завершение процесса +между несколькими служебными записями. Ограничения workflow описаны в +[publication-backend.md](publication-backend.md). Исходники дизайна, рабочие +данные, секреты и Docker-конфигурация в этом прогоне не менялись. Развёртывание +контейнера не входит в эту проверку. diff --git a/tests/test_repo_hygiene.py b/tests/test_repo_hygiene.py index 770ea24..7da4634 100644 --- a/tests/test_repo_hygiene.py +++ b/tests/test_repo_hygiene.py @@ -45,12 +45,12 @@ class EnvExampleTest(unittest.TestCase): def test_filled_env_example_works_exactly_as_docker_reads_it(self): text = (ROOT / ".env.example").read_text(encoding="utf-8") - text = text.replace("SITE_ADMIN_PASSWORD_HASH=", f"SITE_ADMIN_PASSWORD_HASH={GOOD_HASH}") - text = text.replace("SITE_SECRET_KEY=", "SITE_SECRET_KEY=" + "k" * 43) + text = re.sub(r"^SITE_ADMIN_PASSWORD_HASH=.*$", f"SITE_ADMIN_PASSWORD_HASH={GOOD_HASH}", text, flags=re.MULTILINE) + text = re.sub(r"^SITE_SECRET_KEY=.*$", "SITE_SECRET_KEY=" + "k" * 43, text, flags=re.MULTILINE) env = parse_docker_env_file(text) cfg = AuthConfig.from_env(env) self.assertEqual((cfg.login, cfg.cookie_secure, cfg.session_hours), ("admin", True, 8.0)) - self.assertEqual(SitePaths.from_env({**{"SITE_ROOT": "/data/site", "SITE_DIST": "/data/dist"}, **env}).relative, ()) + self.assertEqual(SitePaths.from_env({"SITE_ROOT": "/data/site", "SITE_DIST": "/data/dist", **env}).relative, ()) def test_old_env_example_would_have_failed_loudly_instead_of_silently(self): text = OLD_ENV_EXAMPLE.replace("SITE_ADMIN_PASSWORD_HASH= #", f"SITE_ADMIN_PASSWORD_HASH={GOOD_HASH} #") @@ -82,10 +82,10 @@ class IgnoreRulesTest(unittest.TestCase): subprocess.run(["git", "init", "-q", tmp], check=True) shutil.copy(ROOT / ".gitignore", Path(tmp) / ".gitignore") for rel in self.PACKAGE_FILES: - result = subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel]) + result = subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel], check=False) self.assertEqual(result.returncode, 1, f"{rel} игнорируется git") for rel in ("build/lib/x.py", "dist/current/index.html"): - self.assertEqual(subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel]).returncode, 0, rel) + self.assertEqual(subprocess.run(["git", "-C", tmp, "check-ignore", "-q", rel], check=False).returncode, 0, rel) class DockerfileTest(unittest.TestCase): @@ -95,7 +95,7 @@ class DockerfileTest(unittest.TestCase): def test_all_paths_point_inside_one_data_volume(self): for pair in ("SITE_ROOT=/data/site", "SITE_DIST=/data/dist", "SITE_STATE_DIR=/data/state"): self.assertIn(pair, self.text) - self.assertEqual(re.findall(r"^VOLUME .*$", self.text, re.M), ['VOLUME ["/data"]']) + self.assertEqual(re.findall(r"^VOLUME .*$", self.text, re.MULTILINE), ['VOLUME ["/data"]']) def test_env_file_is_never_copied_into_the_image(self): self.assertIn(".env", (ROOT / ".dockerignore").read_text(encoding="utf-8").splitlines())