Skip to content

Blind Analysis Protocol / Протокол Слепого Анализа #7

@denisbanchenko

Description

@denisbanchenko

🔬 BLIND ANALYSIS PROTOCOL / ПРОТОКОЛ СЛЕПОГО АНАЛИЗА

📊 ANALYSIS METHODOLOGY / МЕТОДОЛОГИЯ АНАЛИЗА

flowchart TD
    A[Samples A/B/C<br/>Образцы A/B/C] --> B[Blinded Analysis<br/>Слепой Анализ]
    B --> C[LLM Analysis<br/>Анализ LLM]
    B --> D[CV/ML Analysis<br/>Анализ CV/ML]
    C --> E[Triple Run<br/>Тройная Проверка]
    D --> E
    E --> F[Unblinding<br/>Раскрытие]
    F --> G[Results Comparison<br/>Сравнение Результатов]
    G --> H[Final Report<br/>Итоговый Отчёт]
Loading

❓ FAQ: LLM ANALYSIS / ЧАВО: АНАЛИЗ LLM

Q: How do you prevent LLM hallucination? / В: Как вы предотвращаете галлюцинации LLM?

A: Multi-layer blinding protocol:

О: Многоуровневый протокол ослепления:

  1. Blinding / Ослепление - Models see only "Sample A/B/C" / Модели видят только "Образец A/B/C"
  2. Triple Run / Тройной прогон - Each analysis repeated 3 times / Каждый анализ повторяется 3 раза
  3. Dual-Track / Двойной трек - LLM + CV/ML comparison / Сравнение LLM + CV/ML

Proof it works / Доказательство работоспособности: Perplexity reversed from 53% → 0% after unblinding! / Perplexity изменил результат с 53% → 0% после раскрытия!

Q: What models were tested? / В: Какие модели были протестированы?

A: Multiple architectures:

О: Несколько архитектур:

Model / Модель Type / Тип Accuracy / Точность Status / Статус
Gemini 2.5 Flash General LLM / Общая LLM 57.9% (p=0.027) ✅ Significant / Значимо
DINOv2 Linear CV Model / CV модель 47.4% (p=0.15) 🟡 Suggestive / Предположительно
BiomedCLIP Medical / Медицинская 36.8% ❌ Chance / Случайность
SigLIP2 Zero-Shot General CV / Общая CV 26-37% ❌ Chance / Случайность

Q: Where are the prompts stored? / В: Где хранятся промпты?

A: All prompts in scripts/llm_analysis/prompts.py:

О: Все промпты в scripts/llm_analysis/prompts.py:

  • Blinded, unblinded, comparative / Ослеплённые, раскрытые, сравнительные
  • Batch, multi-tube prompts / Пакетные, мультипробирочные промпты
  • Scripts / Скрипты: run_comparative.py, run_multi_tube.py, run_batch.py

📞 CONTACT INFORMATION / КОНТАКТНАЯ ИНФОРМАЦИЯ

Contact / Контакт Email / Электронная почта Role / Роль
👨‍💼 BANCHENKO DENIS YURIEVICH denisbanchenko@asrp.tech CEO ASRP / Program Director / Программный Директор
👩‍⚕️ OVSYANNIKOVA VALERIA ALEXANDROVNA valeriaovseannicova@asrp.tech CBE / Director of Biomedical Research / Директор биомедицинских исследований
👨‍💻 KAPUSTIN MYKHAILO MYKHALOVICH mykhailokapustin@asrp.tech CTO / Director of IT & AI / Директор ИТ и ИИ
🔬 ZMIENKO KYRYL kyrylzmiienko@asrp.tech Chief AI Engineer / Главный инженер ИИ
📚 SAVELYEV IVAN ivansavelev@asrp.science Science Director / Editor-in-Chief ASRP.science / Научный директор / Главный редактор ASRP.science

Related / Связано: Issue #8 (Publication / Публикация), Issue #6 (Time-Lapse / Таймлапс), Issue #10 (Data Navigation / Навигация по данным)

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions