Порівняння надійності кута Норберга та індексу дистракції (DI) як вимірювань нестабільності кульшового суглоба у собак

Юліус Клевер¹ Андреас Брюшвайн¹ Сільвія Вагнер¹ Свен Резе² Андреа Маєр-Лінденберг¹

Адреса для листування: Julius Klever, Dr. med. vet., Clinic of Small Animal Surgery and Reproduction, Centre of Veterinary Clinical Medicine, LMU Munich, Veterinãrstrasse 13, D-80539 Munich, Germany (e-mail: klever@chir.vetmed.uni-muenchen.de).

Vet Comp Orthop Traumatol 2020;33:274–278.

Анотація Мета Основною метою дослідження було порівняти надійність вимірювань для оцінки нестабільності кульшового суглоба у 59 собак.

Матеріали та методи. Вимірювання індексу дистракції (DI) за методом PennHIP та кута Норберга (NA) за схемою оцінювання Міжнародної кінологічної федерації (FCI), а також оцінювання за схемою FCI та швейцарською схемою оцінювання виконували три дослідники з різним рівнем досвіду. Для кожного собаки було отримано по два рентгенівські знімки кожним методом, виконані одним і тим самим оператором, для оцінки внутрішньооператорської надійності.

Результати. Внутрішньооператорська надійність була дещо кращою для NA порівняно з DI, з коефіцієнтом внутрішньокласової кореляції (ICC) 0,962 та 0,892 відповідно. ICC показав відмінні результати щодо внутрішньоспостережуваної надійності та міжспостережуваної надійності як для NA (ICC 0,975; 0,969), так і для DI (ICC 0,986; 0,972). Отже, як NA, так і DI можна вважати надійними вимірюваннями. Схема FCI та швейцарська схема оцінювання забезпечують подібну надійність. Хоча схема FCI видається дещо надійнішою у досвідчених спостерігачів (Kappa FCI 0,687; Kappa Swiss 0,681), швейцарська схема оцінювання мала помітно кращу надійність для недосвідченого спостерігача (Kappa FCI 0,465; Kappa Swiss 0,514).

Ключові слова

• ► дисплазія кульшового суглоба у собак
• ► індекс дистракції (DI)
• ► кут Norberg
• ► рентгенографія

Клінічне значення Швейцарська схема оцінювання забезпечує структуроване керівництво для інтерпретації рентгенограм кульшового суглоба (hip radiographs) і тому може бути рекомендована недосвідченим дослідникам.

Вступ

Дисплазія кульшового суглоба у собак є поширеним ортопедичним захворюванням у собак. 1 Поширеність варіює в різних породах від 2 до 80%.² Дисплазія кульшового суглоба у собак є полігенетичним і мультифакторним станом3–⁶, і повідомляється про успадковуваність від 0,14 до 0,43.7,8 Фенотиповий відбір племінного поголів'я спрямований на зниження захворюваності на основі генетичного компонента. Підвищена нестабільність кульшового суглоба є одним із найважливіших факторів в оцінці дисплазії кульшового суглоба у собак. У світі існує численна кількість рентгенографічних методів для виявлення дисплазії кульшового суглоба у собак.⁹ Найбільш широко використовуваним методом у Європі є п'ятиступенева (A-E) схема Fédération Cynologique Internationale (FCI),¹⁰ яка базується на оцінці різних рентгенографічних знахідок, включаючи ознаки остеоартриту, та кут Норберга (NA) як об'єктивний показник нестабільності кульшового суглоба. Лінія між центрами обох головок стегнової кістки та відповідними краніолатеральними краями ацетабулуму з кожного боку утворюють NA.¹¹ На відміну від методу FCI, метод PennHIP покладається на ідентифікацію отримано 9 липня 2019 р. прийнято 16 лютого 2020 р. опубліковано онлайн 29 квітня 2020 р.

¹Клініка хірургії та репродукції дрібних тварин, Центр ветеринарної клінічної медицини, LMU Munich, Мюнхен, Німеччина

² Інститут ветеринарної анатомії, гістології та ембріології, LMU Munich, Мюнхен, Німеччина; остеоартрит і, для тих, у кого немає ознак остеоартриту, оцінка пасивної нестабільності кульшового суглоба (hip joint laxity), вираженої індексом дистракції (DI).¹² Нестабільність вимірюють на рентгенограмах за допомогою дистракційного пристрою, що спричиняє латеральне зміщення головки стегнової кістки (femoral head). DI розраховують як відстань між центром ацетабулума (acetabulum) та центром головки стегнової кістки, поділену на радіус головки стегнової кістки.

Система оцінювання FCI має відносно низьку міжспостерігацьку узгодженість13,14, хоча відтворюваність NA, схоже, є достатньою.¹⁵ Щодо методу PennHIP було опубліковано дослідження, яке показало високу повторюваність як у межах одного дослідника, так і між дослідниками.¹⁶ Одне дослідження показало високу повторюваність вимірювань DI при порівнянні офіційних результатів із результатами навчених дослідників.¹⁷ Нещодавнє дослідження виявило суттєву варіабельність для NA, але не для DI.¹⁸

Вимірювання повинні бути як надійними, так і валідними для оцінки рентгенографічного фенотипу. Точність, яку також називають валідністю, демонструє, наскільки вимірювання наближене до істинного значення за еталонним стандартом. Надійність, яку також називають прецизійністю або узгодженістю, визначає, наскільки вимірювання наближені одне до одного, і тому негативно корелює з варіабельністю. Надійність можна оцінити шляхом повторних вимірювань.¹⁹

Для оцінки надійності рентгенографічних вимірювань необхідно враховувати різні чинники. Похибка може виникати внаслідок відмінностей на рентгенограмі, зумовлених позиціонуванням, проєкцією або різними силами, прикладеними під час отримання зображення. Цей ефект можна оцінити шляхом отримання двох ідентичних наборів рентгенограм; він також позначається як повторюваність (repeatability), яку також називають внутрішньооператорською надійністю або узгодженістю (intraoperator reliability or agreement), якщо рентгенограми виконує одна й та сама особа, або відтворюваність (reproducibility), яку також називають міжоператорською надійністю або узгодженістю (interoperator reliability or agreement), якщо рентгенограми виконують різні особи. Крім того, похибка може виникати внаслідок самого вимірювання. Це можна оцінити, вимірюючи двічі з використанням однієї й тієї самої рентгенограми; це також позначається як повторюваність (внутрішньоспостережницька або внутрішньооцінювацька надійність чи узгодженість — intraobserver or intrarater reliability or agreement) або відтворюваність (міжспостережницька або міжоцінювацька надійність чи узгодженість — interobserver or interrater reliability or agreement) залежно від того, чи вимірювання виконує одна й та сама особа чи різні особи.¹⁹

У доступній літературі на сьогодні немає дослідження, яке б безпосередньо порівнювало надійність між вимірюваннями NA та DI у структурованій і зіставній формі, що враховує повторюваність і відтворюваність. Метою дослідження було оцінити внутрішньооператорську надійність, а також внутрішньо- та міжспостерігацьку надійність вимірювань NA та DI.

Матеріали та методи

Загалом було включено 59 собак, яких представили для офіційного скринінгу кульшових суглобів, після отримання згоди власника. Собаки мали відповідати мінімальній вимозі щодо маси тіла 8 кг для оцінювання за допомогою дистрактора PennHIP. Для відповідності критеріям FCI щодо офіційного скринінгу мінімальний вік становив 12 місяців. Усі тварини пройшли ін'єкційну анестезію із застосуванням дексмедетомідину (0,01–0,02 мг/кг dexdomitor 0,5 мг/мл; Orion Pharma GmbH, Hamburg, Germany), медетомідину (0,01–0,04 мг/кг Dorbene Vet 1 мг/мл, Zoetis Deutschland GmbH, Berlin, Germany) або діазепаму (0,1–0,5 мг/кг Ziapam 5 мг/мл, Ecuphar GmbH, Greifswald, Germany) внутрішньовенно з подальшим уведенням пропофолу (1–8 мг/кг Narcofol 10 мг/мл, CP-Pharma GmbH, Burgdorf, Germany) до повної анестезії собак з адекватним розслабленням м'язів.²⁰

Для кожної собаки було зроблено п'ять рентгенограм у однаковій послідовності на системі прямої цифрової рентгенографії (Siemens Axiom Luminos dRF; Siemens Healthcare AG, Erlangen, Germany) без використання пристроїв для позиціонування. Усі рентгенограми були отримані одним і тим самим ветеринаром, сертифікованим за PennHIP. Стандартну вентродорсальну проєкцію таза з розігнутими кульшовими суглобами, також відому як позиція FCI 1, та вентродорсальну проєкцію таза з кінцівками в нейтральному положенні з дистракцією кульшового суглоба за допомогою дистрактора PennHIP (дистракційна проєкція PennHIP) повторювали, тоді як компресійну проєкцію PennHIP виконували один раз. Зображення були анонімізовані особою, яка не брала участі в оцінюванні рентгенограм, а оцінювання проводилося не раніше ніж через 1 місяць після отримання зображень. Перед проведенням дослідження кожен спостерігач тренувався вимірювати DI та NA на 10 випадках із відомими офіційними результатами. Оцінювання кульшових суглобів за схемами FCI та швейцарською схемою, а також вимірювання NA та DI виконували двічі, з інтервалом у 2 місяці, ординатором першого року навчання з візуалізаційної діагностики з 5-річним досвідом у діагностичній візуалізації, один раз — європейським спеціалістом з ветеринарної діагностичної візуалізації та членом Німецької асоціації експертів-оцінювачів, і один раз — інтерном без досвіду у ветеринарній діагностичній візуалізації. Вимірювання проводили в однаковому цифровому середовищі в однаковій послідовності всіма спостерігачами, використовуючи спеціальні інструменти для вимірювання NA та DI, надані комерційним програмним забезпеченням (Dicom PACS, Oehm & Rehbein GmbH, Rostock, Germany), що використовується в установі. «Інструмент індексу дистракції» складається з двох кіл, які можна вручну налаштувати відповідно до головки стегнової кістки та кульшової западини, і автоматично обчислює значення DI. «Інструмент кута Norberg» складається з двох кіл, які потрібно накреслити над кожною головкою стегнової кістки, та лінії, яку потрібно підлаштувати до краніального краю кульшової западини з кожного боку. NA для кожної сторони відображається згодом.

Результати зберігали для кожного кульшового суглоба окремо в електронній таблиці Excel (Office 2010 Excel; Microsoft, Redmond, Washington, United States). Статистичний аналіз проводили за допомогою комерційного статистичного програмного забезпечення (MedCalc; MedCalc Software, Ostend, Belgium). Внутрішньокласовий коефіцієнт кореляції (ICC) розраховували для оцінки надійності внутрішньооператорських, внутрішньоспостережуваних, а також міжспостережуваних вимірювань. Цей тест дозволяє порівнювати вибірки різних шкал, такі як значення NA (градуси) та DI (безрозмірні).10,12 ICC, що дорівнює 1, вказує на ідеальну узгодженість, тоді як ICC, що дорівнює 0, вказував на не більше ніж випадкову узгодженість. Значення внутрішньокласового коефіцієнта кореляції менше 0,5, між 0,5 і 0,75, між 0,75 і 0,9 та більше 0,90 можна інтерпретувати як погану, помірну, добру та відмінну надійність відповідно.²¹ Зважену каппу Коена розраховували для порівняння узгодженості спостерігачів між категоричною класифікацією FCI та класифікацією, зробленою за швейцарською схемою оцінювання.²² Каппа, що дорівнює 1, вказує на ідеальну узгодженість, тоді як значення 0

Таблиця 1. Порівняння коефіцієнта внутрішньокласової кореляції для надійності кута Норберга та індексу дистракції (DI)

Результати

До 59 собак увійшли 20 різних порід (10 німецьких вівчарок, 7 лабрадор-ретриверів, 6 голден-ретриверів, 4 доберман-пінчерів, 4 флет-коатед-ретриверів, 3 малих мюнстерлендери, 3 бельгійські вівчарки, 3 ентлебухерські гірські собаки, 2 акіти, 2 австралійські вівчарки, 2 бордер-колі, 2 новошотландські ретривери-толлери, 2 шнауцери, 2 вижли, 2 білі вівчарки, 1 піренейська вівчарка, 1 бернський гірський собака, 1 німецький жорсткошерстий лягавий, 1 євразійський собака, 1 кеесхонд). З усіх собак 32,2% (n ^¼ 19) отримали оцінку FCI ступеня «A» (відсутність ознак дисплазії кульшового суглоба), 42,4% (n ^¼ 25) отримали оцінку FCI ступеня «B» (прикордонний стан), 18,6% (n ^¼ 11) отримали оцінку FCI ступеня «C» (легка дисплазія кульшового суглоба) та 6,8% (n ^¼ 4) — FCI ступеня «D» (помірна дисплазія кульшового суглоба.

Результати статистичного аналізу внутрішньооператорської надійності, внутрішньоспостережуваної надійності та міжспостережуваної надійності наведено в ►Таблиці 1.

Внутрішньооператорна надійність

Коефіцієнт внутрішньокласової кореляції для NA становив 0,962 з 95% довірчим інтервалом від 0,941 до 0,975, а для DI — 0,892 з 95% довірчим інтервалом від 0,833 до 0,931.

Внутрішньооцінювальна надійність (intraobserver reliability)

Коефіцієнт внутрішньокласової кореляції для NA становив 0,975 з 95% довірчим інтервалом від 0,964 до 0,983, а для DI — 0,986 з 95% довірчим інтервалом від 0,979 до 0,990.

Зважена каппа для узгодженості між обома вимірюваннями щодо класифікації за схемою FCI становила 0,699 з 95% довірчим інтервалом від 0,609 до 0,789, а для класифікації за швейцарською схемою — 0,661 з 95% довірчим інтервалом від 0,556 до 0,767.

Міжспостерігацька надійність

Коефіцієнт внутрішньокласової кореляції між усіма трьома спостерігачами для NA становив 0,969 з 95% довірчим інтервалом від 0,957 до 0,978, а для DI — 0,972 з 95% довірчим інтервалом від 0,950 до 0,983.

Коефіцієнт внутрішньокласової кореляції між обома досвідченими спостерігачами (AB та JK) для NA становив 0,983 з 95% довірчим інтервалом від 0,969 до 0,990, а для DI — 0,980 з 95% довірчим інтервалом від 0,972 до 0,986.

Коефіцієнт внутрішньокласової кореляції між одним досвідченим та одним недосвідченим спостерігачем (AB, SW) для NA становив 0,936 з 95% довірчим інтервалом від 0,895 до 0,959, а для DI — 0,947 з 95% довірчим інтервалом від 0,865 до 0,973.

Зважена каппа (weighted Kappa) для узгодженості між обома досвідченими спостерігачами (AB і JK) щодо класифікації за схемою FCI становила 0,687 з 95% довірчим інтервалом від 0,596 до 0,778, а щодо класифікації за швейцарською схемою — 0,681 з 95% довірчим інтервалом від 0,588 до 0,774. Зважена каппа для узгодженості між одним досвідченим і одним недосвідченим спостерігачем (AB і SW) щодо класифікації за схемою FCI становила 0,465 з 95% довірчим інтервалом від 0,344 до 0,585, а щодо класифікації за швейцарською схемою — 0,514 з 95% довірчим інтервалом від 0,392 до 0,635.

Обговорення

Повторні рентгенограми та вимірювання виконували для оцінки надійності DI та NA.¹⁹ Внутрішньооператорська надійність DI була дещо нижчою (ICC 0,892), але все ще добрим, майже відмінним результатом. NA, схоже, дає дещо точніші результати між двома повторними рентгенограмами. Хоча наші оператори мають сертифікацію PennHIP, вони значно краще натреновані на частіше використовуваній стандартній вентродорсальній рентгенограмі порівняно з дистракційними рентгенограмами. Цей досвід може впливати на повторюваність. Суб'єктивно дистракційні рентгенограми складніші, оскільки, крім позиціонування пацієнта, додаткову увагу потрібно приділяти поводженню з дистракційним пристроєм. Незначні відмінності в повторних рентгенограмах можуть походити від комбінації різних чинників, таких як прикладені сили, нахил таза, розслаблення м'язів, положення центрального променя або інші невідомі випадкові ефекти.20,24,25

ICC показав мінімально кращі результати для внутрішньо- та міжспостерігацької надійності DI порівняно з NA. Це узгоджується з нещодавнім дослідженням, у якому варіабельність NA була вищою, ніж DI.²⁶ На відміну від іншого дослідження, ми не виявили суттєвої різниці та знайшли відмінну надійність (ICC ^> 0,90) для обох методів, і різниці видаються незначними. З огляду на малий розмір вибірки — лише 10 собак в іншому дослідженні — їхня вища варіабельність для NA могла бути спричинена викидами. Інший основний вплив на внутрішньо- та міжспостерігацьку надійність, ймовірно, зумовлений точним визначенням точок вимірювання з особливим акцентом на поширені анатомічні варіації. Наявність або відсутність детального та глибокого опису точок вимірювання й процедур, також з особливим урахуванням анатомічних варіантів, може сприяти варіаціям у результатах різних досліджень міжспостерігацької узгодженості. Кут Norberg та DI базуються на вимірюванні ідеальних кіл. Виходячи з нашої узгодженості для NA, коло головки стегнової кістки визначали за двома точками на краніальній та краніолатерально проєктованій поверхні і однією точкою в центрі каудомедіально проєктованої поверхні головки стегнової кістки на рентгенограмі, нехтуючи заглибленням або сплощенням кульшової ямки та переходом до шийки стегнової кістки і згладжуючи їх. Ні головка стегнової кістки, ні краніолатеральний край кульшової западини facies semilunata не завжди проєктувалися як ідеальні сегменти кола на рентгенограмах; це може бути зумовлено спотворенням, спричиненим розходженням рентгенівських променів, або просто нормальною анатомічною варіацією.²⁷ Але нам вдалося підігнати вільно регульовані кола до цих структур шляхом апроксимації. За нашим досвідом, часто було важко точно визначити точку вимірювання каудолатерального краю кульшової западини для DI, а також краніолатерального краю кульшової западини для NA. Це можна пояснити варіабельністю видимості точок вимірювання на різних рентгенограмах, ймовірно, головним чином через анатомічну варіацію та позиціонування. Ще одна особливість, що може впливати на точність вимірювань, — це тяжкість остеоартриту в популяції. Ймовірно, легше отримати надійні результати для кульшових суглобів без ознак остеоартриту.

Для процесу вимірювання цифрове середовище може відігравати важливу роль, як-от тонка чи товста, пунктирна чи безперервна інструментальна лінія, розмір екрана та рівень збільшення. Використання триточкового кола як альтернативи вільно регульованим колам також може мати вплив.²⁷ У наших умовах ми використовували стандартні комерційно доступні 24-дюймові комп'ютерні монітори з плоским екраном високої чіткості з високим, але невизначеним рівнем масштабування рентгенографічного зображення та тонкими безперервними кольоровими інструментальними лініями (1px).

Порівнюючи міжспостерігацьку надійність NA та DI, не було суттєвої різниці, пов'язаної з рівнем досвіду, і обидва методи демонструють відмінну надійність (ICC ^> 0,90). Міжспостерігацька узгодженість схеми FCI та швейцарської схеми є подібною. У порівнянні між досвідченими спостерігачами майже не було різниці при добрій узгодженості (Kappa 0,687 та 0,681 відповідно). У порівнянні між одним досвідченим та одним недосвідченим спостерігачем узгодженість залишалася помірною. Kappa для схеми FCI була значно нижчою, ніж для швейцарської схеми (0,465 та 0,514 відповідно). Це означає, що швейцарська система оцінювання забезпечує кращі результати у недосвідчених спостерігачів, ніж система FCI. Слід враховувати, що в нашому дослідженні лише три різні спостерігачі оцінювали зображення. Для формулювання рекомендації слід провести подальші дослідження із більшою кількістю спостерігачів. І навіть якщо малоймовірною є наявність недосвідчених спостерігачів у офіційному сценарії скринінгу кульшового суглоба, для початківця, очевидно, легше засвоїти та успішно впровадити структурований підхід швейцарської схеми оцінювання, ніж категоричну систему оцінювання FCI. Ймовірно, легше та послідовніше працювати з таблицею заздалегідь визначених анатомічних структур, з описом та заздалегідь визначеним оцінюванням окремих знахідок, які сумуються до остаточного результату, ніж співвідносити складний суглоб з єдиною категорією на основі глобального опису.

Висновок

Внутрішньооператорська надійність була дещо кращою для NA, ніж для DI. Внутрішньо- та міжоператорська надійність показали відмінні результати як для NA, так і для DI. Отже, обидва методи можна вважати високо- та однаково надійними. Вплив позиціонування, схоже, має дещо більший вплив на результат, ніж саме вимірювання. Схеми FCI та швейцарська схема, схоже, є однаково надійними в досвідчених операторів, але, виходячи з кращих результатів для недосвідченого оператора, ми пропонуємо новачкам в оцінюванні кульшових суглобів віддавати перевагу швейцарській системі оцінювання.

Внесок авторів

Julius Klever та Andreas Brühschwein долучилися до задуму дослідження, дизайну дослідження, збору даних та аналізу й інтерпретації даних. Silvia Wagner долучилася до збору даних. Sven Reese долучився до аналізу й інтерпретації даних. Andrea Meyer-Lindenberg долучилася до задуму дослідження та дизайну дослідження. Усі автори підготували, переглянули та схвалили подану рукопис.

Конфлікт інтересів

Автори повідомляють про гранти від Gesellschaft zur Förderung Kynologischer Forschung e.V. (GKF), отримані під час проведення дослідження.

Подяка

Ми хотіли б подякувати Gesellschaft zur Förderung Kynologischer Forschung e.V. (GKF) за надану фінансову підтримку.

Література

• 1 Johnson J, Austin C, Breur G. Incidence of canine appendicular musculoskeletal disorders in 16 veterinary teaching hospitals from 1980 through 1989. Vet Comp Orthop Traumatol 1994;7:56–69
• 2 Leppänen M, Saloniemi H. Controlling canine hip dysplasia in Finland. Prev Vet Med 1999;42(02):121–131
• 3 Kealy RD, Lawler DF, Ballam JM, et al. Evaluation of the effect of limited food consumption on radiographic evidence of osteoarthritis in dogs. J Am Vet Med Assoc 2000;217(11):1678–1680
• 4 Leighton EA. Genetics of canine hip dysplasia. J Am Vet Med Assoc 1997;210(10):1474–1479
• 5 Powers MY, Karbe GT, Gregor TP, et al. Evaluation of the relationship between Orthopedic Foundation for Animals' hip joint scores and PennHIP distraction index values in dogs. J Am Vet Med Assoc 2010;237(05):532–541
• 6 Zhang Z, Zhu L, Sandler J, et al. Estimation of heritabilities, genetic correlations, and breeding values of four traits that collectively define hip dysplasia in dogs. Am J Vet Res 2009;70 (04):483–492
• 7 Freeman B, Evans VB, McEwan NR. Canine hip dysplasia in Irish water spaniels: two decades of gradual improvement. Vet Rec 2013;173(03):72–72
• 8 Silvestre AM, Ginja MMD, Ferreira AJ, Colaço J. Comparison of estimates of hip dysplasia genetic parameters in Estrela Mountain Dog using linear and threshold models. J Anim Sci 2007;85(08): 1880–1884
• 9 Verhoeven G, Fortrie R, Van Ryssen B, Coopman F. Worldwide screening for canine hip dysplasia: where are we now? Vet Surg 2012;41(01):10–19
• 10 Flückiger M. Scoring radiographs for canine hip dysplasia the big three organisations in the world. Eur J Companion Anim Pract 2007;17(02):135–140
• 11 Norberg I. Höftledysplasi hos hund. Nordisk Medicin 1963;69: 246

• 12 Smith GK, Biery DN, Gregor TP. Нові концепції стабільності кульшового суглоба та розробка клінічного стрес-рентгенографічного методу для кількісної оцінки нестабільності кульшового суглоба у собак. J Am Vet Med Assoc 1990;196(01):59–70
• 13 Verhoeven G, Coopman F, Duchateau L, Saunders JH, van Rijssen B, van Bree H. Міжспостерігацька узгодженість у діагностиці дисплазії кульшового суглоба у собак із використанням стандартного вентродорсального методу рентгенографії з розгинанням кульшового суглоба. J Small Anim Pract 2007;48(07):387–393
• 14 Geissbühler U, Drazovic S, Lang J, Howard J. Міжрейтерова узгодженість в оцінці дисплазії кульшового суглоба у собак за рентгенограмами. Vet Rec 2017;180 (14):357. Doi:
• 15 Comhaire FH, Schoonjans FA. Дисплазія кульшового суглоба у собак: значення кута Norberg для здорового розведення. J Small Anim Pract 2011;52(10):536–542
• 16 Smith GK, LaFond E, Gregor TP, Lawler DF, Nie RC. Внутрішньо- та міжекспертна повторюваність індексів дистракції кульшових суглобів у собак. Am J Vet Res 1997;58(10):1076–1077 AccessedApril302012
• 17 Ginja MMD, Ferreira AJ, Silvestre M, Gonzalo-Orden JM, Llorens-Pena MP. Повторюваність і відтворюваність індексів дистракції в обстеженнях PennHIP кульшового суглоба у собак. Acta Vet Hung 2006;54(03):387–392
• 18 Broeckx BJG, Vezzoni A, Bogaerts E, et al. Порівняння трьох методів кількісної оцінки нестабільності кульшового суглоба у собак. Vet Comp Orthop Traumatol 2018;31(01):23–29
• 19 Watson PF, Petrie A. Аналіз узгодженості методів: огляд правильної методології. Theriogenology 2010;73(09):1167–1179

• 20 Genevois JP, Chanoit G, Carozzo C, Remy D, Fau D, Viguier E. Вплив анестезії на оцінку дисплазії кульшового суглоба в собак. J Vet Med A Physiol Pathol Clin Med 2006;53(08):415–417
• 21 Koo TK, Li MY. Настанова щодо вибору та подання коефіцієнтів внутрішньокласової кореляції для досліджень надійності. J Chiropr Med 2016;15(02):155–163
• 22 Flückiger M. Як робити та читати рентгенограми кульшового суглоба структурованим способом. Eur J Companion Anim Pract 2007;17(02): 133–134
• 23 Landis JR, Koch GG. Вимірювання узгодженості спостерігачів для категоріальних даних. Biometrics 1977;33(01):159–174
• 24 Bausman JA, Wendelburg KL. Оцінка впливу нахилу таза в корональній площині на кут Norberg, виміряний на вентродорсальних рентгенографічних проєкціях моделі кістки кульшового суглоба в собак. Am J Vet Res 2010;71(11):1348–1353
• 25 Genevois JP, Cachon T, Fau D, et al. Рентгенографічний скринінг дисплазії кульшового суглоба в собак. Поширеність ротації таза вздовж його поздовжньої осі у 7,012 звичайних рентгенограмах кульшового суглоба у розгинанні. Vet Comp Orthop Traumatol 2007;20(04):296–298
• 26 Broeckx BJ, Verhoeven G, Coopman F, et al. Вплив укладання, причини скринінгу та лікаря, що направив пацієнта, на оцінки поширеності дисплазії кульшового суглоба в собак. Vet J 2014;201(03): 378–384
• 27 Bertal M, Vezzoni A, Houdellier B, et al. Внутрішньо- та міжспостерігацька варіабельність вимірювань індексу нестабільності на стрес-рентгенограмах, виконаних із модифікованим Vezzoni пристроєм для дистракції кульшового суглоба Badertscher. Vet Comp Orthop Traumatol 2018;31(04):246–251