tibljТуберкулез и болезни легкихTuberculosis and Lung Diseases2075-12302542-1506Медицинские знания и технологии10.21292/2075-1230-2020-98-8-24-31tiblj-1449Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL ARTICLESИскусственный интеллект в скрининге рака легкого: оценка диагностической точности алгоритма для анализа низкодозовых компьютерных томографийArtificial intelligence in lung cancer screening: assessment of the diagnostic accuracy of the algorithm analyzing low-dose computed tomographyМорозовС. П.MorozovS. P.

Морозов Сергей Павлович, директор

125040, Москва, ул. Расковой, д. 16/26, с. 1

Тел.: +7 (495) 276-04-36

Sergey P. Morozov, Director

Build. 1, 16/26 Raskovoy St., Moscow, 125040

Phone: +7 (495) 276-04-36

morozov@npcmr.ruВладзимирскийА. В.VladzimirskiyA. V.

Владзимирский Антон Вячеславович, заместитель директора по научной работе

125040, Москва, ул. Расковой, д. 16/26, с. 1

Тел.: +7 (495) 670-74-80, доб. 2204

Anton V. Vladzimirskiy, Deputy Director for Research

Build. 1, 16/26 Raskovoy St., Moscow, 125040

Phone: +7 (495) 670-74-80, ext. 2204

a.vladzimirsky@npcmr.ruГомболевскийВ. А.GombolevskiyV. A.

Гомболевский Виктор Александрович, руководитель отдела развития качества радиологии

125040, Москва, ул. Расковой, д. 16/26, с. 1

Тел.: +7 (495) 276-04-36

Viktor A. Gombolevskiy, Head of Department for Radiology Quality Development

Build. 1, 16/26 Raskovoy St., Moscow, 125040

Phone: +7 (495) 276-04-36

gombolevskiy@npcmr.ruКляшторныйВ. Г.KlyashtornyV. G.

Кляшторный Владислав Георгиевич,  аналитик отдела координации научной деятельности

125040, Москва, ул. Расковой, д. 16/26, с. 1

Тел.: +7 (495) 276-04-36

Vladislav G. Klyashtorny, Analyst of Research Coordination Department

Build. 1, 16/26 Raskovoy St., Moscow, 125040

Phone: +7 (495) 276-04-36

v.klyashtornyy@npcmr.ruФедуловаИ. А.FedulovaI. A.

Федулова Ирина Александровна, ведущий специалист

143026, Москва, территория Сколково инновационного центра, Большой бульвар, д. 42, стр. 1, этаж 3, пом. 1069

Irina A. Fedulova, Leading Specialist

Office 1069, Floor 3, Build. 1, 42, Bolshoy Bul., Skolkovo Innovation Center, Moscow, 143026

irina.fedulova@philips.comВласенковЛ. А.VlasenkovL. A.

Власенков Леонид Александрович, научный сотрудник

143026, Москва, территория Сколково инновационного центра, Большой бульвар, д. 42, стр. 1, этаж 3, пом. 1069

Тел.: +7 (495) 922-25-85

Leonid A. Vlasenkov, Researcher

Office 1069, Floor 3, Build. 1, 42, Bolshoy Bul., Skolkovo Innovation Center, Moscow, 143026

Phone: +7 (495) 922-25-85

leonid.vlasenkov@philips.comГБУЗ г. Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ»РоссияMoscow Scientific Practical Clinical Center for Diagnostics and Telemedical TechnologyRussian FederationООО «Филипс Инновационные Лаборатории РУС»РоссияPhilips Innovation Labs RusRussian Federation2020230920209882431Copyright © Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кляшторный В.Г., Федулова И.А., Власенков Л.А., 20202020Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кляшторный В.Г., Федулова И.А., Власенков Л.А.Morozov S.P., Vladzimirskiy A.V., Gombolevskiy V.A., Klyashtorny V.G., Fedulova I.A., Vlasenkov L.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.tibl-journal.com/jour/article/view/1449

Проведена независимая оценка диагностической точности алгоритма искусственного интеллекта для выявления очагов поражения на низкодозовых компьютерных томограммах. Использован датасет, сформированный в рамках программы скрининга рака легкого в г. Москве. Определены следующие показатели: чувствительность – 0,817%, специфичность – 0,925%, точность – 0,860%, площадь под характеристической кривой – 0,930. Высокие показатели точности, полученные при независимом тестировании, свидетельствуют о хорошей воспроизводимости результатов работы искусственного интеллекта на независимых данных, относящихся к популяции г. Москвы.

The diagnostic accuracy of the artificial intelligence algorithm aimed to detect lesions on low-dose computer tomograms has been independently assessed. The dataset formed as part of the lung cancer screening program in Moscow was used. The following indicators have been defined: sensitivity – 0.817%, specificity – 0.925%, accuracy – 0.860%, area under the characteristic curve – 0.930. High accuracy rates demonstrated through the independent assessment indicate a good reproducibility of the results by artificial intelligence using independent data about the population of Moscow

искусственный интеллектрак легкогоскринингнизкодозовая компьютерная томографияточностьartificial intelligencelung cancerscreeninglow-dose computed tomographyaccuracyReferencesГомболевский В. А., Барчук А. А., Лайпан А. Ш., Ветшева Н. Н., Владзимирский А. В., Морозов С. П. Организация и эффективность скрининга злокачественных новообразований легких методом низкодозной компьютерной томографии // Радиология ‒ практика. – 2018. – № 1 (67). – С. 28-36.Gombolevskiy V.А., Barchuk А.А., Laypan А.Sh., Vetsheva N.N., Vladzimirskiy А.V., Morozov S.P. Organization and efficiency of screening for malignant lung tumors by low-dose computed tomography. Radiologiya-Praktika, 2018, no. 1 (67), pp. 28-36. (In Russ.)Морозов С. П., Владзимирский А. В., Кляшторный В. Г., Андрейченко А. Е., Кульберг Н. С., Гомболевский В. А. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика) // Препринт № ЦДТ-2019-1 / Серия «Лучшие практики лучевой и инструментальной диагностики». 2019 – Вып. 23. – 33 с.Morozov S.P., Vladzimirskiy А.V., Klyashtorny V.G., Аndreychenko А.E., Kulberg N.S., Gombolevskiy V.А. Klinicheskie ispytaniya programmnogo obespecheniya na osnove intellektualnykh tekhnologiy (luchevaya diagnostika). Preprint № TSDT-2019-1 / Seriya Luchshie praktiki luchevoy i instrumentalnoy diagnostiki. [A clinical acceptance of software based on artificial intelligence technologies (radiology). Preprint No CDT-2019-1 / Series of Best practices in medical imaging]. 2019, Iss., 23, 33 p.Морозов С. П., Гомболевский В. А., Владзимирский А. В., Лайпан А. Ш., Кононец П. В., Древаль П. А. Результаты первого года скрининга рака легкого с помощью низкодозной компьютерной томографии в Москве // Вопросы онкологии. – 2019. – Т. 65, № 2. – С. 224-233.Morozov S.P., Gombolevskiy V.А., Vladzimirskiy А.V., Laypan А.Sh., Kononets P.V., Dreval P.А. Results of the first year of screening for lung cancer using low-dose computed tomography in Moscow. Voprosy Onkologii, 2019, vol. 65, no. 2, pp. 224-233. (In Russ.)Тюрин И. Е. Лучевая диагностика в Российской Федерации в 2014 г. // Вестник рентгенологии и радиологии. – 2015. – № 6. – С. 56-63.Tyurin I.E. X-ray diagnostics in the Russian Federation in 2014. Vestnik Rentgenologii i Radiologii, 2015, no. 6, pp. 56-63. (In Russ.)Шелехов П. В. Эффективность использования оборудования лучевой диагностики в субъектах Российской Федерации // Менеджер здравоохранения. – 2017. – № 5. – С. 33-41.Shelekhov P.V. The efficacy of X-ray diagnostics in the regions of the Russian Federation. Menedzher Zdravookhraneniya, 2017, no. 5, pp. 33-41. (In Russ.)Щепин В. О. К вопросу о кадровом обеспечении подразделений лучевой диагностики // Проблемы социальной гигиены, здравоохранения и истории медицины. – 2014. – Т. 22, № 5. – С. 42-45.Schepin V.O. On the issue of staffing in the X-ray diagnostics units. Problemy Sotsialnoy Gigieny, Zdravookhraneniya i Istorii Meditsiny, 2014, vol. 22, no. 5, pp. 42-45. (In Russ.)Al Mohammad B., Brennan P. C., Mello-Thoms C. A review of lung cancer screening and the role of computer-aided detection // Clin. Radiol. ‒ 2017. ‒ Vol. 72, № 6. ‒ Р. 433-442. doi: 10.1016/j.crad.2017.01.002.Al Mohammad B., Brennan P.C., Mello-Thoms C. A review of lung cancer screening and the role of computer-aided detection. Clin. Radiol., 2017, vol. 72, no. 6, pp. 433-442. doi: 10.1016/j.crad.2017.01.002.Benzaquen J., Boutros J., Marquette C., Delingette H., Hofman P. Lung cancer screening, towards a multidimensional approach: why and how? Cancers (basel). ‒ 2019 Feb. 12; 11(2). pii: E212. doi: 10.3390/cancers11020212.Benzaquen J., Boutros J., Marquette C., Delingette H., Hofman P. Lung cancer screening, towards a multidimensional approach: why and how? Cancers (basel), 2019, Feb. 12; 11(2). pii: E212. doi: 10.3390/cancers11020212.Causey J. L., Guan Y., Dong W., Walker K., Qualls J. A., Prior F., Huang X. Lung cancer screening with low-dose CT scans using a deep learning approach // arXiv:1906.00240 [eess.IV].Causey J.L., Guan Y., Dong W., Walker K., Qualls J.A., Prior F., Huang X. Lung cancer screening with low-dose CT scans using a deep learning approach. arXiv:1906.00240 [eess.IV].Chun I. Y., Zheng X., Long Y., Fessler J. A. BCD-Net for Low-dose CT reconstruction: acceleration, convergence, and generalization // arXiv:1908.01287 [eess.IV].Chun I.Y., Zheng X., Long Y., Fessler J.A. BCD-Net for Low-dose CT reconstruction: acceleration, convergence, and generalization. arXiv:1908.01287 [eess.IV].Ciompi F., Chung K., van Riel S. J., Setio A. A. A. Towards automatic pulmonary nodule management in lung cancer screening with deep learning // Sci. Rep. ‒ 2017. ‒ № 7. ‒ Р. 46479. doi: 10.1038/srep46479.Ciompi F., Chung K., van Riel S.J., Setio A.A.A. Towards automatic pulmonary nodule management in lung cancer screening with deep learning. Sci. Rep., 2017, no. 7, pp. 46479. doi: 10.1038/srep46479.De Koning H. J., Van Der Aalst C. M., Ten Haaf K., Oudkerk М. Effects of volume CT lung cancer screening: mortality results of the NELSON randomised-controlled population based trial // J. Thorac. Oncol. ‒ 2018. ‒ № 13. ‒ Р. S185. doi: 10.1016/j.jtho.2018.08.012.De Koning H.J., Van Der Aalst C.M., Ten Haaf K., Oudkerk М. Effects of volume CT lung cancer screening: mortality results of the NELSON randomised-controlled population based trial. J. Thorac. Oncol., 2018, no. 13, pp. S185. doi: 10.1016/j.jtho.2018.08.012.Huang K. L., Wang S. Y., Lu W. C., Chang Y. H., Su J., Lu Y. T. Effects of low-dose computed tomography on lung cancer screening: a systematic review, meta-analysis, and trial sequential analysis // BMC Pulm. Med. ‒ 2019. ‒ Vol. 19, № 1. ‒ Р. 126. doi: 10.1186/s12890-019-0883-x.Huang K.L., Wang S.Y., Lu W.C., Chang Y.H., Su J., Lu Y.T. Effects of low-dose computed tomography on lung cancer screening: a systematic review, meta-analysis, and trial sequential analysis. BMC Pulm. Med., 2019, vol. 19, no. 1, pp. 126. doi: 10.1186/s12890-019-0883-x.Lei Y., Tian Y., Shan H., Zhang J., Wang G., Kalra M. Soft activation mapping of lung nodules in low-dose CT images // arXiv:1810.12494.Lei Y., Tian Y., Shan H., Zhang J., Wang G., Kalra M. Soft activation mapping of lung nodules in low-dose CT images. arXiv:1810.12494.Liu Y., Luo H., Qing H., Wang X., Ren J., Xu G., Hu S., He C., Zhou P. Screening baseline characteristics of early lung cancer on low-dose computed tomography with computer-aided detection in a Chinese population // Cancer Epidemiol. ‒ 2019. ‒ № 62. ‒ Р. 101567. doi: 10.1016/j.canep.2019.101567.Liu Y., Luo H., Qing H., Wang X., Ren J., Xu G., Hu S., He C., Zhou P. Screening baseline characteristics of early lung cancer on low-dose computed tomography with computer-aided detection in a Chinese population. Cancer Epidemiol., 2019, no. 62, pp. 101567, doi: 10.1016/j.canep.2019.101567.Liu X., Zhou H., Hu Z., Jin Q., Wang J., Ye B. Clinical Application of Artificial Intelligence Recognition Technology in the Diagnosis of Stage T1 Lung Cancer // Zhongguo Fei Ai Za Zhi. ‒ 2019. ‒ Vol. 22, № 5. ‒ Р. 319-323. doi: 10.3779/j.issn.1009-3419.2019.05.09.Liu X., Zhou H., Hu Z., Jin Q., Wang J., Ye B. Clinical Application of Artificial Intelligence Recognition Technology in the Diagnosis of Stage T1 Lung Cancer. Zhongguo Fei Ai Za Zhi, 2019, vol. 22, no. 5, pp. 319-323. doi: 10.3779/j.issn.1009-3419.2019.05.09.Morozov S. P., Vladzymyrskyy A. V., Klyashtornyy V. G., Andreychenko A. E., Kulberg N. S., Gombolevsky V. A clinical acceptance of software based on artificial intelligence technologies (radiology) // Preprint No CDT-2019-1 /Morozov S.P., Vladzymyrskyy A.V., Klyashtornyy V.G., Andreychenko A.E., Kulberg N.S., Gombolevsky V. A clinical acceptance of software based on artificial intelligence technologies (radiology). Preprint No CDT-2019-1. Series Best practices in medical imaging. issue 23, Moscow, 2019. 27 p. arXiv:1908.00381.Series “Best practices in medical imaging”. – Issue 23. – M., 2019. – 27 p. // arXiv:1908.00381.National Lung Screening Trial Research Team. Lung cancer incidence and mortality with extended follow-up in the National Lung Screening Trial. J. Thorac. Oncol., 2019, Jun. 28. pii: S1556-0864(19)30473-3. doi: 10.1016/j.jtho.2019.05.044.National Lung Screening Trial Research Team. Lung cancer incidence and mortality with extended follow-up in the National Lung Screening Trial // J. Thorac. Oncol. ‒ 2019 Jun. 28. pii: S1556-0864(19)30473-3. doi: 10.1016/j.Pastorino U., Sverzellati N., Sestini S., Silva M., Sabia F., Boeri M., Cantarutti A., Sozzi G., Corrao G., Marchianò A. Ten-year results of the multicentric Italian lung detection trial demonstrate the safety and efficacy of biennial lung cancer screening. Eur. J. Cancer, 2019, no. 118, pp. 142-148. doi: 10.1016/j.ejca.2019.06.009.jtho.2019.05.044.Polat G., Halici U., Dogrusoz Y.S. False positive reduction in lung computed tomography images using convolutional neural networks. arXiv:1811.01424.Pastorino U., Sverzellati N., Sestini S., Silva M., Sabia F., Boeri M., Cantarutti A., Sozzi G., Corrao G., Marchianò A. Ten-year results of the multicentric Italian lung detection trial demonstrate the safety and efficacy of biennial lung cancer screening // Eur. J. Cancer. ‒ 2019. ‒ № 118. ‒ Р. 142-148. doi: 10.1016/j.ejca.2019.06.009.Ranschaert E.R., Morozov S.P., Algra P.R. Artificial intelligence in medical imaging. Springer International Publishing. 2019, 373 p.Polat G., Halici U., Dogrusoz Y. S. False positive reduction in lung computed tomography images using convolutional neural networks // arXiv:1811.01424.Suzuki K., Li F., Sone S., Doi K. Computer-aided diagnostic scheme for distinction between benign and malignant nodules in thoracic low-dose CT by use of massive training artificial neural network. IEEE Trans Med Imaging, 2005, vol. 24, no. 9, pp. 1138-1150.Ranschaert E. R., Morozov S. P., Algra P. R. Artificial intelligence in medical imaging. ‒ Springer International Publishing. – 2019. – 373 p.Trajanovski S., Mavroeidis D., Swisher C. L., Gebre B. G., Veeling B. S., Wiemker R., Klinder T., Tahmasebi A., Regis S.M., Wald C., McKee B. J., Flacke S., MacMahon H., Pien H. Towards radiologist-level cancer risk assessment in CT lung screening using deep learning. arXiv:1804.01901v2 [cs.CV] 11 Apr. 2019.Suzuki K., Li F., Sone S., Doi K. Computer-aided diagnostic scheme for distinction between benign and malignant nodules in thoracic low-dose CT by use of massive training artificial neural network // IEEE Trans Med Imaging. ‒ 2005. ‒ Vol. 24, № 9. ‒ Р. 1138-1150.You C., Yang L., Zhang Y., Wang G. Low-dose CT via deep CNN with skip connection and network in network. arXiv:1811.10564.Trajanovski S., Mavroeidis D., Swisher C. L., Gebre B. G., Veeling B. S., Wiemker R., Klinder T., Tahmasebi A., Regis S. M., Wald C., McKee B. J., Flacke S., MacMahon H., Pien H. Towards radiologist-level cancer risk assessment in CT lung screening using deep learning // arXiv:1804.01901v2 [cs.CV] 11 Apr. 2019.Zhang Y., Rong J., Lu H., Xing Y., Meng J. Low-dose lung CT image restoration using adaptive prior features from full-dose training database. IEEE Trans. Med. Imaging, 2017, vol. 36, no. 12, pp. 2510-2523. doi: 10.1109/TMI.2017.2757035. Epub 2017 Sep. 27.You C., Yang L., Zhang Y., Wang G. Low-dose CT via deep CNN with skip connection and network in network // arXiv:1811.10564.You C., Yang L., Zhang Y., Wang G. Low-dose CT via deep CNN with skip connection and network in network // arXiv:1811.10564.Zhang Y., Rong J., Lu H., Xing Y., Meng J. Low-dose lung CT image restoration using adaptive prior features from full-dose training database // IEEE Trans Med Imaging. ‒ 2017. ‒ Vol. 36, № 12. ‒ Р. 2510-2523. doi: 10.1109/TMI.2017.2757035.Zhang Y., Rong J., Lu H., Xing Y., Meng J. Low-dose lung CT image restoration using adaptive prior features from full-dose training database // IEEE Trans Med Imaging. ‒ 2017. ‒ Vol. 36, № 12. ‒ Р. 2510-2523. doi: 10.1109/TMI.2017.2757035.Epub 2017 Sep. 27.Epub 2017 Sep. 27.

The authors declare that there are no conflicts of interest present.