Жаңа нұсқа IBM SPSS Modeler 19.0 аналитикалық құралдардың эволюциясының жаңа кезеңін белгіледі, бұл ашық кодты тереңірек интеграциялауға, үлкен деректермен жұмыс істеуді оңтайландыруға және машиналық оқыту алгоритмдерінің жылдамдығын арттыруға бағытталған. Жаңарту деректер талдаушылары мен ML инженерлерінің нақты қолданбалы мәселелерін шешуге бағытталған, модель құру, тексеру және іске қосу үшін кеңейтілген құралдарды ұсынады. прогноздық модельдер корпоративтік ортада.
Төменде 19.0 нұсқасында пайдаланушыларға қолжетімді болған негізгі архитектуранық және функционалды өзгерістердің толық талдауы ұсынылған.
IBM SPSS Modeler 19.0-ның Python және R-мен кеңейтілген интеграциясы
Платформаның 19.0 нұсқасында дамытудың негізгі бағыттарының бірі - Python және R бағдарламалау тілдеріне қолдау көрсету. Алдыңғы нұсқаларда скрипттерді қолдану қосымша плагиндерді орнату мен ортаның күрделі баптауын талап етсе, қазір бұл архитектураның негізгі бөлігі болып табылады.
Жаңартылған кеңейту түйіндері
Пайдаланушылар кодты енгізу үшін қайта өңделген түйіндерді алды. Бұл Python скрипттерін деректерді өңдеу ағынында (stream) тікелей орындауға мүмкіндік береді, Pandas, Scikit-learn немесе TensorFlow кітапханаларына жүгінгенде. Жүйе SPSS ішкі форматы мен DataFrames арасындағы деректерді ауыстыруды автоматты түрде басқарады, бұл деректер түрлерін түрлендіру кезіндегі кідірістерді азайтады.
Орталарды басқару
Осыдан түйін орналасқан ортаны (environment) таңдау мүмкіндігі пайда болды. Бұл әртүрлі жобаларға арналған әртүрлі нұсқалардағы кітапханаларды қолданатын компаниялар үшін өте маңызды. Талдаушы тәуелділіктерді оқшаулау арқылы бір кітапхананы жаңарту қазіргі модельдердің жұмысын бұзбауын қамтамасыз етеді.
Жасанды интеллект алгоритмдері (ML) IBM SPSS Modeler 19.0
19.0 нұсқасы қолжетімді алгоритмдер жинағын айтарлықтай кеңейтіп, бұрын негізінен сыртқы жинақтар арқылы қолжетімді әдістерді қосады.
XGBoost және LightGBM
Жаңа нұсқасында градиентті бустинг алгоритмдерінің (XGBoost Tree және XGBoost Linear) табиғи қолдауы енгізілді. Бұл алгоритмдер классификация және регрессия мәселелерінде, әсіресе теңсіз үлгілерде жоғары тиімділікті көрсетеді, бұл банктік скоринг пен алаяқтық анықтау үшін тән. Сондай-ақ, LightGBM қолдауы қосылды, ол өте үлкен деректер жиынтықтарымен жұмыс істеу үшін жасалған және классикалық нұсқаларға қарағанда тезірек оқиды.
Random Forest-тің оптимизациясы
Random Forest алгоритмы ядасы жаңартылды, бұл шешімдер ағаштарын құру процестерін тиімдірек параллелдікпен жүргізуге мүмкіндік береді. Бұл көп ядролық серверлерде модельді оқыту уақытын таңдау көлеміне байланысты 20-30%-ға қысқартуға әкеледі.
Узлы уақыттық қатарлармен жұмыс істеу үшін (Time Series)
Уақыттық қатарларды болжау алгоритмдері жаңартылды. Мезгілдік сипаттар мен трендтерді автоматты түрде анықтау үшін жаңа әдістер қосылды, сондай-ақ уақыттық тізбектердегі жоғалған мәндерді өңдеу механизмдері алдын ала интерполяциясыз жақсартылды.
SQL Pushback және өнімділікті жақсарту
Корпоративті клиенттер Teradata, Oracle, Netezza немесе SQL Server жүйелерімен жұмыс істегенде, SQL Pushback механизмі өте маңызды. 19.0 нұсқасында бұл функционалдылық айтарлықтай жетілдірілді.
Кеңейтілген SQL генерация
Деректерді дайындау түйіндерінің саны арттырылды, олар өз логикасын SQL-сұрақтар ретінде транслирай алады. Қазіргі уақытта жолдармен жұмыс істеу, күрделі агрегациялар және кейбір модельдеу түрлері тікелей дерекқор жағынан орындалады. Бұл SPSS Modeler серверіне гигабайттай "таза" деректерді желі арқылы жіберуден арылуға мүмкіндік береді, нәтижелерді тек оперативті жадына жүктеу арқылы.
Hadoop-пен жұмыс істеуді оңтайландыру
Hadoop экосистемасымен Hive және Impala арқылы жақсартылған интеграция. SPSS Modeler 19.0 қазіргі Big Data дистрибутивтерінде қолжетімді оптимизация функцияларын пайдаланып, таралған файлдық жүйелерге сұраныстарды тиімдірек генерациялайды.
Текст талдауы
Текст талдау модулі премиум конфигурациясының бір бөлігі болып табылады және жаңартылған лингвистикалық ресурстарды алды.
Көптілді қолдау
Сөздіктер мен сандық сипаттама сұрыпталуының кітапханалары жаңа тілдерге кеңейтілді. Табиғи тілді өңдеу алгоритмдері (NLP) қазір клиенттердің пікірлерінде немесе әлеуметтік желілердегі хабарламалардағы сленгті, салалық терминдерді және мәтіннің көңіл-күйін (Sentiment Analysis) дұрысырақ анықтайды.
Text Mining нәтижелерін интеграциялау
Тексті құрылмаған мәтіннен құрылымды деректерге айналдыру процесі анықтала бастады. Мәтіннен бөлінген категориялар мен ұғымдар қазіргі уақытта дәлірек болжамды модельдерді жақсарту үшін демография мен транзакциялар сияқты дәстүрлі құрылымды деректермен біріктіруді жеңілдетеді.
Визуализация және пайдаланушы интерфейсі
Ағымдарды (streams) құру логикасы өзгеріссіз қалса да, жұмыс ыңғайлылығын арттыру үшін визуалды бөлігі өзгерістерге ұшырады.
Жаңа графикалық қозғалтқыш
Жаңартылған деректерді визуализациялау модулі енгізілді. Пайдаланушылар графикті қайта құрамады, оны қайтадан қолдану арқылы деректерді тереңдетуге (drill-down) қол жеткізеді. Жаңа визуализация түрлері пайда болды, олардың ішінде жоғары дәлдікті геопространдық карталар қосылды.
"Modeler Flows" режимі
Интерфейс бейімделіп, IBM Watson Studio бұлттық нұсқасымен біріктірілді. Бұл Modeler десктоптық нұсқасы мен Cloud Pak for Data бұлттық ортасы арасындағы жобаларды көшіруді жеңілдетеді. Пайдаланушылар модельдерді жергілікті түрде жасап, содан кейін оларды бұлтқа тегіс көшіру арқылы кеңейтуге болады.
Автоматтандырылған модельдеу (Auto Classifier және Auto Numeric)
Автоматтық модельдеу түйіндері жаңа баптауларды алды. Олар ең жақсы шешімді іздеу үшін әртүрлі алгоритмдерді қарастырады.
Гиперпараметрлерді нәзік реттеу
Енді пайдаланушы жүйе қайталайтын гиперпараметрлер аралығына қолданылатын бақылауды көбірек алады. Бұл іздеуді бизнес логика немесе ресурстық шектеулер тұрғысынан мағыналы нұсқалармен ғана шектеуге мүмкіндік береді.
Таңдау критерийлері
Модельдерді реттеу бойынша бағаланатын метрикалар кеңейтілді. Стандартты дәлдіктен бөлек, Gini, Lift, Profit критерілері бойынша немесе қателіктердің арнайы метрикалары бойынша таңдауды оңтайландыруға болады, бұл модельді бизнес мақсаттарына (мысалы, пайдады максимизациялау, жай ғана қатені азайту) жақсырақ бейімдеуге мүмкіндік береді.
Деректермен жұмыс істеу және дайындау
Талдау жұмысының шамамен 80%-ы деректерді дайындауға кетеді. 19.0 нұсқасы осы кезеңді жылдамдату құралдарын ұсынады.
JSON түйіні
Күрделі иерархиялық құрылымдарды JSON-ды парсиндеу жақсарды. Бұл API арқылы алынған деректермен немесе NoSQL дерекқорларымен (мысалы, MongoDB) жұмыс істеуді жеңілдетеді, автоматты түрде ішкі құрылымдарды тегіс кестелерге түзетеді.
Деректерді тепе-теңдестіру (SMOTE)
Ішкі жабдықталған үлгілерді тепе-теңдестіру әдістері жақсарылды, атап айтқанда SMOTE (Synthetic Minority Over-sampling Technique) алгоритмі сирек класс үшін синтетикалық мысалдарды генерациялайды. Бұл мақсатты оқиға өте сирек кездесетін деректерде (мысалы, жабдықтан қателіктер) сапалырақ модельдер құруды қамтамасыз етеді.
IBM SPSS Modeler 19.0 қауіпсіздігі және басқару
Корпоративтік сектор үшін маңызды жаңарту - қауіпсіздік механизмдерін нығайту болды.
Қазіргі заманғы шифрлеу протоколдарын қолдау
SSL/TLS қолдауы жаңартылды, олар дерекқорлар мен Modeler серверімен қосылу үшін қолданылады. Бұл заманауи киберқауіпсіздік стандарттарына және реттеушілердің талаптарына (GDPR, HIPAA) сәйкес келеді.
Single Sign-On (SSO)
Корпоративтік аутентификация жүйелерімен интеграция жақсартылды. Бұл пайдаланушылардың сервер ресурстары мен ортақ жобаларға қол жеткізуін басқаруды жеңілдетеді.
Қорытындылар
IBM SPSS Modeler 19.0 визуалды бағдарламалау парадигмасын өзгертпейді, бірақ оны ішкі жағынан маңызды жаңартулармен қамтамасыз етеді. Гибридті тәсілге (Visual + Code) басымдық беру, XGBoost-тың табиғи қолдауы және Big Data экосистемасымен терең интеграция бұл нұсқаны машиналық оқыту процестерін индустрияландыруды қалайтын компаниялар үшін өзекті құрал етеді. Жаңарту модельдерді дамыту циклін қысқартуға және олардың дәлдігін арттыруға мүмкіндік береді, өйткені сіз әдеттегі графикалық ортаны тастамай-ақ заманауи алгоритмдерге қол жеткізе аласыз.
