Машинное обучение: Всё, что необходимо о нём знать

Что такое машинное обучение?

Дать четкое определение машинному обучению может быть непросто. Машинное обучение - это тип искусственного интеллекта, который позволяет машинам обучаться на основе данных, не являясь при этом явно запрограммированными на это. Для решения данной задачи требуется оптимизировать параметры модели (т. е. внутренние переменные) путем вычислений, чтобы поведение модели отражало полученные данные или опыт. Алгоритм обучения постоянно обновляет значения параметров по мере обучения, позволяя модели машинного обучения учиться и делать прогнозы или принимать решения на основе анализа данных и процессов.

Сферы применения машинного обучения очень широки и охватывают такие отрасли, как здравоохранение, финансы, маркетинг, транспорт и многие другие. Модели машинного обучения уже используются для распознавания изображений, обработки естественного языка, выявления случаев мошенничества, создания рекомендательных систем, автономных транспортных средств и персонализированной медицины.

В целом, машинное обучение играет чрезвычайно важную роль, позволяя компьютерам обучаться на основе опыта и данных для повышения эффективности выполнения конкретных задач без необходимости программирования. Машинное обучение потенциально способно произвести революцию в различных отраслях промышленности, автоматизируя сложные процессы и принимая интеллектуальные прогнозы или решения, "переваривая" огромные объемы информации.

 

Чем машинное обучение отличается от глубокого обучения и нейронных сетей?

Глубокое обучение - это направление машинного обучения, которое ориентировано на обучение искусственных нейронных сетей. Многослойные нейронные сети вдохновлены структурой и функциями человеческого мозга. Как и наш мозг, они состоят из взаимосвязанных узлов (нейронов), которые передают друг другу различные сигналы.

Подобные сложные алгоритмы отлично справляются с распознаванием изображений и речи, обработкой естественного языка и многими другими задачами, автоматически извлекая признаки из исходных данных с помощью большого количества уровней абстракции. Глубокое обучение может работать с массивами данных огромного масштаба, с входными данными высокой размерности. Для этого ему требуется значительная вычислительная мощность и длительное обучение.

Как работает машинное обучение

Первым шагом в процессе машинного обучения является сбор соответствующих данных, которые, в свою очередь, могут поступать из таких источников, как базы данных, системы сенсоров или Интернет.

• Предварительная обработка данных: После того как данные собраны, их необходимо предварительно обработать, чтобы гарантировать их качество и пригодность для анализа.
• Обучение модели: Следующий шаг - обучение модели машинного обучения: алгоритм или математическое представление, которое учится делать прогнозы или принимать решения на основе входных данных.
• Выбор признаков и проектирование: На этом этапе модель машинного обучения выделяет наиболее значимые признаки исходных данных, оказывающие значительное влияние на работу модели.
• Оценка и оптимизация модели: После того как модель обучена, необходимо оценить ее производительность и определить, соответствует ли она требуемым критериям.
• Применение и мониторинг: После успешного обучения и оценки модель может быть использована в реальных приложениях систем машинного обучения.

Распространенные модели и алгоритмы для тренировки машинного обучения

Машинное обучение опирается на существующие компьютерные науки, в значительной степени используя статистику, теорию вероятности и методы оптимизации. Существует три основных типа машинного обучения:

• Контролируемое обучение, при котором алгоритм обучается на основе пар вход-выход, представленных в обучающем наборе данных.
• Неконтролируемое обучение, при котором алгоритм находит скрытые паттерны или структуры в немаркированных данных.
• Обучение с подкреплением, в котором используются вознаграждения или наказания для обучения алгоритма принимать оптимальные решения в заданной среде.

В чем преимущества машинного обучения?

Машинное обучение обладает широким спектром преимуществ в различных отраслях и сферах применения. Благодаря способности обрабатывать огромные объемы данных в режиме реального времени машинное обучение позволяет выявлять неэффективность процессов, оптимизировать технологические процессы и повышать общую производительность.

Перечислим лишь некоторые более конкретные преимущества машинного обучения:

• Автоматизация повторяющихся задач, экономия времени и ресурсов,что позволяет людям сосредоточиться на более сложных и творческих аспектах своей работы.
• Персонализация и рекомендации: Анализируя предпочтения и поведение пользователей, машинное обучение позволяет создавать персонализированные сервисы. Такие платформы, как Netflix, Amazon и Spotify, используют его, чтобы предлагать контент на основе индивидуальных моделей поведения пользователей.
• Анализ данных и распознавание образов: Машинное обучение позволяет анализировать большие массивы данных для выявления закономерностей и тенденций, которые могут быть неочевидны при использовании классических методов, что может привести к ценным выводам и принятию обоснованных решений.
• Улучшение процесса принятия решений: Предоставляя точные и основанные на конкретных данных сведения, машинное обучение способствует принятию более обоснованных решений в различных областях, от маркетинговых стратегий до оптимизации цепочки поставок.
• Предиктивная аналитика: Алгоритмы машинного обучения могут делать прогнозы на основе исторических данных, предвидя будущие тенденции, поведение клиентов и динамику рынка. Такие алгоритмы особенно полезны в финансовом прогнозировании, прогнозировании спроса и управлении рисками.
• Повышение качества обслуживания клиентов: Машинное обучение позволяет чат-ботам и виртуальным помощникам взаимодействовать с пользователями в естественно-языковом формате, обеспечивая более быстрые и персонализированные ответы для улучшения поддержки и вовлечения клиентов.
• Обнаружение мошенничества и кибербезопасность: Алгоритмы машинного обучения позволяют выявлять необычные закономерности и модели поведения в данных, что помогает выявлять мошенничество в финансовых операциях и повышает уровень кибербезопасности за счет выявления потенциальных угроз.
• Медицинская диагностика и здравоохранение: Машинное обучение помогает прогнозировать состояние пациентов и составлять индивидуальные планы лечения. Оно может анализировать медицинские изображения, такие как рентгеновские и магнитно-резонансные снимки, чтобы помочь в диагностике заболеваний.
• Оптимизированное распределение ресурсов: Машинное обучение прогнозирует уровень спроса, управляет складскими запасами и оптимизирует процессы цепочки поставок. Это очень важно для отраслей, работающих со скоропортящимися товарами или с изменчивым спросом на рынке.
• Эффективный подбор персонала и HR-процессы: Алгоритмы машинного обучения могут ускорить процесс подбора персонала, анализируя резюме, выявляя подходящих кандидатов и прогнозируя эффективность работы сотрудников.

Машинное обучение: ожидания и задачи

Машинное обучение в области искусственного интеллекта открывает широкие возможности для бизнеса и общества. Помимо многочисленных преимуществ, перечисленных выше, оно является частью ландшафта искусственного интеллекта, который открывает возможности для инноваций мирового масштаба в области устойчивости к изменению климата и смягчения его последствий, ускоряя решение некоторых из самых серьезных проблем планеты.

Однако, несмотря на вышеперечисленное, риски всё же существуют. Необходимо учитывать этические аспекты, конфиденциальность данных и потенциальные предубеждения, чтобы обеспечить ответственное и справедливое использование данных новых технологий Кроме того, эффективность приложений машинного обучения зависит от качества данных и пригодности выбранных алгоритмов для решения конкретных задач.

Именно здесь международные стандарты играют важную роль, предоставляя четкие рекомендации и правила для предотвращения злоупотреблений ИИ и защиты пользователей. ИСО в сотрудничестве с Международной электротехнической комиссией (МЭК) опубликовала ряд стандартов, связанных с машинным обучением, через свою специальную группу экспертов по искусственному интеллекту (ИСО/МЭК СТК 1/ПК 42). Самым последним стандартом по этой теме является ISO/IEC 23053 , который представляет собой основу для систем искусственного интеллекта, использующих машинное обучение.

Станет ли машинное обучение будущим ИИ?

Конечная цель ИИ - создание машин, способных рассуждать, обучаться и адаптироваться к различным областям деятельности. Для этого потребуются расширенные возможности в различных областях ИИ, а машинное обучение является жизненно важной частью этого процесса.

Будущее машинного обучения, как части более широкой области искусственного интеллекта, вызывает интерес у многих, но также и беспокойство. Разработка международных стандартов имеет решающее значение, если мы хотим минимизировать риски и максимизировать многочисленные преимущества в любой сфере нашей жизни.

How machine learning works

The first step in machine learning is collecting relevant data which may come from sources such as databases, sensors or the Internet.

• Preprocessing data: Once the data is collected, it needs to be preprocessed to ensure its quality and suitability for analysis.
• Training the model: The next step is to train a machine learning model – an algorithm or mathematical representation that learns to make predictions or decisions from input data.
• Feature selection and engineering: That machine learning model then selects the most relevant features from the input data that will have a significant impact on the model’s performance.
• Evaluating and optimizing the model: Once a model is trained, it needs to be evaluated to assess its performance and determine whether it meets the desired criteria.
• Deployment and monitoring: After successful training and evaluation, the model can be deployed in real-world applications of machine learning.

Machine learning models

Machine learning builds on existing computer science, relying heavily on statistics, probability theory and optimization techniques. There are three main types of machine learning models:

Supervised learning

Used to predict outcomes or classify data, supervised machine learning is based on labelled training datasets. As data is fed to the ML model, it goes through a cross-validation process which adjusts its weight until it is fitted appropriately. This model supports things like face recognition, object detection or quality control.

Unsupervised learning

As opposed to supervised learning, unsupervised learning is based on unlabelled datasets. The objective of unsupervised learning is to teach ML models to detect hidden patterns or structures without human supervision. Businesses can therefore use unsupervised learning to support customer segmentation, cross-selling strategies or data analysis.

Reinforcement learning

While similar to supervised learning, reinforcement learning relies on trial and error. Without labelled training datasets, reinforcement learning trains ML models to develop best recommendations based on a series of successful outcomes.

Differences between a machine learning model and a machine learning algorithm

In essence, a machine learning model is an end product. It is the representation of what happens when a machine learning algorithm is applied to a dataset. Its purpose is to generalize beyond the training data rather than simply memorize the examples it was trained on. In other words, the model is a tool that can be used to do things like predict outcomes and identify patterns.

In contrast, the machine learning algorithm is the technique used to train a machine learning model. There exist a number of algorithms – linear regression, support vector machines, deep neural networks – and each has its own formulations and complexities. However, the end goal of all of them is to reduce the margin of error between model predictions and the target output of training datasets.

In an image classification system, for instance, the machine learning model is the mathematical function that identifies whether an image contains a cat or a dog, having learned patterns from the training data. The machine learning algorithm is the method used to train this model, optimizing its parameters to improve classification accuracy. Once trained, the model can be used to classify new unseen images as containing either a cat or a dog.

What are the advantages of machine learning?

Machine learning offers a wide range of benefits across various industries and applications. With the ability to process vast amounts of data in real time, machine learning can also identify inefficiencies in processes, optimize workflows and improve overall productivity.

Here are some more specific advantages of machine learning:

• Automation of repetitive tasks, saving time and resources: This allows humans to focus on more complex and creative aspects of their work.
• Personalization and recommendations: By analysing user preferences and behaviour, machine learning powers personalized experiences. Platforms like Netflix, Amazon and Spotify use it to suggest content based on individual user patterns.
• Data analysis and pattern recognition: Machine learning excels at analysing large datasets to identify patterns and trends that may not be apparent through traditional methods. This can lead to valuable insights and informed decision making.
• Improved decision making: By providing accurate and data-driven insights, machine learning aids more informed decision making across various domains, from marketing strategies to supply chain optimization.
• Predictive analytics: Machine learning algorithms can make predictions based on historical data, anticipating future trends, customer behaviour and market dynamics. This is particularly useful in financial forecasting, demand prediction and risk management.
• Enhanced customer experiences: Machine learning enables the chatbots and virtual assistants that interact with users in a natural language format, providing quicker and more personalized responses to enhance customer support and engagement.
• Fraud detection and cybersecurity: Machine learning algorithms can detect unusual patterns and behaviours in data, aiding fraud detection in financial transactions and enhancing cybersecurity by identifying potential threats.
• Medical diagnosis and healthcare: Machine learning helps predict patient outcomes and personalize treatment plans. It can analyse medical images, such as X-rays and MRIs, to assist in the detection of diseases.
• Optimized resource allocation: Machine learning predicts demand, manages inventory and streamlines supply chain processes. This is crucial for industries dealing with perishable goods or fluctuating market demands.
• Efficient recruitment and HR processes: Machine learning algorithms can speed the recruitment process by analysing resumés, identifying suitable candidates and predicting employee performance.

Machine learning: promises and challenges

Machine learning in artificial intelligence opens a realm of possibilities for businesses and society. As well as the numerous benefits listed above, it is part of an AI landscape which promises world-changing innovation in the field of climate change resilience and mitigation, powering the acceleration of solutions to some of the planet’s most serious problems.

However, this comes with risks. It’s essential to address ethical considerations, data privacy and potential biases to ensure responsible and fair use of these technologies. Additionally, the effectiveness of machine learning applications depends on the quality of the data and the appropriateness of the chosen algorithms for specific tasks.

This is where International Standards play a critical role in providing clear guidelines and regulations to prevent misuse and protect users. ISO, in collaboration with the International Electrotechnical Commission (IEC), has published a number of standards related to machine learning through its dedicated group of experts on artificial intelligence (ISO/IEC JTC 1/SC 42). Its most recent standard on the subject is ISO/IEC 23053 which provides a framework for AI systems using machine learning.

History of machine learning

To fully answer the question “what is machine learning?”, we must retrace our steps. ML can trace its origins back to the 1950s. From its very first iterations to the rapidly evolving technology we know today, ML has been shaped – and continues to be shaped – by decades of breakthroughs and setbacks.

Humble beginnings (1950s-1960s)

The very first step in artificial intelligence and machine learning was taken by Arthur Samuel in 1950. His work demonstrated that computers were capable of learning when he taught a programme to play checkers. However, this wasn’t a programme that was explicitly designed to carry out specific commands. This programme could learn from past mistakes and moves to improve its performance. Samuel would later coin the term “machine learning” and define it as “the field of study that gives computers the ability to learn without being explicitly programmed”.

Only eight years later, in 1958, Frank Rosenblatt introduced the Perceptron, a simplified model of an artificial neuron. This algorithm could learn to recognize patterns in data and was the first iteration of an artificial neural network. Evgenii Lionudov and Aleksey Lyapunov would complement these innovations in the 1960s through their work on backpropagation algorithms and the theory of machine learning. By the 1980s, there existed an algorithm capable of efficiently training multi-layered neural networks.

The lost years (1960s-1970s)

Marvin Minsky and Seymour Papert’s Perceptrons, published in 1969, shone a bright light on the limitations of neural networks. Combined with the limited computing power, a lack of available data and other factors, this influential book inadvertently contributed to the first “AI winter” marked by minimal funding and low research interest.

The renaissance (1980s-1990s)

John Hopfield would put an end to this “AI winter” with the introduction of his recurrent neural network – the Hopfield network – in 1982. This encouraged David Rumelhart, Geoffrey Hinton, Ronald Williams and others to revive the study of backpropagation and multi-layered neural networks. The year 1989 saw the first real breakthrough in the field of computer vision through Yann LeCun’s work on convolutional neural networks (CNNs).

The introduction of support vector machines (SVMs) by Vladimir Vapnik in 1995 and the development of long short-term memory (LSTM) networks by Sepp Hochreiter and Jürgen Schmidhuber in 1997 garnered even more momentum for this burgeoning field.

The breakthroughs (2010s)

Machine learning marked a decisive victory over traditional computers in 2012 when AlexNet, a convolutional neural network, outperformed traditional computer vision methods in the 2012 ImageNet competition.

From there, a series of landmark breakthroughs followed. In 2014, Ian Goodfellow’s generative adversarial networks (GANs) would empower researchers to generate realistic synthetic data. In 2016, the world champion of Japanese board game Go was defeated by DeepMind’s AlphaGo system. And in 2017, transformer models revolutionized natural language processing capabilities.

Recent developments (2010s-present)

Since then, the field has continued to develop deep learning architectures and expanded the applications of machine learning to industries like healthcare, finance and even entertainment. Machine learning has also started to find its way into Internet of Things (IoT) devices and into other fields such as quantum computing, neuroscience and physics.

Amidst all this fast-paced progress, there is today a growing emphasis on considerations surrounding the responsible use of machine learning systems. What’s more, the advancements in unsupervised and self-learning techniques have placed ever more weight on the management of data and how ML models are applied in real-life scenarios.

• ISO/IEC 23053:2022Framework for AI systems using machine learning
• ISO/IEC 42001:2023AI management systems
• ISO/IEC 23894:2023AI — Guidance on risk management

Will machine learning be the future of AI?

The ultimate goal of AI is to design machines that are capable of reasoning, learning and adapting to various domains. This will require advanced capabilities in a variety of AI subfields and machine learning is a vital part of this.

The future of machine learning, as part of the wider field of AI, is exciting for many and concerning for some. The development of International Standards is crucial if we are to minimize its risks and maximize its many benefits in every part of our lives.