Реляционные базы данных и как с ними оптимально работать
- Информация о материале
Реляционные базы данных отлично подходят для задач любой сложности, поэтому важно знать, как получить от них максимальную отдачу. Давайте разбираться.
MySQL – популярный выбор для малых и крупных корпоративных компаний благодаря его способности к масштабированию. Следом за ним по популярности идет SQL Server и PostgreSQL.
Начнем с основ хранения данных в реляционной базе данных.
Понимание реляционных БД
Хранение
MySQL является реляционной базой данных, где все данные представлены в виде кортежей, сгруппированных в отношения. Кортеж представлен его атрибутами.
Допустим, у нас есть приложение, где люди могут одалживать книги. Нам нужно будет хранить все операции над книгами. Для их хранения мы создали простейшую реляционную таблицу при помощи следующей команды:
CREATE TABLE book_transactions ( id INTEGER NOT NULL AUTO_INCREMENT, book_id INTEGER,
borrower_id INTEGER, lender_id INTEGER, return_date DATE, PRIMARY KEY (id));Таблица выглядит так:
book_transactions
------------------------------------------------
id borrower_id lender_id book_id return_dateЗдесь id – это первичный ключ, а borrower_id, lender_id, book_id – внешние ключи. После того, как наше приложение запускается, в таблице создается несколько записей:
book_transactions
------------------------------------------------
id borrower_id lender_id book_id return_date
------------------------------------------------
1 1 1 1 2018-01-13
2 2 3 2 2018-01-13
3 1 2 1 2018-01-13Выборка данных
У нас есть личный кабинет для каждого пользователя, где он может видеть перемещение своих книг. Давайте выберем транзакции книг пользователя:
SELECT * FROM book_transactions WHERE borrower_id = 1;
book_transactions
------------------------------------------------
id borrower_id lender_id book_id return_date
------------------------------------------------
1 1 1 1 2018-01-13
2 1 2 1 2018-01-13Эта команда последовательно просматривает строки и возвращает данные пользователя. Процесс происходит очень быстро, т. к. в нашем отношении очень мало данных. Чтобы увидеть точное время выполнения запроса, установите set profiling = 1:
set profiling=1;После того как значение true установлено, выполните запрос еще раз при помощи следующей команды для просмотра времени выполнения:
show profiles;Это вернет длительность выполненного запроса:
Query_ID | Duration | Query
1 | 0.00254000 | SELECT * FROM book_transactions ...Таблица book_transactions будет заполняться данными в процессе появления новых транзакций.
Проблема
Это увеличивает количество кортежей в нашем отношении. При этом время, необходимое для извлечения транзакций книги для пользователя, начнет увеличиваться, ведь MySQL должен перебрать все кортежи, чтобы найти результат.
Для заполнения таблицы большим количеством данных, используем следующую процедуру:
DELIMITER //
CREATE PROCEDURE InsertALot()
BEGIN
DECLARE i INT DEFAULT 1;
WHILE (i <= 100000) DO
INSERT INTO book_transactions (borrower_id, lender_id, book_id, return_date)
VALUES ((FLOOR(1 + RAND() * 60)), (FLOOR(1 + RAND() * 60)),
(FLOOR(1 + RAND() * 60)), CURDATE());
SET i = i+1;
END WHILE;
END //
DELIMITER ;Она вставит 100 000 случайных записей в таблицу book_transactions. После выполнения наблюдаем небольшое увеличение времени выполнения:
Query_ID | Duration | Query
1 | 0.07151000 | SELECT * FROM book_transactions ...Давайте добавим еще несколько записей, выполнив описанную выше процедуру, и посмотрим, что произойдет. Чем больше данных будет добавляться, тем больше становится продолжительность запроса. Чтобы выполнить тот же запрос в таблице с 1,5 млн. записей, затрачивается еще больше времени:
Query_ID | Duration | Query
1 | 0.36795200 | SELECT * FROM book_transactions ...Реляционные базы данных со сложными запросами страдают от времени выполнения.
Кажется, что это неплохо для одного запроса, но когда в системе происходят тысячи или даже миллионы запросов, выполняющиеся каждую минуту, это имеет большое значение. Увеличение времени ожидания будет влиять на общую производительность приложения.
Давайте вернем скорость
Index
MySQL и другие реляционные базы данных применяют индексирование структуры данных, помогающее получить выборку быстрее.
Существуют различные типы индексирования в MySQL:
- Primary Key – индекс на первичный ключ. По умолчанию первичные ключи всегда индексируются. Это гарантирует, что две строки не будут иметь первичный ключ.
- Unique – уникальный ключ обеспечит отсутствие одинаковых значений у нескольких записей. Несмотря на это, несколько значений Null могут храниться с уникальным индексом.
- Index – добавляется к любым другим полям, кроме первичного ключа.
- Full Text – помогает работать с текстовыми данными.
Существует еще два способа хранения индекса:
- Hash – используется в основном для точного соответствия ( = ) и не работает со сравнениями (≥, ≤)
- B-tree – это наиболее распространенный способ хранения данных, обеспечивающий эффективную работу с дисковой памятью.
MySQL использует B-tree по умолчанию. Данные хранятся в двоичном дереве, что делает извлечение данных очень быстрым.
Структурирование данных, при помощи B-дерева, помогает избежать полного сканирования таблицы со всеми кортежами.
Чтобы повысить производительность нашей book_transactions, добавим индекс в поле lender_id.
CREATE INDEX lenderId ON book_transactions(lender_id)Эта команда добавляет индекс в поле lender_id. Давайте посмотрим, как это влияет на производительность при обработке 1,5 млн. записей. Запустим тот же запрос еще раз:
SELECT * FROM book_transactions WHERE lender_id = 1;
Query_ID | Duration | Query
1 | 0.00787600 | SELECT * FROM book_transactions ...С добавлением правильного индекса мы видим резкое увеличение производительности.
Реляционные базы данных и их индексы
Индекс, который мы добавили выше, был индексом одиночного поля. Индексы также могут быть добавлены в составное поле.
Если в запросе участвует несколько полей, можно применить составной индекс. Это следует делать так:
CREATE INDEX lenderReturnDate ON book_transactions(lender_id, return_date);Другое применение индексов
Запросы – это не единственное направление использования индексов. Они также могут быть использованы в условиях ORDER BY. Давайте отсортируем записи относительно lender_id:
SELECT * FROM book_transactions ORDER BY lender_id;
1517185 rows in set (4.08 sec)Результат неутешительный. Что пошло не так при условии, что мы установили индекс? Попробуем углубиться в реляционные базы данных, чтобы разобраться с функцией EXPLAIN.
Использование Explain
Добавим Explain, чтобы увидеть, как запрос будет выполняться в нашем текущем наборе данных:
EXPLAIN SELECT * FROM book_transactions ORDER BY lender_id;Вывод команды:
Существуют различные поля, возвращаемые Explain-ом. Заглянем в таблицу выше и выясним проблему.
- rows: общее количество строк, которые будут проверяться.
- filtered: процент строк, которые будут проверяться для получения данных.
- type: указывается, если используется индекс. ALL означает, что индекс не используется.
- possible_keys, key, key_len: NULL, что означает, что никакой индекс не используется.
Так почему же запрос не использует индекс?
Это происходит потому, что в запросе есть select *, т. е. выборка всех полей нашей таблицы.
Индекс содержит сведения только об индексируемых полях. Это означает, что MySQL снова должен будет обратиться к главной таблице для выборки данных. Для этого нужно немного переписать запрос.
Выборка только необходимого поля
Чтобы убрать необходимость перехода к основной таблице для запроса, нам нужно выбрать только то значение, которое присутствует в индексной таблице:
SELECT lender_id FROM book_transactions ORDER BY lender_id;Это вернет результат за 0,46 секунды, что намного быстрее. Но показатель можно еще улучшить.
Поскольку этот запрос выполняется для всех 1,5 млн. записей, он выполняется немного дольше, поскольку ему необходимо загрузить данные в память.
Используем Limit
Нам не нужны все записи одновременно, и мы можем использовать оператор LIMIT для упрощения выборки:
SELECT lender_id
FROM book_transactions
ORDER BY lender_id LIMIT 1000;С применением Limit, время ответа существенно улучшилось: 0,0025 секунды. Теперь мы можем получить следующую партию с применением OFFSET:
SELECT lender_id
FROM book_transactions
ORDER BY lender_id LIMIT 1000 OFFSET 1000;Это приведет к выборке 1000 строк. При этом мы можем увеличить offset и limit, чтобы получить все данные. Только есть одно "но": с увеличением offset уменьшается производительность запроса.
Это происходит потому, что MySQL сканирует все данные, чтобы достичь точки смещения. Поэтому лучше не использовать большой offset.
Как насчет Count?
Движок InnoDB имеет способность писать в БД параллельно. Это делает его очень масштабируемым и улучшает пропускную способность в секунду.
Но за это придется заплатить. InnoDB не может добавлять счетчик кэша для записей в любой таблице. Подсчет должен быть произведен в реальном временя путем просмотра всей фильтрованной информации. Это делает COUNT медленным.
Поэтому для подсчета большого количества записей рекомендуется вычислять суммарные данные из прикладной логики.
Почему бы не добавить индекс ко всем полям?
Добавление индекса помогает повысить производительность, но также имеет свои издержки. Его следует использовать эффективно, иначе это приведет к следующим проблемам:
- Нужен мощный сервер.
- Когда что-то удаляется, происходит переиндексация (CPU загружен, и процесс удаления медленный).
- Когда что-то добавляется, происходит переиндексация (CPU загружен, и процесс вставки медленный).
Теперь мы понимаем, что добавление индекса облегчает жизнь, но мы по-прежнему не можем выбрать все данные, кроме тех, которые индексируются для быстрой работы.
Так как же выбрать все атрибуты и при этом не потерять производительность?
Партиционирование
Пока мы строим индексы, у нас есть информация только об индексируемом поле, и нет данных о полях, которых нет в индексе.
Как уже говорилось ранее, MySQL нужно “заглянуть” в главную таблицу, чтобы получить данные о других полях, а это замедлит время выполнения.
Данная проблема решается при помощи партиционирования.
Партиционирование (разбиение) – это метод, в котором MySQL разделяет большие таблицы на несколько малых, но все еще управляет ими как одной.
При выполнении любой операции с таблицей необходимо указать, какой раздел используется. При партиционировании MySQL будет немного проще, т. к. используется маленький набор данных для запроса. Заранее продуманное разбиение в соответствии с задачей – ключ к высокой производительности.
Если на данном этапе используется один сервер, то будет ли он масштабируемым?
Шардинг
Когда информации очень много, хранить ее на одном сервере затруднительно. Какой-нибудь раздел может быть “крупным”, и запросы к нему будут задерживать параллельные обращения к другим разделам.
Предположим, что данные за последние три месяца используются чаще всего, тогда как более старые – реже. Возможно, последние данные в основном обновляются / создаются, тогда как старые данные только читаются.
Чтобы устранить эту проблему, можно переместить раздел с последними тремя месяцами на другой сервер. Шардинг – это способ разделения большого набора данных на более мелкие блоки и перемещения в отдельные СУБД. Другими словами, шардинг можно назвать “горизонтальным разделением”.
Реляционные базы данных имеют возможность масштабироваться по мере роста приложения, нужно только найти правильный индекс и настроить инфраструктуру в соответствии с потребностями.
В интернете появились схемы обхода требований мэрии Москвы по доступу в заведения по QR-кодам
- Информация о материале
Схема включает в себя использование фишинговых сайтов, имитирующих сайт "Госуслуги" с привязкой к ним генераторов QR кодов
Мэрия считает такую деятельность преступлением. Юристы же утверждают, что наказание может последовать только за подделку официальных документов, к которым QR-коды не относятся. В ресторанах не всегда смогут распознать поддельные домены, да и скорее всего, ни кто этого делать не будет. Рекомендуется использовать специальный софт для сравнения доменов, как и рекомендуется носить одноразовые маски для защиты органов дыхания, а не для отчетности.
Требования к "железу" Windows 11
- Информация о материале
Перед выходом Windows 11 компания Microsoft заявляла, что новая операционная система не будет слишком требовательна к "железу", однако системные требования на сайте постоянно обновлялись.
На сегодняшний момент минимальные системные требования, указанные на сайте:
Процессор-не менее двух ядер с тактовой частотой не менее 1 гигагерца (ГГц) на совместимом 64-битном процессоре или Системе на кристалле (SoC).
Оперативной памяти не менее 4ГБ.
Устройство хранения на 64 ГБ или больше(судя по всему должен быть диск SSD)
Графический адаптер, совместимый с DirectX 12 / WDDM 2.x
Системная прошивка:UEFI, с поддержкой безопасной загрузки
TPM: Доверенный платформенный модуль (TPM) версии 2.0
Дисплей > 9 дюймов с разрешением HD (720p)
Интернет-соединение - Для завершения установки на устройство при первом использовании Windows 11 Home edition требуется подключение к Интернету и учетная запись Майкрософт.
Отключение на устройстве Windows 11 в S-режиме также требует наличия интернет-соединения. Здесь можно найти подробную информацию по S-режиму.
Для всех выпусков Windows 11 требуется доступ в Интернет для выполнения обновлений, а также для загрузки и использования некоторых функций.
Так же проверить, подходит ли ваш компьютер для новой операционной системы можно через специальное приложение от компании microsoft
.jpg)
Как обмануть мозг и эффективно учиться программированию
- Информация о материале
Из этой статьи вы узнаете, почему мы залипаем в соцсетях вместо работы и учебы, а также как обмануть мозг и эффективно учиться.
– Хочу эффективно учиться верстке, но не могу сосредоточиться на скучном материале.
– Можно ли стать программистом, если мне n лет?
– Не могу писать код из-за прокрастинации.
Эти и подобные вопросы знакомы начинающим и продолжающим программистам, да и всем остальным представителям креативного класса. Мы устаем, часами залипаем в лентах соцсетей, бесконечно пьем чай, боремся с постоянной сонливостью, – делаем все, кроме действительно важных вещей. Нам легко дается все, кроме изучения нового и работы.
Почему так происходит? Об этом в статье.
Спойлер: мы неправильно пользуемся мозгом и попадаем в его ловушки.
Почему мозг не хочет учиться
Хорошая новость: вы не можете понять и правильно применить рекурсию не из-за лени или отсутствия способностей к программированию. Трудности при изучении нового материала у большинства людей возникают из-за неправильного использования мозга. Это как с топором: если сильно постараться, бревно можно расколоть обухом. Но гораздо эффективнее рубить острием.
Профессор Калифорнийского университета в Сан-Диего Барбара Окли говорит, что наш мозг работает в двух режимах. Это сосредоточенный и расслабленный или рассеянный режим. Оба режима важны для успешного обучения или работы. Поэтому их важно понимать и уметь правильно использовать.
Сосредоточенный режим включается, когда мы решаем сложные и нетривиальные задачи. Также он работает, когда мы пытаемся понять что-то новое, занимаемся неизвестной нам прикладной деятельностью. Например, если вы никогда не пользовались китайскими палочками и осваиваете этот инструмент, мозг работает в сосредоточенном режиме.
Что под капотом
Чтобы заглянуть под капот, то есть в черепную коробку, представьте звездное небо. Звезды на нем – нервные клетки или нейроны. Чтобы решить конкретную задачу, нервные клетки должны связаться друг с другом или образовать нейронные связи. Это можно представить в качестве созвездий.
Для решения любой задачи, например, поездки на велосипеде, объявления переменной, использования зубной щетки, на нашей персональной звездной карте есть свои созвездия или нейронные связи.
Когда человек делает что-то привычное, например, берет в руки ложку, печатает текст на клавиатуре или бреется, мозг использует существующие нейронные связи. Нервные клетки связываются друг с другом по привычным маршрутам. Поэтому мы едим суп или крутим педали велосипеда не задумываясь. Мозг работает в расслабленном режиме.
Когда человек делает что-то новое, например, изучает Python или пытается съесть суп китайскими палочками, мозг вынужден создавать новые нейронные связи. Нервные импульсы словно прокладывают новые пути на звездной карте мозга. Эти пути соединяются в новые созвездия. Но перед образованием синапсов нервный импульс вынужден попробовать огромное количество вариантов, десятки тысяч раз провалиться в черные дыры и столкнуться с остывшими звездами.
Синапс – место контакта нейронов, в котором происходит обмен нервными импульсами.
Когда мы изучаем новое, мозг работает в сфокусированном режиме. Это менее эффективный и более энергозатратный режим работы. Чтобы найти путь и объединиться в созвездия, нейрон посылает нервные импульсы в десятки тысяч ложных направлений.
Вы уже поняли, почему нам трудно учиться? Сфокусированный режим энергозатратен, поэтому мозг не может долго его поддерживать. Усталость, сонливость и даже прокрастинация – защитные реакции или ловушки мозга. Он хочет назад в расслабленный режим, поэтому напоминает нам о соцсетях и чае.
Почему мы пользуемся мозгом неправильно
Еще одна хорошая новость: расслабленный режим работы мозга так же важен и полезен для обучения и решения прикладных задач, как сфокусированный. То есть в режиме расслабления мозг не сачкует, а работает. Прелесть в том, что это происходит без активных усилий с нашей стороны.
Это проще всего понять на примере умений и навыков. Представьте человека, который учится вязать. Сначала он усваивает теорию и приобретает знания. Он знает, как вязать, но не умеет делать этого. Потом человек берет в руки спицы и вяжет несколько рядов. Теперь он умеет вязать. Но чтобы сделать каждую петлю, он должен сосредоточиться. Когда человек свяжет 100 тыс. рядов, он сможет вязать как ваша бабушка: глядя на экран ТВ или даже в полудреме.
Навык – доведенное до автоматизма умение. Новичок умеет вязать. Чтобы сделать петлю, его мозг должен сфокусироваться и работать в энергозатратном режиме. У бабушки сформирован навык вязания. Она может связать свитер, не фокусируясь на петлях и рядках. Ее мозг работает в расслабленном режиме. Поэтому бабушка думает о свитере, а не о движениях спиц.
Думая, что освоить что-то новое можно только в сфокусированном режиме, вы неправильно пользуетесь мозгом. Чтобы эффективно учиться, а также для успешной повседневной деятельности, важны оба режима работы.
В сфокусированном режиме вы узнаете новые факты и приобретаете умения. В расслабленном режиме вы осмысливаете информацию, получаете целостную картину и закрепляете умения. Более того, мозг генерирует новые идеи, когда работает в расфокусированном режиме.
Как расфокусировался Дали
Знаменитый художник-сюрреалист Сальвадор Дали использовал интересный прием, чтобы искать идеи для картин. Он садился в удобное кресло, расслаблялся и закрывал глаза. В руке он держал связку ключей. Дали погружался в полусон, его тело расслаблялось.
В какой-то момент рука выпускала ключи, а громкий звук от их падения будил художника. Он тут же начинал творить, чтобы не забыть полученные в состоянии между сном и бодрствованием идеи. Таким же приемом пользовался изобретатель Томас Эдисон.
Что общего между памятью и мышцами штангиста
Хорошая новость номер три: память можно тренировать. Этим она похожа на мышцы штангиста. Но тренироваться нужно правильно. Память и мышцы невозможно развить за день или за неделю. Только не вспоминайте про синтоловых качков и психостимуляторы. Это исключения, поэтому они подтверждают правила.
Память человека можно сравнить с памятью компьютера. Как и у железных помощников, у нас есть оперативная память. Ее объем ограничен: по последним данным, в нем эффективно удерживаются до четырех блоков информации.
У нас есть долгосрочная память. На условном жестком диске хранятся колоссальные объемы информации. Какие-то сведения мы вспоминаем без усилий. Человек отлично знает адрес своего дома, хоть и не держит эту информацию в оперативной памяти. Но он регулярно обращается к отделу мозга, в котором хранится адрес. Например, это происходит, когда он вызывает такси или заказывает пиццу.
Какие-то сведения мы вспоминаем с усилиями. Как фамилия девчонки, которую вы дергали за косу в первом классе? Как звали воспитательницу в детском саду? Человек редко обращается к отделам мозга с этой информацией, поэтому для поиска путей к данным мозг должен приложить усилия.
Большую часть информации мы забываем. Она не стирается безвозвратно, а хранится в дальних уголках нашего «жесткого диска». Но мозг не знает путей к этим данным, так как никогда к ним не обращается.
Кстати, пословица «ума палата, да ключ потерян» очень хорошо описывает принцип работы долгосрочной памяти. Если мозг не знает ключа к нужному отделу памяти, данные в нем останутся недоступными.
Чтобы эффективно учиться и запоминать новую информацию, надо научить мозг находить пути к нужным отделам долгосрочной памяти. Достаточно регулярно загружать сведения в оперативную память. То есть тем или иным способом использовать и повторять информацию.
Как эффективно учиться: практика
Эффективно учиться помогут следующие рекомендации.
-
1. Ешьте
- Речь о правильном питании. Мозг потребляет на порядок больше энергии, чем другие органы в пересчете на массу. Для эффективной работы мозгу нужно полноценное питание, о котором можно почитать в рекомендациях Всемирной организации здравоохранения.
-
2. Спите
- Во время бодрствования в нервной ткани скапливаются продукты метаболизма. Для эффективной работы мозг должен их удалять, а это возможно только во сне. Ложитесь до полуночи, спите 7-8 часов в сутки.
-
3. Не злоупотребляйте алкоголем, не курите, будьте физически активными
- Объяснения не нужны, правда?
-
4. Переключайтесь между сфокусированным и расслабленным режимом работы мозга
- Это поможет усваивать новый материал, бороться с прокрастинацией, сонливостью и другими ловушками мозга. Для переключения режимов не обязательно копировать Дали. Вот несколько идей:
- Используйте помидорный тайм-менеджмент: чередуйте периоды интенсивной работы с перерывами. Moosti в помощь.
- Чередуйте теорию и практику.
- Переключайтесь между задачами.
-
5. Двигайтесь от общего к частному
- Это тот самый дедуктивный метод, который Артур Конан Дойл ошибочно приписал Шерлоку Холмсу. Когда вы стараетесь сначала понять общую картину, мозг в расслабленном режиме формирует нейронные связи. Когда вы углубляетесь в частности, мозг цементирует новые нейронные связи. Пример: чтобы усвоить информацию, расслабленно прочитайте главу из учебника. А потом вернитесь к началу главы, сконцентрируйтесь и разбирайтесь с деталями.
-
6. Используйте метафоры
- Представление мозга в виде звездного неба, а нейронных связей в виде синапсов – метафора. Если бы ее не было, для понимания принципов работы мозга вам пришлось бы углубиться в мир синапсов и нейротрансмиттеров. Метафоры позволяют обмануть мозг и усвоить новую информацию в расслабленном состоянии. Благодаря метафоре человек может подняться на уровень выше и получить целостную картину.
-
7. Повторяйте новую информацию
- Повторение учит мозг быстро искать путь к нужным отделам долгосрочной памяти.
-
8. Дайте мозгу время
- Вы лучше запомните материал, если повторите его два раза вечером и два раза утром. Четыре повторения вечером не дадут такого же эффекта, так как для наращивания мозговой мышечной массы нужно время. За ночь во время сна нейронные связи между оперативной памятью и нужным отделом долгосрочной памяти укрепятся. Поэтому вы лучше запомните материал.
-
9. Практикуйтесь
- В прикладных видах деятельности, к которым относится и программирование, эффективно учиться помогает регулярная практика. Чтобы знания превратились в умения, а умения закрепились в виде навыка, материал нужно усвоить «через руки».
Правильно пользоваться софтом и заботиться о харде
Именно так можно подытожить разговор об эффективном обучении. Здоровый сон, правильное питание и физическая активность нужны, чтобы мозг не тормозил и работал в заложенном природой и родителями режиме.
Чтобы эффективно учиться, важно давать мозгу фокусироваться и расслабляться. Повторение информации и практика формируют и закрепляют новые нейронные связи. Дедуктивный метод и метафоры помогут двигаться от общего к частному и не терять лес за деревьями.
Успешного обучения!
Страница 2 из 6
