тимофея хирьянова мфти практика программирования на python

Вот уже на протяжении нескольких лет Тимофей, преподаватель кафедры информатики МФТИ, выкладывает свои лекции по программированию на своём Youtube канале с открытым доступом.

Программирование на python

217 постов 7.5K подписчика

Правила сообщества

Публиковать могут пользователи с любым рейтингом. Однако!

• уважение к читателям и авторам

• простота и информативность повествования

• тег python2 или python3, если актуально

• код публиковать в виде цитаты, либо ссылкой на специализированный сайт

• допускать оскорбления и провокации

• распространять вредоносное ПО

• просить решить вашу полноценную задачу за вас

Кому-то пора отдохнуть

Какой карантин, вы чего?

В 2020 наткнулся на его первую лекцию.

Грамотно и интересно объясняет.

Не знаю, Питон не учил, но курсы посмотрел с удовольствием.

зачем я это смотрю я же далек от программирования.

но очень интересно=)

а взламывать пентагон научат?)))

Меня поразило, когда я после видео про введение спонсорства на канале, не нашел кнопку стать спонсором))

Английский с нуля. Случайно благодаря. Урок 53 из 60

Как использовать by accident и by chance, owing to и due to.

Видео взяты из приложения Английский с Анной (в каждом уроке слова, задание на устный перевод, письменный перевод).

Как преподаватель помог реализоваться

Как и обещал, положительный опыт #comment_214455065 и ещё немного клише #comment_213570081

Когда я только поступил в универ, у нас был предмет, где изучали программирование. Точного названия не помню.

На каком-то из занятий преподаватель задал написать простенький сайт.

Лет с 14-15 я начал увлекаться программированием. Причиной тому стало, что я устал играть на официальном сервере игры, т.к. как всегда всё зависело от того, сколько ты туда денег вложишь.

В какой-то момент мне надоело регистрировать игроков вручную и я стал изучать как сделать так, чтобы они сами регистрировались. Тут-то я и начал изучать программирование.

В последствии, года через 2 я написал красивый сайт, с большим функционалом(на тот момент для меня это было прямо ВАУ).

Этот сайт я и показал преподавателю. Он на меня так искоса посмотрел, типа «Ага, сам написал». И начал расспрашивать что за функции и что они значит. Вопросов 5-6 было, всё объяснил. Он посмотрел на меня с уважением и сказал: Можешь больше на мои занятия не ходить. Ты тут ничему новому не научишься. А если хочешь подзаработать, то у универа есть задача, которую надо решить.

Таким образом, преподаватель дал мне первую оплачиваемую задачу по программированию, дал мне уверенность в себе и своих умениях.

В итоге, задачу я выполнил, он её принял. Оплатили мне выполнение этой задачи(14 т.р., что для студента ого-го какие деньги). С тех пор я начал искать работу именно как программист и вполне успешно зарабатываю на своём хобби.

Большое спасибо, Валерий Александрович из СПбГУТ

Разработка системы заметок с нуля. Часть 2: REST API для RESTful API Service + JWT + Swagger

Продолжаем серию материалов про создание системы заметок. В этой части мы спроектируем и разработаем RESTful API Service на Go cо Swagger и авторизацией. Будет много кода, ещё больше рефакторинга и даже немного интеграционных тестов.

В первой части мы спроектировали систему и посмотрели, какие сервисы требуются для построения микросервисной архитектуры.

Подробности в видео и текстовой расшифровке под ним.

Начнём с макетов интерфейса. Нам нужно понять, какие ручки будут у нашего API и какой состав данных он должен отдавать. Макеты мы будем делать, чтобы понять, какие сущности, поля и эндпоинты нам нужны. Используем для этого онлайн-сервис NinjaMock. Он подходит, если макет надо сделать быстро и без лишних действий.

Страницу регистрации сделаем простую, с четырьмя полями: Name, Email, Password и Repeat Password. Лейблы делать не будем, обойдемся плейсходерами. Авторизацию сделаем по юзернейму и паролю.

После входа в приложение пользователь увидит список заметок, который будет выглядеть примерно так:

Интерфейс, который будет у нашего веб-приложения:

— Слева — список категорий любой вложенности.

— Справа — список заметок в виде карточек, который делится на два списка: прикреплённые и обычные карточки.

— Каждая карточка состоит из заголовка, который урезается, если он очень длинный.

— Справа указано, сколько секунд/минут/часов/дней назад была создана заметка.

— Тело заголовка — отрендеренный Markdown.

— Панель инструментов. Через неё можно изменить цвет, прикрепить или удалить заметку.

Тут важно отметить, что файлы заметки мы не отображаем и не будем запрашивать у API для списка заметок.

Полная карточка открывается по клику на заметку. Тут можно сразу отобразить полностью длинный заголовок. Высота заметки зависит от количества текста. Для файлов появляется отдельная секция. Мы их будем получать отдельным асинхронным запросом, который не помешает пользователю редактировать заметку. Файлы можно скачать по ссылке, также есть отдельная кнопка на добавление файлов.

Так будет выглядеть открытая заметка

В ходе прототипирования стало понятно, что в первой части мы забыли добавить еще один микросервис — TagsService. Он будет управлять тегами.

Для страниц авторизации и регистрации нам нужны эндпоинты аутентификации и регистрации соответственно. В качестве аутентификации и сессий пользователя мы будем использовать JWT. Что это такое и как работает, разберём чуть позднее. Пока просто запомните эти 3 буквы.

Для страницы списка заметок нам нужны эндпоинты /api/categories для получения древовидного списка категорий и /api/notes?category_id=? для получения списка заметок текущей категории. Перемещаясь по другим категориям, мы будем отдельно запрашивать заметки для выбранной категории, а на фронтенде сделаем кэш на клиенте. В ходе работы с заметками нам нужно уметь создавать новую категорию. Это будет метод POST на URL /api/categories. Также мы будем создавать новый тег при помощи метода POST на URL /api/tags.

Чтобы обновить заметку, используем метод PATCH на URL /api/notes/:uuid с измененными полями. Делаем PATCH, а не PUT, потому что PUT требует отправки всех полей сущности по спецификации HTTP, а PATCH как раз нужен для частичного обновления. Для отображения заметки нам ещё нужен эндпоинт /api/notes/:uuid/files с методами POST и GET. Также нам нужно скачивать файл, поэтому сделаем метод GET на URL /api/files/:uuid.

Структура репозитория системы

Ещё немного общей информации. Структура репозитория всей системы будет выглядеть следующим образом:

В директории app будет исходный код сервиса (если он будет). На уровне с app будут другие директории других продуктов, которые используются с этим сервисом, например, MongoDB или ELK. Продукты, которые будут использоваться на уровне всей системы, например, Consul, будут в отдельных директориях на уровне с сервисами.

Писать будем на Go

— Идём на официальный сайт.

— Копируем ссылку до архива, скачиваем, проверяем хеш-сумму.

— Распаковываем и добавляем в переменную PATH путь до бинарников Go

— Пишем небольшой тест проверки работоспособности, собираем бинарник и запускаем.

Установка завершена, всё работает

Теперь создаём проект. Структура стандартная:

— cmd — точка входа в приложение,

— internal — внутренняя бизнес-логика приложения,

— pkg — для кода, который можно переиспользовать из проекта в проект.

Я очень люблю логировать ход работы приложения, поэтому перенесу свою обёртку над логером logrus из другого проекта. Основная функция здесь Init, которая создает логер, папку logs и в ней файл all.log со всеми логами. Кроме файла логи будут выводиться в STDOUT. Также в пакете реализована поддержка логирования в разные файлы с разным уровнем логирования, но в текущем проекте мы это использовать не будем.

APIService будет работать на сокете. Создаём роутер, затем файл с сокетом и начинаем его слушать. Также мы хотим перехватывать от системы сигналы завершения работы. Например, если кто-то пошлёт приложению сигнал SIGHUP, приложение должно корректно завершиться, закрыв все текущие соединения и сессии. Хотел перехватывать все сигналы, но линтер предупреждает, что os.Kill и SIGSTOP перехватить не получится, поэтому их удаляем из этого списка.

Теперь давайте добавим сразу стандартный handler для метрик. Я его копирую в директорию pkg, далее добавляю в роутер. Все последующие роутеры будем добавлять так же.

Далее создаём точку входа в приложение. В директории cmd создаём директорию main, а в ней — файл app.go. В нём мы создаём функцию main, в которой инициализируем и создаём логер. Роутер создаём через ключевое слово defer, чтобы метод Init у роутера вызвался только тогда, когда завершится функция main. Таким образом можно выполнять очистку ресурсов, закрытие контекстов и отложенный запуск методов. Запускаем, проверяем логи и сокет, всё работает.

Но для разработки нам нужно запускать приложение на порту, а не на сокете. Поэтому давайте добавим запуск приложения на порту в наш роутер. Определять, как запускать приложение, мы будем с помощью конфига.

Создадим для приложения контекст. Сделаем его синглтоном при помощи механизма sync.Once. Пока что в нём будет только конфиг. Контекст в виде синглтона создаю исключительно в учебных целях, впоследствии он будет выпилен. В большинстве случаев синглтоны — необходимое зло, в нашем проекте они не нужны. Далее создаём конфиг. Это будет YAML-файл, который мы будем парсить в структуру.

В роутере мы вытаскиваем из контекста конфиг и на основании listen.type либо создаем сокет, либо вешаем приложение на порт. Код graceful shutdown выделяем в отдельный пакет и передаём на вход список сигналов и список интерфейсов io.Close, которые надо закрывать. Запускаем приложение и проверяем наш эндпоинт heartbeat. Всё работает. Давайте и конфиг сделаем синглтоном через механизм sync.Once, чтобы потом безболезненно удалить контекст, который создавался в учебных целях.

Теперь переходим к API. Создаём эндпоинты, полученные при анализе прототипов интерфейса. Тут важно отметить, что у нас все данные привязаны к пользователю. На первый взгляд, все ручки должны начинаться с пользователя и его идентификатора /api/users/:uuid. Но у нас будет авторизация, иначе любой пользователь сможет программно запросить заметки любого другого пользователя. Авторизацию можно сделать следующим образом: Basic Auth, Digest Auth, JSON Web Token, сессии и OAuth2. У всех способов есть свои плюсы и минусы. Для этого проекта мы возьмём JSON Web Token.

Работа с JSON Web Token

JSON Web Token (JWT) — это JSON-объект, который определён в открытом стандарте RFC 7519. Он считается одним из безопасных способов передачи информации между двумя участниками. Для его создания необходимо определить заголовок (header) с общей информацией по токену, полезные данные (payload), такие как id пользователя, его роль и т.д., а также подписи (signature).

JWT использует преимущества подхода цифровой подписи JWS (Signature) и кодирования JWE (Encrypting). Подпись не даёт кому-то подделать токен без информации о секретном ключе, а кодирование защищает от прочтения данных третьими лицами. Давайте разберёмся, как они могут нам помочь для аутентификации и авторизации пользователя.

Аутентификация — процедура проверки подлинности. Мы проверяем, есть ли пользователь с полученной связкой логин-пароль в нашей системе.

Авторизация — предоставление пользователю прав на выполнение определённых действий, а также процесс проверки (подтверждения) данных прав при попытке выполнения этих действий.

Другими словами, аутентификация проверяет легальность пользователя. Пользователь становится авторизированным, если может выполнять разрешённые действия.

Важно понимать, что использование JWT не скрывает и не маскирует данные автоматически. Причина использования JWT — проверка, что отправленные данные были действительно отправлены авторизованным источником. Данные внутри JWT закодированы и подписаны, но не зашифрованы. Цель кодирования данных — преобразование структуры. Подписанные данные позволяют получателю данных проверить аутентификацию источника данных.

Реализация JWT в нашем APIService:

— Создаём директории middleware и jwt, а также файл jwt.go.

— Описываем кастомные UserClaims и сам middlware.

— Получаем заголовок Authorization, оттуда берём токен.

— Берём секрет из конфига.

— Создаём верификатор HMAC.

— Парсим и проверяем токен.

— Анмаршалим полученные данные в модель UserClaims.

— Проверяем, что токен валидный на текущий момент.

При любой ошибке отдаём ответ с кодом 401 Unauthorized. Если ошибок не было, в контекст сохраняем ID пользователя в параметр user_id, чтобы во всех хендлерах его можно было получить. Теперь надо этот токен сгенерировать. Это будет делать хендлер авторизации с методом POST и эндпоинтом /api/auth. Он получает входные данные в виде полей username и password, которые мы описываем отдельной структурой user. Здесь также будет взаимодействие с UserService, нам надо там искать пользователя по полученным данным. Если такой пользователь есть, то создаём для него UserClaims, в которых указываем все нужные для нас данные. Определяем время жизни токена при помощи переменной ExpiresAt — берём текущее время и добавляем 15 секунд. Билдим токен и отдаём в виде JSON в параметре token. Клиента к UserService у нас пока нет, поэтому делаем заглушку.

Добавим в хендлер с heartbeat еще один тестовый хендлер, чтобы проверить работу аутентификации. Пишем небольшой тест. Для этого используем инструмент sketch, встроенный в IDE. Делаем POST-запрос на /api/auth, получаем токен и подставляем его в следующий запрос. Получаем ответ от эндпоинта /api/heartbeat, по истечении 5 секунд мы начнём получать ошибку с кодом 401 Unauthorized.

Наш токен действителен очень ограниченное время. Сейчас это 15 секунд, а будет минут 30. Но этого всё равно мало. Когда токен протухнет, пользователю необходимо будет заново авторизовываться в системе. Это сделано для того, чтобы защитить пользовательские данные. Если злоумышленник украдет токен авторизации, который будет действовать очень большой промежуток времени или вообще бессрочно, то это будет провал.

Чтобы этого избежать, прикрутим refresh-токен. Он позволит пересоздать основной токен доступа без запроса данных авторизации пользователя. Такие токены живут очень долго или вообще бессрочно. После того как только старый JWT истекает мы больше не можем обратиться к API. Тогда отправляем refresh-токен. Нам приходит новая пара токена доступа и refresh-токена.

Хранить refresh-токены на сервере мы будем в кэше. В качестве реализации возьмём FreeCache. Я использую свою обёртку над кэшем из другого проекта, которая позволяет заменить реализацию FreeCache на любую другую, так как отдает интерфейс Repository с методами, которые никак не связаны с библиотекой.

Пока рассуждал про кэш, решил зарефакторить существующий код, чтобы было удобней прокидывать объекты без dependency injection и синглтонов. Обернул хендлеры и роутер в структуры. В хендлерах сделал интерфейс с методом Register, которые регистрируют его в роутере. Все объекты теперь инициализируются в main, весь роутер переехал в мейн. Старт приложения выделили в отдельную функцию также в main-файле. Теперь, если хендлеру нужен какой-то объект, я его просто буду добавлять в конструктор структуры хендлера, а инициализировать в main. Плюс появилась возможность прокидывать всем хендлерам свой логер. Это будет удобно когда надо будет добавлять поле trace_id от Zipkin в строчку лога.

Вернемся к refresh_token. Теперь при создании токена доступа создадим refresh_token и отдадим его вместе с основным. Сделаем обработку метода PUT для эндпоинта /api/auth, а в теле запроса будем ожидать параметр refresh_token, чтобы сгенерировать новую пару токена доступа и refresh-токена. Refresh-токен мы кладём в кэш в качестве ключа. Значением будет user_id, чтобы по нему можно было запросить данные пользователя у UserService и сгенерировать новый токен доступа. Refresh-токен одноразовый, поэтому сразу после получения токена из кэша удаляем его.

Для описания нашего API будем использовать спецификацию OpenAPI 3.0 и Swagger — YAML-файл, который описывает все схемы данных и все эндпоинты. По нему очень легко ориентироваться, у него приятный интерфейс. Но описывать вручную всё очень муторно, поэтому лучше генерировать его кодом.

— Создаём эндпоинты /api/auth с методами POST и PUT для получения токена по юзернейму и паролю и по Refresh-токену соответственно.

— Добавляем схемы объектов Token и User.

— Создаём эндпоинты /api/users с методом POST для регистрации нового пользователя. Для него создаём схему CreateUser.

Понимаем, что забыли сделать хендлер для регистрации пользователя. Создаём метод Signup у хенлера Auth и структуру newUser со всеми полями для регистрации. Генерацию JWT выделяем в отдельный метод, чтобы можно было его вызывать как в Auth, так и в Signup-хендлерах. У нас всё еще нет UserService, поэтому проставляем TODO. Нам надо будет провалидировать полученные данные от пользователя и потом отправить их в UserService, чтобы он уже создал пользователя и ответил нам об успехе. Далее вызываем функцию создания пары токена доступа и refresh-токена и отдаём с кодом 201.

У нас есть подсказка в виде Swagger-файла. На его основе создаём все нужные хендлеры. Там, где вызов микросервисов, будем проставлять комментарий с TODO.

Создаём хендлер для категорий, определяем URL в константах. Далее создаём структуры. Опираемся на Swagger-файл, который создали ранее. Далее создаём сам хендлер и реализуем метод Register, который регистрирует его в роутере. Затем создаём методы с логикой работы и сразу пишем тест API на этот метод. Проверяем, находим ошибки в сваггере. Таким образом мы создаём все методы по работе с категориями: получение и создание.

Далее создаём таким же образом хендлер для заметок. Понимаем, что забыли методы частичного обновления и удаления как для заметок, так и для категорий. Дописываем их в Swagger и реализуем методы в коде. Также обязательно тестируем Swagger в онлайн-редакторе.

Здесь надо обратить внимание на то, что методы создания сущности возвращают код ответа 201 и заголовок Location, в котором находится URL для получения сущности. Оттуда можно вытащить идентификатор созданной сущности.

В третьей части мы познакомимся с графовой базой данных Neo4j, а также будем работать над микросервисами CategoryService и APIService.

Источник

Практика программирования на Python 3, лекция №4

Показать панель управления

Комментарии • 125

Когда Basic начали расписывать чуть слезу не проронил

Классно рассказал про Структурное программирование

Тимофей Фёдорович! Разговор на отвлечённую тему называется не «флуд», а «флейм»! Флуд это бессмысленное повторение одной и той же информации! Спасибо.

Огромное спасибо за ваш труд)

Почему не использовать аннотации?
paint_house(x=100, y=100, width=50, height=50)
Видно что за элементы и за что отвечают.
Ну и конечно использовать docstring,

На прошлой лекции были сравнения с фашизмом, в этой уже сам господь бог. Такие яркие примеры 😀

лабы в ссылке под видео)

Этот волшебник называется прораб. А прорабы, как известно, еще те волшебники)

Блеск, спасибо Тимофей Фёдорович. Большое.

Дай Вам Бог здоровья. Настоящий преподаватель. Увлекательно, доходчиво. Рад за Ваших учеников. Надеюсь, они ценят.

8:18 в чпу станках макропрограммирование такое )))

Классно наверное, в нашем вузе на пары не приходят преподы а не студенты

Подскажите, почему комментарии к функциям не пишутся, как комментарии, а через тройные кавычки?

Это разные вещи. В кавычках пишется документация к функции, классу или модулю и эта документация должна отличаться от комментариев.

Спасибо вам, прекрасные лекции

GOTO не обязательно прыжок к номеру строки, это может быть прыжок к именованной метке.

Моим первым (и пока единственным) языком программирования тоже был бейсик. И вот решила Python изучить. Как изменился мир!

Если кому-то понадобится домик, который не успели доделать в данном упражнении, то вот код:
from graph import *

def main():
windowSize(500,600)
paint_house(100, 200, 300, 400)
x = 100
y = 200
width = 300
height = 400
run() # Запускает холст

def paint_walls(x, y, width, height):
brushColor(«green»)
rectangle(x, y, width, height)

def paint_roof(x, y, width, height):
brushColor(«gold»)
points = ((x, height), (width, height), (height, x), (x, height))
polygon(points)

def paint_window(x, y, width, height):
brushColor(«white»)
rectangle(x, y, width, height)

def paint_house (x, y, width, height):
paint_walls(x, y, width, height)
paint_roof(x, y, width, height//2)
w_height = height // 1.6
w_width = width // 2
paint_window(x + w_width, y//2 + w_height, w_width, w_height)

Нереально крутой чувак!)

Добрый день Тимофей! В первую очередь хотел бы сказать огромное спасибо за Ваш труд, очень классные лекции! Можно Вас попросить также предоставить доступ к Лабораторным работам, с целью закрепления прослушанного материала. После первых лекций были классные задачи с черепашкой, которые позволили намного глубже понять материал. Дальше к сожалению таких же заданий не нашел. Я думаю, если вы сделаете Лабораторные на платной основе, это будет справедливо и полезно для многих. Еще раз спасибо за Ваш труд.

Поддерживаю данную инициативу

Тимофей Федорович, здравствуйте! Смотрю ваши лекции, и там вы говорите про лабораторные. Может быть можно где-то скачать задания для них?

@Владимир Иокар вроде, это. Спасибо

а это не то? cs.mipt.ru/python

Окуджава пел : «Давайте восклицать. «, а вы процитировали сплина

Оказывается это стихи Окуджавы. СПЛИН спел

56:26 Премьер министр Канады.

Помогите пожалуйста, как заставить весь корабль двигаться, я его нарисавал в отдельной функции:
def lodka(x,y):
penColor(«brown»)
brushColor(«brown»)
rectangle(x, y, x+180, y+50)
polygon([(x+180,y),(x+250,y),(x+180,y+50)])
penColor(«black»)
brushColor(«white»)
circle(x+220,y+10,8)
penColor(«brown»)
brushColor(«brown»)
arc(x+50,y-50,x-40,y+50,start=180,end=270)
дальше
x = 50
y = 240

obj = lodka(x,y)
onTimer(update, 50)
и куча ошибок, как это правильно оформить?

спасибо, Тимофей Фёдорович, всё ясно и декомпозированно

Подскажите плз. создали функцию main() из нее мы запускаем созданную ниже функцию paint_house(. ), а из нее запускаем функции paint_wall, paint_roof, paint_window, но эти же функции еще не созданы? Или это сделано только чтобы показать как делается декомпозиция и структура программы?

Да что же это такое, всё время хватает времени закончить лекцию.

Источник