Search This Blog

Thursday, November 30, 2017

Aula 25: Alocações em Equilíbrio e Otimalidade de Pareto

Na nossa vigésima quinta aula de finanças apresentamos a relação entre alocações em equilíbrio e otimalidade de pareto. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Microeconomic Theory - Andreu Mas-Colell and Michael D. Whinston

Wednesday, November 29, 2017

Aula 24: CCAPM

Na nossa vigésima quarta aula de finanças apresentamos o CCAPM e discutimos sua estimação. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

John Cochrane - Asset Pricing

Quantitative Financial Economics: Stocks, Bonds and Foreign Exchange - Keith Cuthbertson and Dirk Nitzsche

Recursive Macroeconomic Theory - Lars Ljungqvist and Thomas J. Sargent

Consumption-Based Asset Pricing Models - R. Mehra [Annual Review of Financial Economics v. 4, p. 385-409, 2012]

Solução de Exercícios

Relação entre retorno do ativo e retorno do ativo livre de risco

Esperança e variância do consumo para uma função de utilidade CRRA

Aula 23: Carteira Ótima com vários ativos

Na nossa vigésima terceira aula de finanças apresentamos o problema de escolha de carteira com vários ativos. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Foundations for Financial Economics - Chi-Fu Huang and Robert H. Litzenberger

Modern Portfolio Theory and Investment Analysis - Edwin J. Elton and Martin J. Gruber

Optimization Methods in Finance - Gerard Cornuejols and Reha Tutuncu

Portfolio Optimization: Beyond Markovitz - Marnix Engels"

Quantitative Financial Economics: Stocks, Bonds and Foreign Exchange - Keith Cuthbertson and Dirk Nitzsche

Aula 22: Carteira Ótima com um ativo livre de risco e um arriscado

Na nossa vigésima segunda aula de finanças apresentamos o problema de escolha de carteira com dois ativos: um livre de risco e um arriscado. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Foundations for Financial Economics - Chi-Fu Huang and Robert H. Litzenberger

Modern Portfolio Theory and Investment Analysis - Edwin J. Elton and Martin J. Gruber

Optimization Methods in Finance - Gerard Cornuejols and Reha Tutuncu

Portfolio Optimization: Beyond Markovitz - Marnix Engels"

Quantitative Financial Economics: Stocks, Bonds and Foreign Exchange - Keith Cuthbertson and Dirk Nitzsche

Wednesday, November 1, 2017

Aula 21: Apreçamento Fatorial

Na nossa vigésima primeira aula de finanças apresentamos Apreçamento Fatorial e discutimos a modelagem da seção transversal dos retornos dos ativos Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

The Econometrics of Financial Markets - John Y. Campbell, Andrew W. Lo and A. Craig MacKinlay [Cap. 5 e 6]

E. F. Fama and K. R. French. The capital asset pricing model: theory and evidence. Journal of Economic Perspectives, v. 18, p. 25-46, 2004.

Monday, October 30, 2017

Aula 20: CAPM

Na nossa vigésima aula de finanças apresentamos o CAPM, sua estimação e iniciamos a discussão sobre a seção transversal dos retornos dos ativos. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

The Econometrics of Financial Markets - John Y. Campbell, Andrew W. Lo and A. Craig MacKinlay [Cap. 5 e 6]

E. F. Fama and K. R. French. The capital asset pricing model: theory and evidence. Journal of Economic Perspectives, v. 18, p. 25-46, 2004.

Thursday, October 12, 2017

Aula 19: Teoria Média-Variância

Na nossa décima nona aula de finanças apresentamos Teoria Média Variância. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Soluções de Exercícios

1. Kernels de valor esperado e apreçamento e a definição da fronteira média-variância

2. Fronteira média variância definida a partir de um retorno relacionado com os retornos em excesso e o kernel de apreçamento

3. Subespaço vetorial gerado pelos kernels de apreçamento e valor esperado

4. Exercício do Darrel Duffie

5. Teorema de diversificação de Markovitz

6. Teorema de diversificação de Samuelson

6. Teorema de diversificação de Samuelson

7. Carteira formada por dois ativos não correlacionados

8. Carteira de Markovitz

9. Cholesky

10, 11, 12 Cálculo da fronteira média-variância

13. Determinação numérica da fronteira média-variância

17. Carteira Safety-First Roy



Aula 18 de Finanças: Kernels

Na nossa décima sétima aula de finanças apresentamos alguns kernels que serão úteis para representar a fronteira média variância. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Soluções

Kernels de valor esperado e apreçamento em mercados incompletos

Aula 17 de Finanças: Espaços de Hilbert

Na nossa décima sétima aula de finanças apresentamos noções de Espaços de Hilbert. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Introductory Functional Analysis with Applications - Erwin Kreyszig

Applied Functional Analysis - D.H. Griffel

Friday, September 29, 2017

Aula 16 de Finanças: Aversão ao Risco

Na nossa décima sexta aula de finanças discutimos aversão ao risco. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

St. Petersburg paradox

Referências do St. Petersburg paradox

Thursday, September 28, 2017

Aula 15 de Finanças: Noções de Finanças em tempo contínuo e a Fórmula de Black-Scholes

Na nossa décima quinta aula de finanças introduzimos noções de Finanças em tempo contínuo e discutimos a Fórmula de Black-Scholes. Esses são os slides usados em sala.

Referências

Paul Wilmott - Mathematics of Financial Derivatives

Paul Glasserman - Monte Carlo Methods in Financial Engineering

Stochastic Differential Equations: An Introduction with Applications - Bernt Øksendal

Methods of Mathematical Finance - Ioannis Karatzas and Steven Shreve

Soluções de Exercícios

Como usar simulações do Modelo Browniano Geométrico para apreçar um contrato de opção Europeia?

Aula 14 de Finanças: Avaliação de investimentos sob incerteza

Na nossa décima quarta aula de finanças discutimos a avaliação de investimentos sob incerteza e opções reais. Esses são os slides usados em sala.

Referências

Real Options, Revised Edition: A Practitioner’s Guide - Tom Copeland and Vladimir Antikarov

Investment under Uncertainty - Avinash K. Dixit and Robert S. Pindyck

Real Options and Investment under Uncertainty: Classical Readings and Recent Contributions - Eduardo S. Schwartz e Lenos Trigeorgis (Editores)

Soluções de exercícios

Opção de contração

Opção de expansão

Opção de abandono

Aula 13 de Finanças: Modelo Binomial

Na nossa décima terceira aula de finanças discutimos o modelo binomial. Esses são os slides usados em sala.

Referências

Stochastic Calculus for Finance I: The Binomial Asset Pricing Model - Steven Shreve

Introduction to Mathematical Finance: Discrete Time Models - Stanley R. Pliska

Options, Futures, and Other Derivatives - John C. Hull

Cox, J. C.; Ross, S. A.; Rubinstein, M. (1979). "Option pricing: A simplified approach". Journal of Financial Economics. 7 (3): 229.

Option pricing:simplified approach

Binomial option pricing and Black-Scholes

Soluções de Exercícios

Como apreçar opções americanas usando o modelo binomial

Como apreçar opções asiáticas usando o modelo binomial

Wednesday, September 27, 2017

Aula 12 de Finanças: Efeitos das restrições nas carteiras

Na nossa décima segunda aula de finanças discutimos os efeitos das restrições nas carteiras no problema de escolha dos agentes e na avaliação de direitos contigentes. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Soluções de exercícios

Escolha com restrições de venda à descoberto

Aula 11 de Finanças: Probabilidades neutras ao risco

Na nossa décima primeira aula de finanças discutimos probabilidades neutras ao risco. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Asset Pricing - John H. Cochrane

Theory of Financial Decision Making - Jonathan E. Ingersoll

Soluções de Exercícios

O cone convexo gerado pelas colunas de uma matriz é um conjunto fechado?

Equilíbrio e probabilidades neutras ao risco

Wednesday, September 13, 2017

Aula 10 de Finanças: Apreçamento em Mercados Incompletos

Na nossa décima aula de finanças discutimos apreçamento em mercados incompletos. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Asset Pricing - John H. Cochrane

Theory of Financial Decision Making - Jonathan E. Ingersoll

Soluções de Exercícios

Apreçamento em mercados incompletos

Sunday, September 10, 2017

Aula 9 de Finanças: Interlúdio - Programação Linear

Na nossa nona aula de finanças introduzimos o tema de programação linear. Esses são os slides usados em sala.

Referências

Linear Programming 1: Introduction - George B. Dantzig and Mukund N. Thapa

Linear Programming 2: Theory and Extensions - George B. Dantzig and Mukund N. Thapa

Understanding and Using Linear Programming - Jiri Matousek and Bernd Gärtner

Introduction to Linear Optimization - Dimitris Bertsimas and John N. Tsitsiklis

Material Suplementar

Row rank equals column rank

Soluções de exercícios

Simplex no Python

Convexidade e programação linear

Regressão quantílica

Aula 8 de Finanças: Interlúdio - Métodos de Monte Carlo

Na nossa oitava aula de finanças introduzimos técnicas de Monte Carlo. Esses são os slides usados em sala.


Abaixo temos os exemplos apresentados em sala de aula:

Relação entre as áreas do círculo e quadrado

Consistência do OLS

Album de figurinhas

Referências

Numerical methods in economics - Kenneth Judd [Capítulo 8]

Introdução aos métodos estatísticos para economia e finanças - Alexandre Carvalho, Daniel Cajueiro e Reinaldo Camargo.

Referências adicionais

Estatística sem Mistério


Soluções de Exercícios

Como são gerados os números aleatórios?

Aula 7 de Finanças: Interlúdio - Programação Orientada a Objeto

Na nossa sétima aula de finanças discutimos Noções de Programação Orientada a Objeto. Esses são os slides usados em sala.


Abaixo temos os exemplos apresentados em sala de aula:

Exemplo de Classes

Exemplo de encapsulamento

Exemplo de sobrecarga de operadores

Exemplo de polimorfismo

Exemplo de herança

Exemplo de classe abstrata

Referências Adicionais para essa aula:

1. Usuários de Python podem ter interesse em olhar:

Think Python - Allen Downey

2. Usuários de C++ podem ter interesse em olhar:

Think C++

3. Usuários de Java podem ter interesse em olhar:

Intro to Java Programming

Aula 6 de Finanças: Interlúdio - Noções de Programação Computacional em Python (Recursões)

Na nossa sexta aula de finanças discutimos o uso de recursões em computação. Esses são os slides usados em sala.


Abaixo temos os exemplos apresentados em sala de aula:

Implementações da sequencia de Fibonacci

Implementações do fatorial de um número

Solução da Torre de Hanoi

Referências:

Think recursively - Eric S. Roberts

Soluções da série de exercícios


Observação: Vários dos exercícios abaixo usam a idéia de Turtle Graphics discutida aqui.

Algoritmo de Euclides [Questão 5 dos slides]

Árvores usando recursão [Questão 6 dos slides]



Pinturas de Mondrian usando recursão [Questão 7 dos slides]


Sierpinski Gasket [Questão 8]

Ilhas de Koch [Questão 9(a)]

Ilhas de Koch 2 [Questão 9(b)]

Gosper Hexagonal Curve [Questão 9(c)]

Tree OL Systems 2 [Questão 9(e)]

Tree OL Systems [Questão 9(f)]

Saturday, August 26, 2017

Aula 5 de Finanças: Interlúdio - Noções de Programação Computacional em Python (Coleções)

Essa é uma introdução a programação computacional em Python para o curso de finanças que lida com coleções de dados. Esses são os
slides usados em sala de aula.

Abaixo temos os exemplos apresentados em sala de aula:

Como usar sequências de dados ou arrays em programação estruturada?

Como usar conjuntos ou sets em programação computacional?

Como usar mapas (maps) ou dicionários em programação computacional?

Uma boa referência para python é:

Think Python - Allen Downey

Outras referências estão aqui:

Melhores livros de Python

Soluções das séries de exercício:

Produto de matrizes

Permutações

Qual é o menor número positivo que é divisível por todos os números de 1 a 20?

Aula 4 de Finanças: Interlúdio - Noções de Programação Computacional em Python

Essa é uma introdução a programação computacional em Python para o curso de finanças. Esses são os
slides usados em sala de aula.

Abaixo temos os exemplos apresentados em sala de aula:

Exemplo de Controle de Fluxo usando Condicionais

Exemplo do uso do Loop For em um programa computacional

Exemplo do uso do Loop While em um programa computacional

Uma boa referência para python é:

Think Python - Allen Downey

Outras referências estão aqui:

Melhores livros de Python

Soluções das séries de exercício:

Questão 1

Questão 2

Questão 3

Questão 4

Questão 5

Aula 3 de Finanças - Ausência de oportunidades de arbitragem

Essa é a terceira aula do Curso de Finanças do Programa de Doutorado em Economia da UnB. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Asset Pricing - John H. Cochrane

Theory of Financial Decision Making - Jonathan E. Ingersoll


Soluções de Exercícios

Conjunto de preços livres de arbitragem em um mercado incompleto

Aula 2 de Finanças - Lei do Preço Único

Essa é a segunda aula do Curso de Finanças do Programa de Doutorado em Economia da UnB. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Asset Pricing - John H. Cochrane

Theory of Financial Decision Making - Jonathan E. Ingersoll

Tuesday, August 22, 2017

Aula 1 de Finanças - Mercado de Ativos, Escolha do Agentes e Equilíbrio

Essa é a primeira aula do Curso de Finanças do Programa de Doutorado em Economia da UnB. Esses são os slides usados em sala.

Referências

Principles of Financial Economics - Stephen F. LeRoy and Jan Werner

Asset Pricing - John H. Cochrane

Theory of Financial Decision Making - Jonathan E. Ingersoll

Referências Complementares de Otimização

Dê uma olhada aqui.


Referências Complementares de Álgebra Linear

Dê uma olhada aqui.

Você particularmente poderá querer responder essa pergunta:

O que você gostaria que tivesse no seu livro de álgebra linear e não tinha?.

Soluções de Exercícios

Qual é a solução do problema de escolha dos agentes supondo que não existe consumo na data 0?

Equilíbrio em um mercado com dois ativos com dois estados e dois agentes

Quando um estado é segurável?

Equilíbrio: 2 períodos sem incerteza

Equilíbrio: Heterogeneidade nas dotações iniciais

Equilíbrio: Heterogeneidade nas preferências



Tuesday, July 25, 2017

Como foi o curso de finanças do Programa de Pós-Graduação em Economia da UnB em 2017?

O curso de Finanças do Programa de Pós-Graduação em Economia da UnB é um curso de Economia Financeira [Financial Economics] com os tópicos usuais de (1) Apreçamento de Ativos em Mercados Completos e Incompletos; (2) Carteiras ótimas; (3) Equilíbrio em Mercados Completos e Incompletos; (4) Modelos Baseados em Consumo; (5) Análise Média-Variância.


Também discutiremos em sala de aula ou por meio de séries de exercícios vários dos tópicos mencionados aqui que podem ser classificados nas seguintes áreas:

(A) Introdução a econometria financeira

(B) Noções de Finanças em Tempo Contínuo

(C) Finanças Quantitativas: Implementação de Modelos computacionais ou de otimização (principalmente usando Python)

(D) Modelos de Risco

A versão de 2016 desse curso está aqui.



From the botton of my heart

Sim! Esse curso possivelmente abordará questões práticas de finanças... Por que? Porque é divertido (:-)! Entretanto, esse curso é um curso microfundamentado de finanças que a grande maioria das aulas é baseada na estrutura Definição, Teorema, Demonstração, Corolário... Logo, não se engane. Vale a pena dar uma olhada também na lista de pré-requisitos (básicos para um aluno de um bom programa de economia, mas vale a pena dar uma olhada no pré-requisito especial).




Uma programação preliminar do curso pode ser a seguinte:

PARTE I - Mercado de Ativos, Escolha dos Agentes e Equilíbrio

1) Mercado de Ativos, Escolha do Agentes e Equilíbrio

Aula 1

PARTE II - Apreçamento em Mercados Completos

2) Lei do preço único e apreçamento Linear

Aula 2


3) Apreçamento Positivo e Não-Arbitragem

Aula 3

INTERLÚDIO I - Noções de Implementação Computacional em Python (Tópico opcional que depende do perfil da turma)

4) Noções de Programação Computacional

Aula 4

5) Noções de Programação Computacional - Coleções de dados

Aula 5

6) Noções de Programação Computacional - Recursões

Aula 6

7) Noções de Programação Computacional - Programação Orientada a Objeto

Aula 7

8) Noções de Programação Computacional - Monte Carlo

Aula 8

INTERLÚDIO II - Programação Linear

9) Noções do problema de programação linear

Aula 9


PARTE II - Apreçamento em Mercados Financeiros

10) Apreçamento em Mercados Incompletos

Aula 10

11) Probabilidades Neutras ao Risco

Aula 11

12) Restrições na comercialização dos Ativos

Aula 12

PARTE III - Alguns modelos e aplicações práticas

13) Modelo Binomial e Métodos Numéricos para o Apreçamento de Opções

Aula 13

14) Avaliação de Investimentos sob Incerteza e Opções Reais

Aula 14

15) Noções de Finanças em Tempo Contínuo e a Fórmula de Black-Scholes

Aula 15

PARTE IV - Aversão ao Risco

16) Aversão ao Risco

Aula 16

INTERLÚDIO III - Noções de Análise Funcional em Espaços de Hilbert

17) Espaços de Hilbert

Aula 17

PARTE V - Análise Média Variância

18) Kernels de valor esperado e apreçamento

Aula 18

19) Payoffs na Fronteira Média Variância

Aula 19

20) CAPM e Seção Transversal dos Ativos

Aula 20

21) Apreçamento Fatorial e Seção Transversal dos Ativos

Aula 21

PARTE VI - Carteiras Ótimas

22) Carteira Ótima com um ativo livre de risco e um ativo arriscado

Aula 22

23) Carteira Ótima com vários ativos

Aula 23

PARTE VII - Modelos de Equilíbrio baseados em Consumo

24) CCAPM

Aula 24

25) Equilíbrios de Pareto em Mercados Completos e Incompletos

Aula 25

PARTE VIII - Econometria Financeira (Tópicos opcionais que dependem de tempo)

26) Modelos de passeio aleatório

27) Modelos de valor presente e previsibilidade

28) Análise de eventos

29) Efeito da Mídia

30) Anomalias

AVALIAÇÂO

A avaliação do curso foi feita por uma prova e vários exercícios individuais (os detalhes dependem do tamanho da turma). Foram explorados exercícios de vários tipos. Exercícios que lidam diretamente com a teoria apresentada em sala de aula e exercícios que estendem a teoria discutida em sala de aula. Exercícios numéricos simples (que exploram conceitos básicos de sala de aula ou do livro texto principal), exercícios computacionais (que normalmente estendem o discutido em sala de aula) e exercícios teóricos (normalmente provas de resultados auxiliares ao curso). Dentro do conjunto de exercícios alguns exercícios são muito fáceis, outros exercícios são mais difíceis e outros são bem trabalhosos, que dependem de material extra àquele apresentado em sala de aula e implementação computacional. O estudante deve escolher com antecedência seus exercícios para escolher aqueles de sua preferência e ter tempo de resolvê-los antes da última semana de aula.

PRE-REQUISITOS

Temos apenas um pre-requisito fundamental apresentado a seguir, mas vários tópicos dependem de conhecimentos de Álgebra-Linear, Otimização e maturidade em matemática, estatística ou econometria equivalente a de um aluno de mestrado em economia de um bom programa.



De fato, um pre-requisito fundamental em qualquer curso que leciono é muita disposição para aprender e lidar com coisas novas para resolver novos problemas. Os estudantes devem ter ou desenvolver a capacidade de lidar com um problema novo que estende o material em sala de aula sem a ajuda do professor, tendo em mãos apenas as referências básicas. Essa habilidade muito comum em estudantes da engenharia infelizmente não é muito explorada em estudantes de economia.

Deixar a arrogância em casa para ser capaz de perceber que não sabemos tudo e que existem sempre pessoas com mais conhecimento em um determinado tópico que nós mesmos. Aproveitar desse fato para aprender com os colegas e com o professor àquelas dimensões mais restritas.

Esse é um curso OPTATIVO e lúdico desenhado para o estudante e o professor se divertirem. Se você não está muito motivado com o curso ou acha que o curso não o acrescentará muito e você pretende manter uma atitude negativa e passiva ao longo do curso, existem dezenas de cursos mais adequados para você no programa.



Não sou aluno do Programa de Doutorado em Economia. Eu posso fazer o curso?

Sim. Você pode entrar em contato com a secretária do Programa de Pós-Graduação em Economia da UnB e verificar a disponibilidade de vagas para matrícula como aluno especial.

Posso assistir como ouvinte?

Infelizmente a UnB não permite esse tipo de aluno.

Saturday, June 24, 2017

Aula 29 de Métodos Computacionais em Economia - Processamento de Linguagem Natural

Essa é a oitava aula de Aprendizagem de Máquinas do nosso curso. Esses são os slides usados em sala.

Códigos usados em sala de aula

Todos os exemplos dessa aula foram do livro

Natural Language Processing in Python

Referências

Foundations of Statistical Natural Language Processing - Christopher D. Manning and Hinrich Schütze

Natural Language Processing in Python

Aula 28 de Métodos Computacionais em Economia - Aprendizagem de Máquinas: Aprendizagem por Reforço

Essa é a sétima aula de Aprendizagem de Máquinas do nosso curso. Esses são os slides usados em sala.



Códigos usados em sala de aula

Implementação do problema da locadora usando programação dinâmica

Referências

Numerical Methods in Economics - Keneth Judd

Reinforcement Learning [Capítulos 1 a 4]

Markov Decision Processes - Martin Puterman [Capítulo 6]

Referências Complementares

O site Quantitative Economics tem muito material legal.

Soluções de Exercícios

Value iteration usando discretização

Problema do jogador

Método de Newton Raphson

Gerando fractais: Fractal de Vicsek

Gerando fractais: Carpete de Sierpinski

Gerando fractais: Triângulo de Sierpinski





Aula 27 de Métodos Computacionais em Economia - Aprendizagem de Máquinas: Redes Neurais e Deep Learning

Essa é a sexta aula de Aprendizagem de Máquinas do nosso curso. Esses são os slides usados em sala.



Códigos usados em sala de aula

Implementação de redes neurais artificias usando o pyBrain



Soluções de Exercícios


Exemplo de redes neurais recorrentes

Implementação de dropout

Autoencoder

Perceptron Multicamada

MNIST



Referências

Pattern Recognition and Machine Learning - Christopher Bishop [Seções 5.1 a 5.5]

Neural networks - Haykin [Capítulo 4]

Deep learning - Ian Goodfellow, Yoshua Bengio and Aaron Courville [Capítulo 6, 7, 8, 9, 10, 11, 12, 14]

LeCun, Y., Bengio, Y. and Hinton, G. E. (2015) Deep Learning Nature, Vol. 521, pp 436-444.

Hinton, G. E. (2007) Learning Multiple Layers of Representation. Trends in Cognitive Sciences, Vol. 11, pp 428-434.

Quoc V. Le A Tutorial on Deep Learning Part 1: Nonlinear Classifiers and The Backpropagation Algorithm

Quoc V. Le A Tutorial on Deep Learning Part 2: Autoencoders, Convolutional Neural Networks and Recurrent Neural Networks


Referências Complementares

Razvan Pascanu, Çağlar Gülçehre, Kyunghyun Cho and Yoshua Bengio, How to Construct Deep Recurrent Neural Networks, in: International Conference on Learning Representations 2014(Conference Track), 2014

Guillaume Alain and Yoshua Bengio, What Regularized Auto-Encoders Learn from the Data-Generating Distribution (2014), in: Journal of Machine Learning Research, 15(3563-3593)

Hinton, G. E. Where do features come from?. Cognitive Science, Vol. 38(6), pp 1078-1101.

Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I. and Salakhutdinov, R. Dropout: A simple way to prevent neural networks from overfitting The Journal of Machine Learning Research, 15(1), pp 1929-1958.

Sutskever, I., Martens, J., Dahl, G. and Hinton, G. E. On the importance of momentum and initialization in deep learning In 30th International Conference on Machine Learning, Atlanta, USA, 2013.

Yoshua Bengio and Aaron Courville, Deep Learning of Representations, in: Handbook on Neural Information Processing, Springer: Berlin Heidelberg, 2013

Çağlar Gülçehre and Yoshua Bengio, Knowledge Matters: Importance of Prior Information for Optimization, in: International Conference on Learning Representations (ICLR'2013), 2013

Yoshua Bengio, Aaron Courville and Pascal Vincent, Representation Learning: A Review and New Perspectives (2013), in: Pattern Analysis and Machine Intelligence, IEEE Transactions on, 35:8(1798-1828)

Hinton, G. E., Srivastava, N., Krizhevsky, A., Sutskever, I. and Salakhutdinov, R. R. Improving neural networks by preventing co-adaptation of feature detectors http://arxiv.org/abs/1207.0580, 2012

Suskever, I., Martens, J. and Hinton, G. E. Generating Text with Recurrent Neural Networks. Proc. 28th International Conference on Machine Learning, Seattle, 2011.

Nicolas Le Roux and Yoshua Bengio, Deep Belief Networks are Compact Universal Approximators (2010), in: Neural Computation, 22:8(2192-2207)

Dumitru Erhan, Yoshua Bengio, Aaron Courville, Pierre-Antoine Manzagol, Pascal Vincent, Samy Bengio; Why Does Unsupervised Pre-training Help Deep Learning? Journal of Machine Learning Research, 11(Feb):625−660, 2010.

Hugo Larochelle, Yoshua Bengio, Jerome Louradour and Pascal Lamblin, Exploring Strategies for Training Deep Neural Networks (2009), in: Journal of Machine Learning Research, 10(1--40)

Yoshua Bengio, Learning deep architectures for AI (2009), in: Foundations and Trends in Machine Learning, 2:1(1--127)

van der Maaten, L. J. P. and Hinton, G. E. Visualizing Data using t-SNE. Journal of Machine Learning Research, Vol 9, (Nov) pp 2579-2605, 2008.

Hinton. G. E. What kind of a graphical model is the brain? International Joint Conference on Artificial Intelligence 2005, Edinburgh.

Yoshua Bengio, Gradient-Based Optimization of Hyperparameters (2000), in: Neural Computation, 12:8(1889--1900)

Hinton, G.E. Supervised learning in multilayer neural networks in The MIT Encyclopedia of the Cognitive Sciences Editors: Robert A. Wilson and Frank C. Keil The MIT Press, 1999.

Hinton, G. E., Plaut, D. C. and Shallice, T. Simulating brain damage Scientific American, 1993.

Nowlan. S. J. and Hinton, G. E. Simplifying neural networks by soft weight sharing.
Neural Computation, 4, 173-193.

Hinton, G.E. How neural networks learn from experience. Scientific American, September 1992.

Rumelhart, D. E., Hinton, G. E., and Williams, R. J. Learning representations by back-propagating errors.
Nature, 323, 533--536, 1986.

Hinton, G. E. Learning distributed representations of concepts. Proceedings of the Eighth Annual Conference of the Cognitive Science Society, Amherst, Mass, 1986.

Hinton, G. E., McClelland, J. L., and Rumelhart, D. E. Distributed representations. In Rumelhart, D. E. and McClelland, J. L., editors, Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations, MIT Press, Cambridge, MA. pp 77-109, 1986.

Rumelhart, D. E., Hinton, G. E., and Williams, R. J.
Learning internal representations by error propagation.
In Rumelhart, D. E. and McClelland, J. L., editors, Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations, MIT Press, Cambridge, MA. pp 318-362, 1986.





Aula 26 de Métodos Computacionais em Economia - Aprendizagem de Máquinas: Classificação Linear

Essa é a quinta aula de Aprendizagem de Máquinas do nosso curso. Esses são os slides usados em sala.



Códigos usados em sala de aula

OLS para classificação

Implementação do Perceptron

Implementação de um modelo de resposta binária

Referências

Pattern Recognition and Machine Learning - Christopher Bishop [Seções 4.1, 4.2 e 4.3]

A. Carvalho, D. Cajueiro e R. Camargo - Introdução aos Métodos Estatísticos para Economia e Finanças [Capítulo 9]

Modern multivariate statistical techniques - Alan Julian Izenman [Seções 8.1 a 8.4]

The elements of statistical learning - Hastie, Tibshirani e Friedman [Capítulo 4]

Neural networks - Haykin [Capítulos 3 e 5]

Bases de dados usadas para responder os exercícios

PRorum: Sites com bases de dados interessantes

Soluções de Exercícios

Linear Discriminant Analysis

Probabilistic Generative Models

Stepwise logistic regression

Xor


Aula 25 de Métodos Computacionais em Economia - Aprendizagem de Máquinas: Noções de Previsão

Essa é a quarta aula de Aprendizagem de Máquinas do nosso curso que versa sobre previsão. Esses são os slides usados em sala.


Referências

Elements of forecasting - Francis Diebold

Time series analysis - James Douglas Hamilton

Referências Complementares

The Signal and the Noise: Why So Many Predictions Fail - But Some Don't - Nate Silver

The Predictors: How a Band of Maverick Physicists Used Chaos Theory to Trade Their Way to a Fortune on Wall Street - Thomas A. Bass

The Myth of the Rational Market: A History of Risk, Reward, and Delusion on Wall Street - Justin Fox

Soluções de Exercícios


Saturday, June 17, 2017

Aula 24 de Métodos Computacionais em Economia - Aprendizagem de Máquinas: Noções de estatística bayesiana

Essa é a terceira aula de Aprendizagem de Máquinas do nosso curso. Esses são os slides usados em sala.


Códigos usados em sala de aula


Proporção de fumantes

Referências

Bayesian data analysis - Gelman, Carlin e Stern - Christopher Bishop [Capítulos 1, 2, 6, 10, 11]

Estatística Bayesiana. Paulino, Turkman e Murteira [Capítulos 1, 2, 3, 4 e 7].

Referências Complementares para exercícios

Bayesian econometrics - Gary Koop

Soluções de Exercícios

Regressão linear simples

Regressão linear múltipla

Monday, June 12, 2017

Aula 23 de Métodos Computacionais em Economia - Aprendizagem de Máquinas: Modelos Lineares

Essa é a segunda aula de Aprendizagem de Máquinas do nosso curso que versa sobre modelos lineares. Esses são os slides usados em sala.



Códigos usados em sala de aula


Decomposição Viés-Variância

Referências

Pattern Recognition and Machine Learning - Christopher Bishop [Seções 3.1, 3.2 e 3.6]

Modern multivariate statistical techniques - Alan Julian Izenman [Capítulo 5]

The elements of statistical learning - Hastie, Tibshirani e Friedman [Capítulo 3]

Neural networks - Haykin [Capítulo 7]



Referências Complementares para otimização numérica

Numerical methods in economics - Kenneth Rudd

Numerical methods in engineering with python - Jaan Kiusalaas

Bases de dados usadas para responder os exercícios

PRorum: Sites com bases de dados interessantes

Soluções de Exercícios


Rede Neural de Bases radiais

PCR - Principal Components Regression

PLS - Implementação do Partial Least Squares

Forwards Stepwise em python

Implementação do Lasso

Forwards Stagewise em python





Aula 22 de Métodos Computacionais em Economia - Introdução a Aprendizagem de Máquinas

Essa foi a nossa aula introdutória à Aprendizagem de Máquinas. Esses são os slides.

Referências

The discipline of machine learning - T. M. Mitchel

A few useful things to know about machine learning - P. Domingos

In defence of forensic social science - Amir Goldberg [Big data and Society, 2015]

Learning deep architectures for AI - Y. Bengio

Sociology in the era of big data: the ascent of forensic social science - D. A. McFarland e K. Lewis [American Sociology, 2015]

Economic reason and artificial intelligence - D. C. Parkes and M. P. Wellman [Sience 349, p.267, 2015]

Deep learning - Ian Goodfellow, Yoshua Bengio and Aaron Courville [Capítulo 5]

Wednesday, June 7, 2017

Material de apoio ao curso Elementos de Matemática

Esse material deve servir de apoio ao curso de Elementos de Matemática. Os estudantes devem considerar esse material como uma sugestão de estudo. Obviamente, o estudante que ler o material antes da aula aprenderá mais facilmente o assunto.

Plano de Ensino

Pegue seu plano de ensino aqui.


Séries de exercícios

O aluno deve considerar fazer três tipos de exercícios para aprender bem o conteúdo. O primeiro grupo de exercícios consiste dos exercícios apresentados ainda em sala de aula no quadro que são resolvidos em conjunto com o professor e colegas, que usualmente complementam o conteúdo de sala de aula. O segundo grupo de exercícios consiste de exercícios que aparecem nas referências complementares ao curso. O terceiro grupo de exercícios é formado por séries de exercícios que serão apresentados no fim de cada tópico. Alguns dos exercícios dessa séries tem o propósito de revisar a teoria (primeiro tipo) e outros têm o propósito de fazer o aluno pensar sobre a teoria (segundo tipo). Alguns desses exercícios (segundo tipo) podem ser consideradas difíceis e, por isso, todos têm uma solução. Eles são importantes pois fazem os estudantes pensarem com mais cuidado sobre o que aprenderam. Se você não conseguir resolver todos, não desanime. Escreva o problema e tente entendê-los: (1) Qual a definição usada pare resolver esse problema? Você deveria lembrar dessa definição? (2) Quais propriedades foram usadas? Você deveria conhecer essas propriedades? E agora, você conseguiu? Se ainda não conseguiu, refaça as mesmas perguntas para entender porque não conseguiu. É válido ainda mencionar que as soluções desses exercícios foram postadas no PRorum.com. Logo, a ferramenta de comentários desse forum pode ser usada para esclarecer algum detalhe da resolução que não tenha ficado claro.

O aprendizado da disciplina depende fortemente da disposição do estudante interessado em resolver exercícios por conta própria.

Plano de Estudo de Álgebra Linear

Qualquer livro de Álgebra Linear que o aluno se sinta confortável é suficiente para acompanhar essa parte do curso. Entretanto, aqui nesse material vamos focar em dois livros. O primeiro pela didática e simplicidade e o segundo pela comodidade (ele será usado praticamente em toda a segunda parte do curso):

Ref1: Introdução à Álgebra Linear - Adilson Gonçalves e Rita M. L. de Souza [Adilson]

Ref2: Mathematics for Economists - Carl P. Simon and Lawrence E. Blume (já disponível em português) [Simon]

É válido mencionar que o livro [Simon] não segue uma ordem muito didática para os assuntos de álgebra linear e não tem uma apresentação adequada de todos os tópicos, mas pode servir como uma excelente referência complementar. Além disso, ele é uma excelente fonte de aplicações.

Tópico 1: Vetores

Leituras:

[Adilson] Capítulo 1 até a seção 1.6

[Adilson] Para ter uma visão geométrica, veja o resto do capítulo 1.

[Simon] Capítulo 10

Exercícios repetitivos: Veja Seções 1.2 a 1.5 do Schaum's Outline of Linear Algebra - Seymour Lipschutz and Marc Lipson.

Aplicações

Um vetor é uma entidade básica de representação em matemática que aparece em muitas situações em economia. Por exemplo, pode falar em vetor de preços de n coordenadas quando nos referimos a cesta de consumo de n produtos ou a um mercado financeiro com n ativos.

Tópico 2: Matrizes

Leituras:

[Adilson] Capítulo 2

[Simon] Capítulo 8

Exercícios repetitivos: Veja Seções 2.2 a 2.7 do Schaum's Outline of Linear Algebra - Seymour Lipschutz and Marc Lipson.

Aplicações

Uma matriz também é uma entidade básica de representação em matemática que aparece em muitas situações em economia.

Matrizes de dados serão muito usadas em econometria, onde cada coluna guardará dados de uma determinada variável aleatória de interesse. Por exemplo, imagine que você quer explicar o salário de um indivíduo usando variáveis relacionadas com o indivíduo. Quais as variáveis que você acredita que podem explicar o salário do indivíduo? Suponha que você acredite que escolaridade, gênero, escolaridade da mãe são variáveis que podem explicar o salário. Então você pode construir uma matriz de dados que inclui essas variáveis em cada coluna.

Em finanças, matrizes também são usadas para guardar payoffs dos ativos em um mercado financeiro. Por exemplo, suponha que o mercado tenha J ativos e seja modelado por S estados. Então, uma matriz de ordem S x J pode ser usada para guardar esses ativos. Veja por exemplo esse modelo nas notas de aula do curso de finanças.

Outras matrizes importantes que aparecem muito em Econometria e Finanças são as Matrizes de Variância-Covariância. Por exemplo, a teoria básica de escolha de carteiras supõe que investidores desejam construir carteiras que possuem altos valores esperados e baixas variâncias. Um conceito fundamental que aparece nesse contexto é a idéia de diversificação. Veja um exemplo simples sobre esse assunto no PRorum.


Tópico 3: Operações Elementares/Sistemas Lineares

Leituras:

[Adilson] Capítulo 3: Seções 3.1, 3.2 e 3.3.

[Strang] Para uma visão geométrica, veja o Capítulo 1: Seções 1.1 a 1.5.

[Simon] Capítulos 6 e 7

Exercícios repetitivos: Veja Seções 3.2 a 3.11 do Schaum's Outline of Linear Algebra - Seymour Lipschutz and Marc Lipson.

Aplicações

Existem várias aplicações de sistemas lineares em Economia.

Por exemplo, em finanças a solução de sistemas lineares pode ser usada para caracterizar se um mercado financeiro é completo ou incompleto. Veja por exemplo essa caracterização nas notas de aula do curso de finanças.

Uma outra aplicação super interessante é o cálculo do Page Rank ou do modelo de Leontief usado em análise de Insumo-Produto. Veja por exemplo um post sobre esse assunto no PRorum

Tópico 4: Inversa de matrizes

Leituras:

[Adilson] Capítulo 3: Seção 3.4.

[Simon] Não tem uma apresentação adequada desse tópico.

Exercícios repetitivos: Veja Seção 3.12 do Schaum's Outline of Linear Algebra - Seymour Lipschutz and Marc Lipson.

Aplicações

A idéia de inversão de matrizes aparece muito em econometria em vários contextos diferentes. Por exemplo, o estimador mais popular de um Modelo de Regressão Linear, conhecido como método dos mínimos quadrados, dependem explicitamente de uma inversão.

Tópico 5: Determinantes

Leituras:

[Adilson] Capítulo 5: Seções 5.1, 5.2, 5.3 e 5.5.

[Simon] Capítulos 9 e 26.

Exercícios repetitivos: Veja Seções 8.2 a 8.8 do Schaum's Outline of Linear Algebra - Seymour Lipschutz and Marc Lipson.

Aplicações

Os determinantes aparecem como ferramenta básica em várias situações no curso de economia. No nosso curso de Economia Quantitativa I, determinantes podem ser usadas como uma ferramenta importante de caracterização de matrizes quadradas. Se o determinante de uma matriz A de ordem n é nulo, o sistema linear Ax=0 possui infinitas soluções, o núcleo de A contém infinitos elementos e a imagem de T(x)=Ax não é o Rn.

No nosso curso também usaremos determinantes também para caracterizar se uma matriz é positiva ou negativa definida e isso será fundamental para verificar as condições de segunda ordem de um problema de otimização.


Tópico 6: Espaços vetoriais

Leituras:

[Adilson] Capítulo 4: Seções 4.1 a 4.4.

[Simon] Seções 27.1, 27.2 e 27.6

Exercícios repetitivos: Veja Seções 4.2 a 4.8 do Schaum's Outline of Linear Algebra - Seymour Lipschutz and Marc Lipson.

Aplicações

Um espaço vetorial é um conjunto com certa estrutura que é usado em muitas situações em economia. A grande maioria dos problemas importantes em economia está definido em espaços vetoriais ou em translações desses espaços, ou seja, a solução pertence a um determinado espaço vetorial ou uma translação desse espaço. Por exemplo, o Rn é um espaço vetorial. A solução de um sistema linear homogêneo é um subespaço vetorial e a solução de um sistema linear não homogêneo é a translação de um subespaço vetorial.

Em finanças, um subespaço vetorial particularmente importante é aquele subespaço gerado pelo payoff de todos os ativos do mercado. Veja aqui a definição exata desse subespaço nas notas de aula do curso de finanças. Qual a relevância de um determinado direito contigente pertencer ou não a esse subespaço? Por exemplo, considerados dados os preços dos ativos, eu consigo encontrar um único preço para qualquer direito contigente que pertence a esse subespaço. Se ele não pertencer, o que ocorre?

Tópico 7: Transformações lineares, Operadores Lineares e Funcionais Lineares

Leituras:

[Adilson] Capítulo 6: Seções 6.1, 6.2 e 6.3

[Simon] Não tem uma apresentação adequada desse tópico.

Exercícios repetitivos: Veja Seções 5.2 a 5.4 do Schaum's Outline of Linear Algebra - Seymour Lipschutz and Marc Lipson.

Aplicações

Transformações lineares aparecem em muitas situações no curso de economia. No curso de finanças, o funcional de apreçamento é um funcional linear. Veja aqui a definição exata desse funcional nas notas de aula do curso de finanças.

Plano de Estudo de Topologia no Rn, Cálculo de Várias Variáveis, Análise Convexa e Otimização

Para esse plano de estudo, vou focar apenas no livro Mathematics for Economists - Carl P. Simon and Lawrence E. Blume [Simon]. Também citarei bastante as notas do curso de Microeconomia I do Professor José Guilherme de Lara Resende do Departamento de Economia da UnB, que vocês usarão no próximo semestre, pois existe um link muito forte entre essa parte do curso e o curso de Microeconomia I.

Para motivar essa parte do curso, eu sugiro que antes da aula, vocês leiam a primeira aula do curso de Microeconomia I do Professor José Guilherme, que você pode acessar aqui.

Tópico 1: Topologia no RN

Leituras:

[Simon] Capítulo 12

Aplicações

Vários dos conjuntos definidos aqui nesse tópico serão usados em vários lugares do curso de economia. Por exemplo, a noção de conjuntos compactos será usada para a discussão do teorema de Weierstrass, que aparece no tópico 7 (a seguir). Em microeconomia I, por exemplo, a noção de conjuntos fechados é usada para discutir o axioma de continuidade na aula sobre Preferências. Veja por exemplo as notas de aula do Professor José Guilherme associada a esse tópico aqui.



Tópico 2: Funções Várias Variáveis (Lineares, Formas Quadráticas, Polinômios, Funções Contínuas, Funções Homogêneas e Homotéticas, Funções Côncavas, Funções Convexas, Funções Quase-Côncavas e Funções Quase-Convexas)

Leituras:



[Simon] Capítulo 13, Capítulo 20: Seções 20.1 e 20.4, Capítulo 21: Seções 21.1, 21.2 e 21.3

Aplicações

Várias das funções apresentadas aqui são usadas extensivamente nos cursos de Economia.

Funções Homogêneas e Homotéticas aparecem por exemplo em Microeconomia I. Por exemplo, a função de Demanda Marshalliana é uma função homogênea de grau 0. Por outra lado, várias funções de utilidade que aparecem no curso de Microeconomia I são homotéticas. Veja as aulas de Microeconomia que apresentam essa informação aqui e aqui.

Funções Côncavas, Funções Convexas, Funções Quase-Côncavas e Funções Quase-Convexas também aparecem em Microeconomia I. Em geral funções de utilidade são côncavas ou quase-côncavas (quando as preferências forem convexas), curvas de indiferença são (estritamente) convexas etc.

Polinômios quadráticos aparecem em econometria. Veja por exemplo aqui o problema de otimização que precisamos resolver para encontrar os parâmetros de um modelo de regressão linear. Também usaremos polinômios quadráticos em nosso curso para caracterizar as condições de segunda ordem de um problema de otimização interior (sem restrições).



Tópico 3: Derivada parcial/Diferencial

Leituras:

[Simon] Capítulo 14: Seções 14.1 a 14.4 e 14.8

Exercícios repetitivos: Veja Seções 5.1 a 5.3 do Schaum's Outline of Introduction to Mathematical Economics - Dowling.

Aplicações

Derivadas parciais e diferenciais aparecem em muitos lugares no Curso de Economia. Usamos derivadas para resolver problemas de otimização que será um procedimento comum em Microeconomia I, para definir elasticidades etc. O diferencial total aparece por exemplo na definição da Taxa Marginal de Substituição. Veja exemplo de derivadas e diferenciais totais usados no curso de Microeconomia aqui.



Tópico 4: Cálculo de várias variáveis (Regra da cadeia)

Leituras:

[Simon] Seção 14.5

Aplicações

É uma ferramenta básica de cálculo que aparece em vários contextos. Por exemplo, no Estudo da Teoria do Consumidor em Microeconomia usamos essa "regra" para derivar por exemplo a equação de homogeneidade. Veja aqui.

Tópico 5: Cálculo de várias variáveis (Polinomios de Taylor)

Leituras:

[Simon] Seções 30.2 e 30.3

Aplicações

Polinomios de Taylor são usados em várias situações. No nosso curso, usaremos esses polinômios para estudar as condições de segunda ordem de um problema de otimização irrestrito (interior).

Tópico 6: Cálculo de várias variáveis (Funções implícitas)

Leituras:

[Simon] Seção 15.1

Aplicações

Funções implícitas aparecem em várias situações. Veja por exemplo aqui.

Tópico 7: Introdução a Otimização

Leituras:

[Simon] Seção 17.1 e 30.1 (Apenas o tópico relacionado com o Teorema de Weierstrass)

Aplicações

Usamos o teorema de Weierstrass em várias situações em Economia quando desejamos garantir a existência da solução de um problema de otimização, sem precisar especificar a forma da função que desejamos otimizar e/ou resolvê-lo.

No curso de Microeconomia I, pode-se garantir a existência da Função de Utilidade Indireta utilizando o Teorema de Weierstrass sempre que a função de utilidade for contínua.. Veja esse conteúdo nas Notas de Microeconomia I do Professor José Guilherme.

No curso de finanças usamos esse resultado para mostrar que na ausência de arbitragem, sempre existe uma solução para o problema de otimização de carteira. Veja aqui os slides associados a esse teorema.

Otimização em geral é uma ferramenta básica de Microeconomia e Econometria.

Tópico 8: Condições de Primeira Ordem

Leituras:

[Simon] Seções 17.2

Aplicações

Usamos as condições de primeira ordem para encontrar os pontos críticos.

Exercícios repetitivos: Veja Seção 5.4 do Schaum's Outline of Introduction to Mathematical Economics - Dowling.


Tópico 9: Formas Quadráticas e Condições de Segunda Ordem

Leituras:

[Simon] Capítulo 16: Seções 16.1 e 16.2

Aplicações

Usamos as condições de segunda ordem para caracterizar os pontos críticos.

Tópico 10: Otimização de funções Concavas/Convexas

Leituras:

[Simon] Seção 21.5

Aplicações

Como já mencionado, muitas das funções usadas no nosso curso são côncavas ou convexas e elas possuem particularidades que devem ser explicitadas.

Tópico 11: Otimização restrita (Segunda Ordem)

Leituras:

Seção 18.2

Aplicações

O problema do Consumidor estudado em Microeconomia é exatamente um problema desse tipo. Veja aqui a aula do Professor José Guilherme relacionada com esse assunto.

Exercícios repetitivos: Veja Seção 5.5 do Schaum's Outline of Introduction to Mathematical Economics - Dowling.

Tópico 12: Teorema do Envelope

Leituras:

[Simon] Seções 19.1 e 19.2

Aplicações

Existem em Microeconomia várias aplicações do teorema do Envelope.


Monday, May 29, 2017

Aula 21 de Métodos Computacionais em Economia - Interlúdio 2: Análise Numérica e Otimização

Essa aula não será formalmente discutida em sala de aula. De fato, precisaríamos de muitas aulas para fazer um apanhado das principais idéias. Usaremos esse espaço apenas para fazer alguns comentários e indicar possíveis referências que podem ser consultadas em tópicos específicos.

Na segunda parte do nosso curso sobre Machine Learning, alguns tópicos de Análise Numérica e Otimização Numérica serão mencionados e explicados informalmente quando aparecerem. Sem tentar ser exaustivo, entre eles estão:

1) Métodos que lidam com a solução de sistemas lineares. Particularmente a decomposição LU.
2) Métodos que lidam com a solução de sistemas não lineares. Particularmente o método de Newton.
3) Métodos que lidam com otimização numérica. Particularmente o método do gradiente e formas de restringir problemas de otimização.

Referências

Analysis of Numerical Methods - Eugene Isaacson and Herbert Bishop Keller

A First Look at Numerical Functional Analysis - W. W. Sawyer

Numerical methods in economics - Kenneth Rudd

Numerical methods in engineering with python - Jaan Kiusalaas


Aula 20 de Métodos Computacionais em Economia - Interlúdio 1: Métodos de Monte Carlo

Na nossa vigésima aula de métodos computacionais introduzimos técnicas de Monte Carlo. Esses são os slides usados em sala.


Abaixo temos os exemplos apresentados em sala de aula:

Relação entre as áreas do círculo e quadrado

Consistência do OLS

Album de figurinhas

Referências

Numerical methods in economics - Kenneth Judd [Capítulo 8]

Introdução aos métodos estatísticos para economia e finanças - Alexandre Carvalho, Daniel Cajueiro e Reinaldo Camargo.

Referências adicionais

Estatística sem Mistério

Soluções de Exercícios

Como são gerados os números aleatórios?

Aula Extra de Métodos Computacionais em Economia - Princípios de Programação Funcional

Nessa aula, o monitor do curso Cauê Melo gentilmente deu uma aula extra sobre Princípios de Programação Funcional em Python. Esses são os slides usados em sala.

Referências para essa aula:

John Backus: Can Programming Be Liberated from the von Neumann Style? A Functional Style and Its Algebra of Programs

Programming in Scala - Martin Odersky, Lex Spoon, Bill Venners

Saturday, May 13, 2017

Aula 19 de Métodos Computacionais em Economia - Compromisso entre eficiência temporal e espacial

Na nossa décima nona aula de métodos computacionais discutimos o compromisso entre eficiência temporal e espacial. Esses são os slides usados em sala.

Códigos usados em sala de aula

Ordenação por contagem

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seções 7.1 e 11.2]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 8]

Aula 18: Quick sort

Na nossa décima oitava aula de métodos computacionais discutimos o algoritmo conhecido como Quick Sort e como aleatorização pode ser usada para melhorar a complexidade do algoritmo. Esses são os slides usados em sala.


Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seção 5.2]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 7]


Solução de exercícios

Cálculo da mediana com complexidade linear

Aula 17 de Métodos Computacionais em Economia - Melhoria Iterativa

Na nossa décima sétima aula de métodos computacionais discutimos a estratégia conhecida como Melhoria Iterativa. Esses são os slides usados em sala.


Códigos usados em sala de aula

Marriage Stable Problem

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 10]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 19]


Referências complementares

Two-Sided Matching: A Study in Game-Theoretic Modeling and Analysis - Alvin E. Roth e Marilda A. Oliveira Sotomayor

Stable Marriage and Its Relation to Other Combinatorial Problems: An Introduction to the Mathematical Analysis of Algorithms - Donald Ervin Knuth

Soluções

College Problem Admission

Wednesday, May 10, 2017

Aula 16 de Métodos Computacionais em Economia - Estratégias Gananciosas

Na nossa décima sexta aula de métodos computacionais discutimos a estratégia conhecida como Gananciosa (ou Gulosa). Esses são os slides usados em sala.

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 9]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 12]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 16]

Soluções da série de exercícios

Algoritmo de Prim para encontrar a MST de um grafo


Algoritmo de Kruskal para encontrar a MST de um grafo


Aula 15 de Métodos Computacionais em Economia - Programação Dinâmica

Na nossa décima quinta aula de métodos computacionais discutimos a estratégia conhecida como Programação Dinâmica. Esses são os slides usados em sala.



Códigos usados em sala de aula

Fibonacci com Memoization ou Bottom-Up

Programação dinâmica para resolver o problema da mochila

Programação dinâmica para encontrar os menores caminhos

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 8]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 18]

Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 15]

Soluções da série de exercícios

Regressão linear segmentada

Multiplicação de cadeias de matrizes

Justificação de textos usando Programação Dinâmica

Maximizar a soma do produto dos elementos de uma pilha

Problema do troco




Friday, May 5, 2017

Aula 14 de Métodos Computacionais em Economia - Branch and Bound

Na nossa décima quarta aula de métodos computacionais discutimos a estratégia conhecida como Branch e Bound. Esses são os slides usados em sala.


Códigos usados em sala de aula

Branch and bound para resolver o problema da mochila


Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seção 12.2]

Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 18]

Referência complementar para estudar filas com prioridades

Data Structures and Algorithms in Python - Michael T. Goodrich, Roberto Tamassia, Michael H. Goldwasser [Capítulo 9]

Soluçoes dos exercícios

Branch and bound para resolver o problema de alocação

Branch and bound para resolver encontrar os caminhos mais curtos de um grafo (Djkstra)

Branch and bound para resolver o problema do caixeiro viajante


Aula 13 de Métodos Computacionais em Economia - Backtracking

Na nossa décima terceira aula de métodos computacionais discutimos a estratégia conhecida como Backtracking. Esses são os slides usados em sala.


Códigos usados em sala de aula

Backtracking para gerar e resolver labirintos

Problema das N rainhas usando Backtracking

Subset sum usando backtracking

Longest integer subsequence usando backtracking

Referências para essa aula:

Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seção 12.1]

Lecture 3 do E-book Algorithms de Jeff Erickson.

Think recursively - Eric S. Roberts [Capítulo 8]

Referências complementares para essa aula:

Artificial intelligence: A modern approach - S. J. Russell and Peter Norvig [Capítulo 5]

Soluções de exercícios

Resta 1 usando backtracking

Slide Puzzle 15

Instant Insanity

Sudoku

Rota dos cavalos

M-coloring problem